View a markdown version of this page

Calidad de los datos en Amazon DataZone - Amazon DataZone
Habilitar la calidad de los datos para AWS Activos de GlueHabilitación de la calidad de los datos para los tipos de activos personalizados

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Calidad de los datos en Amazon DataZone

Las métricas de calidad de los datos de Amazon te DataZone ayudan a entender las diferentes métricas de calidad, como la integridad, la puntualidad y la precisión de tus fuentes de datos. Amazon DataZone se integra con AWS Glue Data Quality y ofrece API para integrar métricas de calidad de datos de soluciones de calidad de datos de terceros. Los usuarios de datos pueden ver cómo las métricas de calidad de los datos cambian a lo largo del tiempo para sus activos suscritos. Para crear y ejecutar las reglas de calidad de los datos, puede utilizar la herramienta de calidad de datos que prefiera, como AWS Glue Data Quality. Con las métricas de calidad de los datos de Amazon DataZone, los consumidores de datos pueden visualizar las puntuaciones de calidad de los datos de los activos y las columnas, lo que ayuda a generar confianza en los datos que utilizan para tomar decisiones.

Pre-requisites y cambios en el rol de IAM

Si utilizas las políticas AWS gestionadas DataZone de Amazon, no hay pasos de configuración adicionales y estas políticas gestionadas se actualizan automáticamente para garantizar la calidad de los datos. Si utilizas tus propias políticas para las funciones que otorgan a Amazon DataZone los permisos necesarios para interoperar con los servicios compatibles, debes actualizar las políticas adjuntas a estas funciones para permitir la lectura de la información sobre la calidad de los datos de AWS Glue en el AWS política gestionada: AmazonDataZoneGlueManageAccessRolePolicy y habilitar el soporte para las API de series temporales en el AWS política gestionada: AmazonDataZoneDomainExecutionRolePolicy y en elAWS política gestionada: AmazonDataZoneFullUserAccess.

Habilitar la calidad de los datos para AWS Activos de Glue

Amazon DataZone extrae las métricas de calidad de los datos de AWS Glue para proporcionar contexto durante un momento determinado, por ejemplo, durante una búsqueda en un catálogo de datos empresariales. Los usuarios de datos pueden ver cómo las métricas de calidad de los datos cambian a lo largo del tiempo para sus activos suscritos. Los productores de datos pueden asimilar las puntuaciones de calidad de los datos de AWS Glue según un cronograma. El catálogo de datos DataZone empresariales de Amazon también puede mostrar métricas de calidad de datos de sistemas de terceros a través de API de calidad de datos. Para obtener más información, consulte AWS Glue Data Quality y Introducción a AWS Glue Data Quality para el catálogo de datos.

Puedes habilitar las métricas de calidad de los datos para tus DataZone activos de Amazon de las siguientes maneras:

  • Utilice el portal de datos o DataZone las API de Amazon para mejorar la calidad de los datos de su fuente de datos de AWS Glue a través del portal de DataZone datos de Amazon, ya sea al crear una nueva fuente de datos de AWS Glue o al editar la existente.

    Para obtener más información sobre cómo habilitar la calidad de los datos para un origen de datos a través del portal, consulte Cree y ejecute una fuente de DataZone datos de Amazon para el AWS Glue Data Catalog.

    nota

    Puede usar el portal de datos para habilitar la calidad de los datos solo para sus activos de inventario de AWS Glue. En esta versión de Amazon, no se admite la DataZone habilitación de la calidad de los datos para activos de Amazon Redshift o de tipos personalizados a través del portal de datos.

    También puede utilizar las API para habilitar la calidad de los datos de sus orígenes de datos nuevos o existentes. Para ello, invoque CreateDataSourceo UpdateDataSourcey establezca el autoImportDataQualityResult parámetro en «True».

    Una vez habilitada la calidad de los datos, puede ejecutar el origen de datos bajo demanda o según lo programado. Cada ejecución puede generar hasta 100 métricas por activo. No es necesario crear formularios ni añadir métricas manualmente cuando se utiliza el origen de datos para garantizar la calidad de los datos. Cuando se publica el activo, las actualizaciones realizadas en el formulario de calidad de los datos (hasta 30 puntos de datos por regla histórica) se reflejan en el anuncio para los consumidores. Posteriormente, cada nueva incorporación de métricas al activo se añade automáticamente al anuncio. No es necesario volver a publicar el activo para que las puntuaciones más recientes estén disponibles para los consumidores.

Habilitación de la calidad de los datos para los tipos de activos personalizados

Puede usar las DataZone API de Amazon para habilitar la calidad de los datos para cualquiera de sus activos de tipo personalizado. Para obtener más información, consulte los siguientes temas:

Los siguientes pasos proporcionan un ejemplo del uso de las API o la CLI para importar métricas de terceros para sus activos en Amazon DataZone:

  1. Invoque la API PostTimeSeriesDataPoints de la siguiente manera:

    
aws datazone post-time-series-data-points  \
--cli-input-json file://createTimeSeriesPayload.json \

    con la siguiente carga útil:

    
"domainId": "dzd_5oo7xzoqltu8mf",
    "entityId": "4wyh64k2n8czaf",
    "entityType": "ASSET",
    "form": {
        "content": "{\n  \"evaluations\" : [ {\n    \"types\" : [ \"MaximumLength\" ],\n    \"description\" : \"ColumnLength \\\"ShippingCountry\\\" <= 6\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"ShippingCountry\" ],\n    \"status\" : \"PASS\"\n  }, {\n    \"types\" : [ \"MaximumLength\" ],\n    \"description\" : \"ColumnLength \\\"ShippingState\\\" <= 2\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"ShippingState\" ],\n    \"status\" : \"PASS\"\n  }, {\n    \"types\" : [ \"MaximumLength\" ],\n    \"description\" : \"ColumnLength \\\"ShippingCity\\\" <= 8\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"ShippingCity\" ],\n    \"status\" : \"PASS\"\n  }, {\n    \"types\" : [ \"Completeness\" ],\n    \"description\" : \"Completeness \\\"ShippingStreet\\\" >= 0.59\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"ShippingStreet\" ],\n    \"status\" : \"PASS\"\n  }, {\n    \"types\" : [ \"MaximumLength\" ],\n    \"description\" : \"ColumnLength \\\"ShippingStreet\\\" <= 101\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"ShippingStreet\" ],\n    \"status\" : \"PASS\"\n  }, {\n    \"types\" : [ \"MaximumLength\" ],\n    \"description\" : \"ColumnLength \\\"BillingCountry\\\" <= 6\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"BillingCountry\" ],\n    \"status\" : \"PASS\"\n  }, {\n    \"types\" : [ \"Completeness\" ],\n    \"description\" : \"Completeness \\\"biLlingcountry\\\" >= 0.5\",\n    \"details\" : {\n      \"EVALUATION_MESSAGE\" : \"Value: 0.26666666666666666 does not meet the constraint requirement!\"\n    },\n    \"applicableFields\" : [ \"biLlingcountry\" ],\n    \"status\" : \"FAIL\"\n  }, {\n    \"types\" : [ \"Completeness\" ],\n    \"description\" : \"Completeness \\\"Billingstreet\\\" >= 0.5\",\n    \"details\" : { },\n    \"applicableFields\" : [ \"Billingstreet\" ],\n    \"status\" : \"PASS\"\n  } ],\n  \"passingPercentage\" : 88.0,\n  \"evaluationsCount\" : 8\n}",
        "formName": "shortschemaruleset",
        "id": "athp9dyw75gzhj",
        "timestamp": 1.71700477757E9,
        "typeIdentifier": "amazon.datazone.DataQualityResultFormType",
        "typeRevision": "8"
    },
    "formName": "shortschemaruleset"
}

    Puede obtener esta carga útil invocando la acción GetFormType:

    
aws datazone get-form-type --domain-identifier <your_domain_id> --form-type-identifier amazon.datazone.DataQualityResultFormType --region <domain_region> --output text --query 'model.smithy'

  2. Invoque la API DeleteTimeSeriesDataPoints de la siguiente manera:

    
aws datazone delete-time-series-data-points\
--domain-identifier dzd_bqqlk3nz21zp2f \
--entity-identifier dzd_bqqlk3nz21zp2f \
--entity-type ASSET \
--form-name rulesET1 \