Supervisión de una integración

Visualización de los registros de Amazon CloudWatch para una integración

Las integraciones zero-ETL de AWS Glue generan registros de CloudWatch para obtener visibilidad del movimiento de datos. Los eventos de registro relacionados con cada ingesta exitosa o cualquier fallo debido a registros de datos problemáticos en el origen, errores de escritura de datos por cambios en el esquema o permisos insuficientes se envían a un grupo de registros predeterminado creado en la cuenta del cliente.

Para cada integración creada, los eventos de registro de esa integración se recopilarán en /aws-glue/zeroETL-integrations/logs/ dentro de CloudWatch. Dentro del grupo de registro, los mensajes de registro se dividirán en flujos de registros. Cada integración creada tiene un flujo de registro dedicado donde se escriben todos los registros de esa integración.

Permisos de IAM necesarios para habilitar el registro

Al crear la integración, los siguientes permisos de IAM son necesarios para los roles de origen y destino a fin de habilitar el registro en CloudWatch para una integración. Las integraciones zero-ETL de AWS Glue utilizan estos permisos asignados en los roles de origen y destino para enviar registros de CloudWatch a las cuentas de los clientes.

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Mensajes de registro

Formato de registro: las integraciones zero-ETL generan cuatro tipos de mensajes de registro:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Visualización de métricas de Amazon CloudWatch para una integración

Una vez que se complete la integración, podrá ver estas métricas de CloudWatch generadas en su cuenta para cada ejecución de trabajo de AWS Glue:

Espacio de nombres de métricas de CloudWatch: “AWS/Glue/ZeroETL”

Dimensiones de las métricas:

Nombres de métricas:

Administración de notificaciones de eventos con Amazon EventBridge

Las integraciones zero-ETL utilizan Amazon EventBridge para administrar notificaciones de eventos y mantenerlo informado sobre los cambios en las integraciones. Amazon EventBridge es un servicio conductor de eventos sin servidor que se puede utilizar para conectar las aplicaciones con datos de varios orígenes. En este caso, el origen de eventos es AWS Glue. Los eventos, que son cambios supervisados en un entorno, se envían automáticamente a EventBridge desde AWS Glue. Los eventos se envían casi en tiempo real.

Para capturar todas las notificaciones de zero-ETL, cree una regla en EventBridge que coincida con lo siguiente:

{
  "source": [{
    "prefix": "aws.glue-zero-etl"
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL"
  }]
}

En la siguiente tabla se incluyen eventos de integración zero-ETL: