Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio di un'integrazione

Visualizzazione dei CloudWatch log di Amazon per un'integrazione

AWS Glue Le integrazioni zero-ETL generano CloudWatch log per la visibilità del movimento dei dati. Gli eventi di registro relativi a ciascun inserimento riuscito o a eventuali errori riscontrati a causa di record di dati problematici all'origine o errori di scrittura dei dati dovuti a modifiche dello schema o autorizzazioni insufficienti vengono emessi a un gruppo di log predefinito creato in un account cliente.

Per ogni integrazione creata, gli eventi di registro relativi a tale integrazione verranno raccolti in. /aws-glue/zeroETL-integrations/logs/ CloudWatch All'interno del gruppo di log, i messaggi di log verranno suddivisi in flussi di log. Ciascuna integrazione creata ha un flusso di log dedicato in cui vengono scritti tutti i log relativi a tale integrazione.

Autorizzazioni IAM necessarie per abilitare la registrazione

Quando si crea l'integrazione, i ruoli di origine e destinazione hanno bisogno delle seguenti autorizzazioni IAM per abilitare la registrazione per un'integrazione. CloudWatch AWS Glue Le integrazioni zero-ETL utilizzano queste autorizzazioni fornite nei ruoli di origine e destinazione per inviare log agli account dei clienti. CloudWatch

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Messaggi di log

Formato di log: le integrazioni Zero-ETL emettono quattro tipi di messaggi di log:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Visualizzazione dei CloudWatch parametri di Amazon per un'integrazione

Una volta completata l'integrazione, puoi vedere queste CloudWatch metriche generate nel tuo account per ogni AWS Glue processo eseguito:

CloudWatch namespace delle metriche: "/glue/ZeroEtl»AWS

Dimensioni dei parametri:

Nomi dei parametri:

Gestione delle notifiche di eventi con Amazon EventBridge

Le integrazioni zero-ETL utilizzano EventBridge Amazon per gestire le notifiche degli eventi e up-to-date tenerti aggiornato sulle modifiche apportate alle integrazioni. Amazon EventBridge è un servizio di bus eventi senza server che puoi utilizzare per connettere le tue applicazioni con dati provenienti da una varietà di fonti. In questo caso, l'origine dell'evento è AWS Glue. Gli eventi, che sono modifiche monitorate in un ambiente, vengono inviati AWS Glue automaticamente EventBridge da Gli eventi vengono distribuiti pressoché in tempo reale.

Per acquisire tutte le notifiche zero-ETL, crea una EventBridge regola che corrisponda alla seguente:

{
  "source": [{
    "prefix": "aws.glue-zero-etl"
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL"
  }]
}

La tabella seguente include gli eventi di integrazione zero-ETL: