Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio di un'integrazione

Stati di un'integrazione

I seguenti stati di un'integrazione descrivono l'integrazione:

Visualizzazione dei CloudWatch log di Amazon per un'integrazione

AWS Glue Le integrazioni zero-ETL generano log CloudWatch Amazon per la visibilità sul movimento dei dati. Gli eventi di registro relativi a ciascun inserimento riuscito o a eventuali errori riscontrati a causa di record di dati problematici all'origine o errori di scrittura dei dati dovuti a modifiche dello schema o autorizzazioni insufficienti vengono emessi a un gruppo di log predefinito creato in un account cliente.

Per ciascuna integrazione creata, gli eventi di log relativi a tale integrazione verranno raccolti in /aws-glue/zeroETL-integrations/logs/ di Amazon CloudWatch. All'interno del gruppo di log, i messaggi di log verranno suddivisi in flussi di log. Ciascuna integrazione creata ha un flusso di log dedicato in cui vengono scritti tutti i log relativi a tale integrazione. Ad esempio, i log per un'integrazione con sono disponibili in /aws- IntegrationArn arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf /03cabe77-79e7-4b7a-b3da-8c160bea6bbf. glue/zeroETL-integrations/logs È possibile fare riferimento a {} dal {integrationARN} generato quando viene creata un'integrazione. IntegrationId

Autorizzazioni IAM necessarie per abilitare la registrazione

Quando si crea l'integrazione, sono necessarie le seguenti autorizzazioni IAM per i ruoli di origine e destinazione per abilitare la registrazione per un'integrazione. CloudWatch AWS Glue Le integrazioni zero-ETL utilizzano queste autorizzazioni fornite nei ruoli di origine e destinazione per inviare log agli account dei clienti. CloudWatch

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Messaggi di log

Formato di log: le integrazioni Zero-ETL emettono quattro tipi di messaggi di log:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Visualizzazione dei CloudWatch parametri di Amazon per un'integrazione

Una volta completata l'integrazione, puoi vedere questi parametri di Amazon Cloudwatch generati nel tuo account per ogni processo eseguito: AWS Glue

CloudWatch namespace delle metriche: "/glue/ZeroEtl»AWS

Dimensioni dei parametri:

Nomi dei parametri:

Gestione delle notifiche di eventi con Amazon EventBridge

Le integrazioni zero-ETL utilizzano EventBridge Amazon per gestire le notifiche degli eventi e up-to-date tenerti aggiornato sulle modifiche apportate alle integrazioni. Amazon EventBridge è un servizio di bus eventi senza server che puoi utilizzare per connettere le tue applicazioni con dati provenienti da una varietà di fonti. In questo caso, l'origine dell'evento è AWS Glue. Gli eventi, che sono modifiche monitorate in un ambiente, vengono inviati EventBridge AWS Glue automaticamente. Gli eventi vengono distribuiti pressoché in tempo reale.

EventBridge fornisce un ambiente in cui scrivere regole relative agli eventi, che possono specificare le azioni da intraprendere per eventi specifici. È inoltre possibile impostare obiettivi, ovvero risorse a cui EventBridge inviare un evento. Una destinazione può includere una destinazione API, un gruppo di CloudWatch log Amazon e altri. Per ulteriori informazioni sulle regole, consulta le EventBridge regole di Amazon. Per ulteriori informazioni sugli obiettivi, consulta Amazon EventBridge targets.

Per acquisire tutte le notifiche Zero-ETL, creare una regola Eventbridge che corrisponda alla seguente:

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

La tabella seguente illustra gli eventi di integrazione Zero-ETL con metadati aggiuntivi: