Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen einer Integration

Integrationsstatus

Die folgenden Integrationszustände beschreiben die Integration:

CloudWatch Amazon-Logs für eine Integration anzeigen

AWS Glue Zero-ETL-Integrationen generieren CloudWatch Amazon-Protokolle, um Einblick in Ihre Datenbewegungen zu erhalten. Protokollereignisse, die sich auf jede erfolgreiche Erfassung oder auf Fehler beziehen, die auf problematische Datensätze an der Quelle oder auf Fehler beim Schreiben von Daten aufgrund von Schemaänderungen oder unzureichenden Berechtigungen zurückzuführen sind, werden an eine Standard-Protokollgruppe ausgegeben, die in einem Kundenkonto erstellt wurde.

Für jede erstellte Integration werden die Protokollereignisse für diese Integration unter /aws-glue/zeroETL-integrations/logs/ in Amazon Cloudwatch gesammelt. Innerhalb der Protokollgruppe werden Protokollnachrichten in Protokollstreams aufgeteilt. Jede erstellte Integration hat einen eigenen Protokollstream, in den alle Protokolle für diese Integration geschrieben werden. Logs für eine Integration mit finden Sie beispielsweise unter /aws- IntegrationArn arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf /03cabe77-79e7-4b7a-b3da-8c160bea6bbf. glue/zeroETL-integrations/logs {IntegrationId} kann aus dem {IntegrationArn} referenziert werden, der bei der Erstellung einer Integration generiert wird.

IAM-Berechtigungen zum Aktivieren der Protokollierung erforderlich

Bei der Erstellung Ihrer Integration benötigen die Quell- und Zielrollen die folgenden IAM-Berechtigungen, um die CloudWatch Protokollierung für eine Integration zu aktivieren. AWS Glue Zero-ETL-Integrationen verwenden diese in den Quell- und Zielrollen bereitgestellten Berechtigungen, um CloudWatch Protokolle an Kundenkonten zu senden.

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Protokollmeldungen

Protokollformat: Null-ETL-Integrationen geben vier Arten von Protokollmeldungen aus:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

CloudWatch Amazon-Metriken für eine Integration anzeigen

Sobald eine Integration abgeschlossen ist, können Sie die folgenden Amazon Cloudwatch-Metriken sehen, die in Ihrem Konto für jeden ausgeführten AWS Glue Job generiert wurden:

CloudWatch Namespace für Metriken: "AWS/glue/ZeroETL“

Metrikdimensionen:

Metriknamen:

Verwaltung von Event-Benachrichtigungen mit Amazon EventBridge

Zero-ETL-Integrationen verwenden Amazon EventBridge zur Verwaltung von Ereignisbenachrichtigungen, damit Sie up-to-date über Änderungen an Ihren Integrationen informiert werden. Amazon EventBridge ist ein serverloser Event-Bus-Service, mit dem Sie Ihre Anwendungen mit Daten aus einer Vielzahl von Quellen verbinden können. In diesem Fall ist die Ereignisquelle AWS Glue. Ereignisse, bei denen es sich um überwachte Änderungen in einer Umgebung handelt, werden AWS Glue automatisch gesendet EventBridge . Ereignisse werden nahezu in Echtzeit übermittelt.

EventBridge bietet eine Umgebung, in der Sie Ereignisregeln schreiben können, die Aktionen festlegen können, die für bestimmte Ereignisse ergriffen werden sollen. Sie können auch Ziele einrichten, d. h. Ressourcen, an die ein Ereignis gesendet werden EventBridge kann. Ein Ziel kann ein API-Ziel, eine CloudWatch Amazon-Protokollgruppe und andere enthalten. Weitere Informationen zu Regeln finden Sie unter EventBridge Amazon-Regeln. Weitere Informationen zu Zielen finden Sie unter EventBridge Amazon-Ziele.

Um alle Null-ETL-Benachrichtigungen zu erfassen, erstellen Sie eine Eventbridge-Regel, die den folgenden Kriterien entspricht:

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

Die folgende Tabelle enthält Ereignisse der Null-ETL-Integration mit zusätzlichen Metadaten: