Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau integrasi

Melihat CloudWatch log Amazon untuk integrasi

AWS Glue Integrasi nol-ETL menghasilkan CloudWatch log untuk visibilitas ke dalam pergerakan data Anda. Peristiwa log yang berkaitan dengan setiap konsumsi yang berhasil atau kegagalan yang dialami karena catatan data bermasalah di sumber, atau kesalahan penulisan data karena perubahan skema atau izin yang tidak memadai dipancarkan ke grup log default yang dibuat di akun pelanggan.

Untuk setiap integrasi yang dibuat, peristiwa log untuk integrasi itu akan dikumpulkan /aws-glue/zeroETL-integrations/logs/ di bawah CloudWatch. Di dalam grup log, pesan log akan dibagi menjadi aliran log. Setiap integrasi yang dibuat memiliki aliran log khusus ke tempat semua log untuk integrasi itu ditulis.

Izin IAM diperlukan untuk mengaktifkan logging

Saat membuat integrasi Anda, izin IAM berikut diperlukan oleh peran sumber dan target untuk mengaktifkan CloudWatch pencatatan untuk integrasi. AWS Glue Integrasi nol-ETL menggunakan izin ini yang disediakan dalam peran sumber dan target untuk memancarkan log ke akun pelanggan. CloudWatch

JSON

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Log pesan

Format log: Integrasi nol-ETL memancarkan empat jenis pesan log:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Melihat CloudWatch metrik Amazon untuk integrasi

Setelah integrasi selesai, Anda dapat melihat CloudWatch metrik yang dihasilkan di akun Anda untuk setiap AWS Glue pekerjaan yang dijalankan:

CloudWatch ruang nama metrik: "/Glue/ZeroETL”AWS

Dimensi metrik:

Nama metrik:

Mengelola pemberitahuan acara dengan Amazon EventBridge

Integrasi nol-ETL menggunakan Amazon EventBridge untuk mengelola pemberitahuan acara agar Anda tetap memperhatikan perubahan dalam integrasi Anda up-to-date. Amazon EventBridge adalah layanan bus acara tanpa server yang dapat Anda gunakan untuk menghubungkan aplikasi Anda dengan data dari berbagai sumber. Dalam hal ini, sumber acara adalah AWS Glue. Peristiwa, yang dipantau perubahan dalam suatu lingkungan, dikirim ke EventBridge dari AWS Glue secara otomatis. Acara disampaikan dalam waktu dekat.

Untuk menangkap semua notifikasi nol-ETL, buat EventBridge aturan yang cocok dengan yang berikut ini:

{
  "source": [{
    "prefix": "aws.glue-zero-etl"
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL"
  }]
}

Tabel berikut mencakup peristiwa integrasi nol-ETL: