Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Data log kustom dari CloudWatch Log atau bucket Amazon S3
<a name="ingestion-custom-data-sources"></a>

Anda dapat membuat pipeline untuk sumber data kustom menggunakan pendekatan berikut:

1. **CloudWatch Log Kustom** - Tentukan pipeline pada grup log CloudWatch kustom Anda yang ada dengan menyediakan:
   + Nama sumber data
   + Tipe sumber data

   Untuk informasi selengkapnya tentang nama dan jenis sumber data, lihat [Panduan Pengguna CloudWatch Log](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/data-source-discovery-management.html#how-to-get-started-data-sources).

1. **Sumber Kustom S3** - Memproses log arbitrer yang disimpan dalam bucket S3 dengan mengonfigurasi sumber untuk pipeline:

   ```
   source:
     s3:
       aws:
         region: "us-east-1"
         sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
       compression: "gzip"
       codec:
         ndjson:
       data_source_name: "my_custom_logs"
       default_bucket_owner: "123456789012"
       bucket_owners:
         my-bucket: "123456789012"
       disable_bucket_ownership_validation: false
       notification_type: "sqs"
       sqs:
         queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
       on_error: "retain_messages"
   ```
**catatan**  
Prosesor CSV tidak dapat digunakan dengan sumber kustom S3. Sebagai gantinya, gunakan codec CSV di sumber S3.

**Parameter**  
`notification_type`(Diperlukan)  
Menentukan mekanisme notifikasi. Harus “sqs” untuk menggunakan SQS untuk pemberitahuan acara S3.  
`data_source_name`  
Mengidentifikasi sumber data. Ini bisa berupa nilai string apa pun yang mewakili sumber data Anda. Contoh: “my\$1custom\$1logs”.  
`aws.region`(Diperlukan)  
 AWS Wilayah tempat bucket S3 dan antrian SQS berada.  
`aws.sts_role_arn`(Diperlukan)  
ARN dari peran IAM untuk diasumsikan untuk mengakses sumber daya S3 dan SQS.  
`codec`(Diperlukan)  
Konfigurasi codec untuk mengurai objek S3. Mendukung`csv`,`json`, `ndjson` codec.  
`compression` (opsional)  
Jenis kompresi objek S3. Nilai yang valid adalah “tidak ada”, “gzip”, “otomatis”. Default ke “tidak ada”.  
`sqs.queue_url`(diperlukan untuk SQS)  
URL antrian SQS lengkap yang menerima notifikasi bucket S3 saat objek baru dibuat.  
`on_error` (opsional)  
Menentukan cara menangani kesalahan di Amazon SQS. Bisa salah satu `retain_messages` atau`delete_messages`. Default-nya adalah `retain_messages`.

**Konfigurasi sumber khusus**

Saat membuat pipeline untuk sumber khusus:
+ Parser harus menjadi prosesor pertama dalam pipeline jika sumber datanya adalah CloudWatch Log
+ Anda dapat menentukan prosesor yang didukung untuk pipeline log kustom