Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Aurora MySQL
Selesaikan langkah-langkah berikut untuk mengonfigurasi pipeline OpenSearch Ingestion dengan Amazon Aurora untuk Aurora MySQL.
**Topics**
+ [Prasyarat Aurora MySQL](#aurora-mysql-prereqs)
+ [Langkah 1: Konfigurasikan peran pipeline](#aurora-mysql-pipeline-role)
+ [Langkah 2: Buat pipa](#aurora-mysql-pipeline)
+ [Konsistensi data](#aurora-mysql-pipeline-consistency)
+ [Pemetaan tipe data](#aurora-mysql-pipeline-mapping)
+ [Batasan](#aurora-mysql-pipeline-limitations)
+ [CloudWatch Alarm yang Direkomendasikan](#aurora-mysql-pipeline-metrics)
## Prasyarat Aurora MySQL
Sebelum Anda membuat pipeline OpenSearch Ingestion, lakukan langkah-langkah berikut:
1. [Buat grup parameter cluster Aurora DB kustom di Amazon Aurora untuk](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/zero-etl.setting-up.html#zero-etl.parameters) mengonfigurasi logging biner.
```
aurora_enhanced_binlog=1
binlog_backup=0
binlog_format=ROW
binlog_replication_globaldb=0
binlog_row_image=full
binlog_row_metadata=full
```
Selain itu, pastikan `binlog_transaction_compression` parameter tidak disetel ke`ON`, dan `binlog_row_value_options` parameter tidak disetel ke`PARTIAL_JSON`.
1. [Pilih atau buat cluster DB MySQL Aurora dan kaitkan grup parameter yang dibuat pada langkah sebelumnya dengan cluster DB](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/CHAP_GettingStartedAurora.CreatingConnecting.Aurora.html).
1. [Konfigurasikan retensi log biner hingga 24 jam atau lebih lama](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/mysql-stored-proc-configuring.html).
1. Siapkan otentikasi nama pengguna dan kata sandi di klaster Amazon Aurora Anda [menggunakan manajemen kata sandi dengan Aurora](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/rds-secrets-manager.html) dan. AWS Secrets Manager Anda juga dapat membuat username/password kombinasi dengan [membuat rahasia Secrets Manager](https://docs.aws.amazon.com/secretsmanager/latest/userguide/create_secret.html).
1. Jika Anda menggunakan fitur snapshot awal lengkap, buat peran AWS KMS key dan IAM untuk mengekspor data dari Amazon Aurora ke Amazon S3.
Peran IAM harus memiliki kebijakan izin berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "ExportPolicy",
"Effect": "Allow",
"Action": [
"s3:PutObject*",
"s3:ListBucket",
"s3:GetObject*",
"s3:DeleteObject*",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::{{s3-bucket-used-in-pipeline}}",
"arn:aws:s3:::{{s3-bucket-used-in-pipeline}}/*"
]
}
]
}
```
------
Peran tersebut juga harus memiliki hubungan kepercayaan berikut:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "export.rds.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
```
------
1. Pilih atau buat domain OpenSearch Layanan atau koleksi OpenSearch Tanpa Server. Untuk informasi selengkapnya, lihat [Membuat domain OpenSearch Layanan](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/createupdatedomains.html#createdomains) dan [Membuat koleksi](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-manage.html#serverless-create).
1. Lampirkan [kebijakan berbasis sumber daya ke domain Anda atau kebijakan](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/ac.html#ac-types-resource) [akses data ke koleksi](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/serverless-data-access.html) Anda. Kebijakan akses ini memungkinkan OpenSearch Ingestion untuk menulis data dari klaster DB Amazon Aurora Anda ke domain atau koleksi Anda.
## Langkah 1: Konfigurasikan peran pipeline
Setelah Anda menyiapkan prasyarat pipeline Amazon Aurora, konfigurasikan [peran pipeline yang akan digunakan dalam konfigurasi pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security-overview.html#pipeline-security-sink) Anda. Tambahkan juga izin berikut untuk sumber Amazon Aurora ke peran:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "allowReadingFromS3Buckets",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:DeleteObject",
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:PutObject"
],
"Resource": [
"arn:aws:s3:::{{s3_bucket}}",
"arn:aws:s3:::{{s3_bucket}}/*"
]
},
{
"Sid": "allowNetworkInterfacesActions",
"Effect": "Allow",
"Action": [
"ec2:AttachNetworkInterface",
"ec2:CreateNetworkInterface",
"ec2:CreateNetworkInterfacePermission",
"ec2:DeleteNetworkInterface",
"ec2:DeleteNetworkInterfacePermission",
"ec2:DetachNetworkInterface",
"ec2:DescribeNetworkInterfaces"
],
"Resource": [
"arn:aws:ec2:*:{{111122223333}}:network-interface/*",
"arn:aws:ec2:*:{{111122223333}}:subnet/*",
"arn:aws:ec2:*:{{111122223333}}:security-group/*"
]
},
{
"Sid": "allowDescribeEC2",
"Effect": "Allow",
"Action": [
"ec2:Describe*"
],
"Resource": "*"
},
{
"Sid": "allowTagCreation",
"Effect": "Allow",
"Action": [
"ec2:CreateTags"
],
"Resource": "arn:aws:ec2:*:{{111122223333}}:network-interface/*",
"Condition": {
"StringEquals": {
"aws:RequestTag/OSISManaged": "true"
}
}
},
{
"Sid": "AllowDescribeInstances",
"Effect": "Allow",
"Action": [
"rds:DescribeDBInstances"
],
"Resource": [
"arn:aws:rds:{{us-east-2}}:{{111122223333}}:db:*"
]
},
{
"Sid": "AllowDescribeClusters",
"Effect": "Allow",
"Action": [
"rds:DescribeDBClusters"
],
"Resource": [
"arn:aws:rds:{{us-east-2}}:{{111122223333}}:cluster:{{DB-id}}"
]
},
{
"Sid": "AllowSnapshots",
"Effect": "Allow",
"Action": [
"rds:DescribeDBClusterSnapshots",
"rds:CreateDBClusterSnapshot",
"rds:AddTagsToResource"
],
"Resource": [
"arn:aws:rds:{{us-east-2}}:{{111122223333}}:cluster:{{DB-id}}",
"arn:aws:rds:{{us-east-2}}:{{111122223333}}:cluster-snapshot:{{DB-id}}*"
]
},
{
"Sid": "AllowExport",
"Effect": "Allow",
"Action": [
"rds:StartExportTask"
],
"Resource": [
"arn:aws:rds:{{us-east-2}}:{{111122223333}}:cluster:{{DB-id}}",
"arn:aws:rds:{{us-east-2}}:{{111122223333}}:cluster-snapshot:{{DB-id}}*"
]
},
{
"Sid": "AllowDescribeExports",
"Effect": "Allow",
"Action": [
"rds:DescribeExportTasks"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:RequestedRegion": "{{us-east-2}}",
"aws:ResourceAccount": "{{111122223333}}"
}
}
},
{
"Sid": "AllowAccessToKmsForExport",
"Effect": "Allow",
"Action": [
"kms:Decrypt",
"kms:Encrypt",
"kms:DescribeKey",
"kms:RetireGrant",
"kms:CreateGrant",
"kms:ReEncrypt*",
"kms:GenerateDataKey*"
],
"Resource": [
"arn:aws:kms:{{us-east-2}}:{{111122223333}}:key/{{export-key-id}}"
]
},
{
"Sid": "AllowPassingExportRole",
"Effect": "Allow",
"Action": "iam:PassRole",
"Resource": [
"arn:aws:iam::{{111122223333}}:role/{{export-role}}"
]
},
{
"Sid": "SecretsManagerReadAccess",
"Effect": "Allow",
"Action": [
"secretsmanager:GetSecretValue"
],
"Resource": [
"arn:aws:secretsmanager:*:{{111122223333}}:secret:*"
]
}
]
}
```
------
## Langkah 2: Buat pipa
Konfigurasikan pipeline OpenSearch Ingestion yang mirip dengan berikut ini. Contoh pipeline menentukan cluster Amazon Aurora sebagai sumbernya.
```
version: "2"
aurora-mysql-pipeline:
source:
rds:
db_identifier: "{{cluster-id}}"
engine: aurora-mysql
database: "{{database-name}}"
tables:
include:
- "{{table1}}"
- "{{table2}}"
s3_bucket: "{{bucket-name}}"
s3_region: "{{bucket-region}}"
s3_prefix: "{{prefix-name}}"
export:
kms_key_id: "{{kms-key-id}}"
iam_role_arn: "{{export-role-arn}}"
stream: true
aws:
sts_role_arn: "arn:aws:iam::{{account-id}}:role/{{pipeline-role}}"
region: "us-east-1"
authentication:
username: ${{aws_secrets:secret:username}}
password: ${{aws_secrets:secret:password}}
sink:
- opensearch:
hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
index: "${getMetadata(\"table_name\")}"
index_type: custom
document_id: "${getMetadata(\"primary_key\")}"
action: "${getMetadata(\"opensearch_action\")}"
document_version: "${getMetadata(\"document_version\")}"
document_version_type: "external"
aws:
sts_role_arn: "arn:aws:iam::{{account-id}}:role/{{pipeline-role}}"
region: "us-east-1"
extension:
aws:
secrets:
secret:
secret_id: "{{rds-secret-id}}"
region: "us-east-1"
sts_role_arn: "arn:aws:iam::{{account-id}}:role/{{pipeline-role}}"
refresh_interval: PT1H
```
Anda dapat menggunakan cetak biru Amazon Aurora yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat [Bekerja dengan cetak biru](pipeline-blueprint.md).
Untuk menggunakan Amazon Aurora sebagai sumber, Anda perlu mengonfigurasi akses VPC untuk pipeline. VPC yang Anda pilih harus VPC yang sama dengan yang digunakan sumber Amazon Aurora Anda. Kemudian pilih satu atau lebih subnet dan satu atau lebih grup keamanan VPC. Perhatikan bahwa pipeline memerlukan akses jaringan ke database MySQL Aurora, jadi Anda juga harus memverifikasi bahwa cluster Aurora Anda dikonfigurasi dengan grup keamanan VPC yang memungkinkan lalu lintas masuk dari grup keamanan VPC pipeline ke port database. Untuk informasi selengkapnya, lihat [Mengontrol akses dengan grup keamanan](https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Overview.RDSSecurityGroups.html).
Jika Anda menggunakan Konsol Manajemen AWS untuk membuat pipeline, Anda juga harus melampirkan pipeline ke VPC agar dapat menggunakan Amazon Aurora sebagai sumber. Untuk melakukannya, cari bagian **Konfigurasi jaringan**, pilih kotak centang **Lampirkan ke VPC**, dan pilih CIDR Anda dari salah satu opsi default yang disediakan, atau pilih sendiri. Blok CIDR harus menggunakan panjang awalan /24. Anda dapat menggunakan CIDR /24 apa pun dari ruang alamat pribadi seperti yang didefinisikan dalam Praktik Terkini Terbaik [RFC 1918](https://datatracker.ietf.org/doc/html/rfc1918).
Untuk menyediakan CIDR khusus, pilih **Lainnya** dari menu tarik-turun. Untuk menghindari tabrakan di alamat IP antara OpenSearch Ingestion dan Amazon Aurora, pastikan bahwa CIDR VPC Amazon Aurora berbeda dari CIDR untuk Ingestion. OpenSearch
Untuk informasi selengkapnya, lihat [Mengonfigurasi akses VPC untuk pipeline](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/pipeline-security.html#pipeline-vpc-configure).
## Konsistensi data
Pipeline memastikan konsistensi data dengan terus melakukan polling atau menerima perubahan dari klaster Amazon Aurora dan memperbarui dokumen terkait dalam OpenSearch indeks.
OpenSearch Ingestion mendukung pengakuan ujung ke ujung untuk memastikan daya tahan data. Ketika pipeline membaca snapshot atau stream, ia secara dinamis membuat partisi untuk pemrosesan paralel. Pipeline menandai partisi sebagai lengkap ketika menerima pengakuan setelah menelan semua catatan dalam OpenSearch domain atau koleksi. Jika Anda ingin memasukkan ke dalam koleksi pencarian OpenSearch Tanpa Server, Anda dapat membuat ID dokumen di pipeline. Jika Anda ingin memasukkan koleksi deret waktu OpenSearch Tanpa Server, perhatikan bahwa pipeline tidak menghasilkan ID dokumen, jadi Anda harus menghilangkan `document_id: "${getMetadata(\"primary_key\")}"` konfigurasi sink pipeline Anda.
Pipeline OpenSearch Ingestion juga memetakan tindakan peristiwa yang masuk ke dalam tindakan pengindeksan massal yang sesuai untuk membantu menyerap dokumen. Ini membuat data tetap konsisten, sehingga setiap perubahan data di Amazon Aurora direkonsiliasi dengan perubahan dokumen terkait. OpenSearch
## Pemetaan tipe data
OpenSearch Pipeline ingestion memetakan tipe data MySQL ke representasi yang cocok untuk OpenSearch digunakan domain atau koleksi Layanan. Jika tidak ada templat pemetaan yang ditentukan OpenSearch, secara OpenSearch otomatis menentukan jenis bidang dengan [pemetaan dinamis](https://opensearch.org/docs/latest/field-types/#dynamic-mapping) berdasarkan dokumen terkirim pertama. Anda juga dapat secara eksplisit menentukan jenis bidang yang paling sesuai untuk Anda OpenSearch melalui templat pemetaan.
Tabel di bawah ini mencantumkan tipe data MySQL dan OpenSearch jenis bidang yang sesuai. Kolom *Jenis OpenSearch Bidang Default* menunjukkan jenis bidang yang sesuai OpenSearch jika tidak ada pemetaan eksplisit yang ditentukan. Dalam hal ini, OpenSearch secara otomatis menentukan jenis bidang dengan pemetaan dinamis. Kolom *Jenis OpenSearch Bidang yang Direkomendasikan* adalah jenis bidang yang sesuai yang direkomendasikan untuk ditentukan secara eksplisit dalam templat pemetaan. Jenis bidang ini lebih selaras dengan tipe data di MySQL dan biasanya dapat mengaktifkan fitur pencarian yang lebih baik yang tersedia di. OpenSearch
| Tipe Data MySQL | Jenis OpenSearch Bidang Default | Jenis OpenSearch Bidang yang Direkomendasikan |
| --- | --- | --- |
| BIGINT | long | long |
| BIGINT UNSIGNED | long | tidak ditandatangani lama |
| BIT | long | byte, pendek, integer, atau panjang tergantung pada jumlah bit |
| DECIMAL | text | ganda atau kata kunci |
| DOUBLE | float | double |
| FLOAT | float | float |
| INT | long | integer |
| INT UNSIGNED | long | long |
| MEDIUMINT | long | integer |
| MEDIUMINT UNSIGNED | long | integer |
| NUMERIC | text | ganda atau kata kunci |
| SMALLINT | long | pendek |
| SMALLINT UNSIGNED | long | integer |
| TINYINT | long | byte |
| TINYINT UNSIGNED | long | pendek |
| BINARY | text | biner |
| BLOB | text | biner |
| CHAR | text | text |
| ENUM | text | kata kunci |
| LONGBLOB | text | biner |
| LONGTEXT | text | text |
| MEDIUMBLOB | text | biner |
| MEDIUMTEXT | text | text |
| SET | text | kata kunci |
| TEXT | text | text |
| TINYBLOB | text | biner |
| TINYTEXT | text | text |
| VARBINARY | text | biner |
| VARCHAR | text | text |
| DATE | panjang (dalam milidetik zaman) | date |
| DATETIME | panjang (dalam milidetik zaman) | date |
| TIME | panjang (dalam milidetik zaman) | tanggal |
| TIMESTAMP | panjang (dalam milidetik zaman) | date |
| YEAR | panjang (dalam milidetik zaman) | date |
| GEOMETRY | teks (dalam format WKT) | geo\_shape |
| GEOMETRYCOLLECTION | teks (dalam format WKT) | geo\_shape |
| LINESTRING | teks (dalam format WKT) | geo\_shape |
| MULTILINESTRING | teks (dalam format WKT) | geo\_shape |
| MULTIPOINT | teks (dalam format WKT) | geo\_shape |
| MULTIPOLYGON | teks (dalam format WKT) | geo\_shape |
| POINT | teks (dalam format WKT) | geo\_point atau geo\_shape |
| POLYGON | teks (dalam format WKT) | geo\_shape |
| JSON | text | object |
Kami menyarankan Anda mengonfigurasi antrian huruf mati (DLQ) di pipeline Ingestion Anda. OpenSearch Jika Anda telah mengonfigurasi antrian, OpenSearch Layanan mengirimkan semua dokumen gagal yang tidak dapat dicerna karena kegagalan pemetaan dinamis ke antrian.
Jika pemetaan otomatis gagal, Anda dapat menggunakan `template_type` dan `template_content` dalam konfigurasi pipeline untuk menentukan aturan pemetaan eksplisit. Atau, Anda dapat membuat templat pemetaan langsung di domain atau koleksi penelusuran sebelum memulai pipeline.
## Batasan
Pertimbangkan batasan berikut saat Anda menyiapkan pipeline OpenSearch Ingestion untuk Aurora MySQL:
+ Integrasi hanya mendukung satu database MySQL per pipeline.
+ Integrasi saat ini tidak mendukung konsumsi data lintas wilayah; klaster dan OpenSearch domain Amazon Aurora Anda harus sama. AWS Region
+ Integrasi saat ini tidak mendukung konsumsi data lintas akun; cluster Amazon Aurora dan pipeline OpenSearch Ingestion Anda harus sama. Akun AWS
+ Pastikan klaster Amazon Aurora mengaktifkan autentikasi menggunakan Secrets Manager, yang merupakan satu-satunya mekanisme autentikasi yang didukung.
+ Konfigurasi pipeline yang ada tidak dapat diperbarui untuk menyerap data dari database yang berbeda dengan tabel and/or yang berbeda. Untuk memperbarui nama and/or tabel database pipeline, Anda harus menghentikan pipeline dan memulai ulang dengan konfigurasi yang diperbarui, atau membuat pipeline baru.
+ Pernyataan Data Definition Language (DDL) umumnya tidak didukung. Konsistensi data tidak akan dipertahankan jika:
+ Kunci utama diubah (add/delete/ganti nama).
+ Tabel adalah dropped/truncated.
+ Nama kolom atau tipe data diubah.
+ Jika tabel MySQL untuk disinkronkan tidak memiliki kunci utama yang ditentukan, konsistensi data tidak dijamin. Anda perlu menentukan `document_id` opsi khusus dalam konfigurasi OpenSearch wastafel dengan benar agar dapat updates/deletes disinkronkan OpenSearch.
+ Referensi kunci asing dengan tindakan penghapusan cascading tidak didukung dan dapat mengakibatkan inkonsistensi data antara Aurora MySQL dan. OpenSearch
+ Versi yang didukung: Aurora MySQL versi 3.05.2 dan lebih tinggi.
## CloudWatch Alarm yang Direkomendasikan
CloudWatch Metrik berikut direkomendasikan untuk memantau kinerja saluran konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa streaming, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.
| Metrik | Deskripsi |
| --- | --- |
| {{pipeline-name}}.rds.CredentialsBerubah | Metrik ini menunjukkan seberapa sering AWS rahasia diputar. |
| {{pipeline-name}}.rds.pelaksana RefreshErrors | Metrik ini menunjukkan kegagalan untuk menyegarkan AWS rahasia. |
| {{pipeline-name}}.rds.ekspor RecordsTotal | Metrik ini menunjukkan jumlah catatan yang diekspor dari Amazon Aurora. |
| {{pipeline-name}}.rds.ekspor RecordsProcessed | Metrik ini menunjukkan jumlah catatan yang diproses oleh pipa OpenSearch Ingestion. |
| {{pipeline-name}}.rds.ekspor RecordProcessingErrors | Metrik ini menunjukkan jumlah kesalahan pemrosesan dalam pipeline OpenSearch Ingestion saat membaca data dari cluster Amazon Aurora. |
| {{pipeline-name}}.rds.ekspor RecordsSuccessTotal | Metrik ini menunjukkan jumlah total catatan ekspor yang berhasil diproses. |
| {{pipeline-name}}.rds.ekspor RecordsFailedTotal | Metrik ini menunjukkan jumlah total catatan ekspor yang gagal diproses. |
| {{pipeline-name}}.rds.bytesDiterima | Metrik ini menunjukkan jumlah total byte yang diterima oleh pipeline OpenSearch Ingestion. |
| {{pipeline-name}}.rds.bytesDiproses | Metrik ini menunjukkan jumlah total byte yang diproses oleh pipeline OpenSearch Ingestion. |
| {{pipeline-name}}.rds.aliran RecordsSuccessTotal | Metrik ini menunjukkan jumlah catatan yang berhasil diproses dari aliran. |
| {{pipeline-name}}.rds.aliran RecordsFailedTotal | Metrik ini menunjukkan jumlah total rekaman yang gagal diproses dari aliran. |