Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Mengkonfigurasi penskalaan otomatis pekerja Amazon MWAA
Mekanisme penskalaan otomatis secara otomatis meningkatkan jumlah pekerja Apache Airflow sebagai respons terhadap tugas yang sedang berjalan dan antri di Alur Kerja Terkelola Amazon Anda untuk lingkungan Apache Airflow dan membuang pekerja tambahan saat tidak ada lagi tugas yang diantri atau dijalankan. Topik ini menjelaskan bagaimana Anda dapat mengonfigurasi penskalaan otomatis dengan menentukan jumlah maksimum pekerja Apache Airflow yang berjalan di lingkungan Anda menggunakan konsol Amazon MWAA.
**catatan**
Amazon MWAA menggunakan metrik Apache Airflow untuk menentukan kapan pekerja [Celery Executor tambahan](https://airflow.apache.org/docs/apache-airflow/stable/executor/celery.html) diperlukan, dan jika diperlukan meningkatkan jumlah pekerja Fargate hingga nilai yang ditentukan oleh. `max-workers` Ketika pekerja tambahan menyelesaikan pekerjaan dan beban kerja berkurang, Amazon MWAA menghapusnya, sehingga menurunkan skala kembali ke nilai yang ditetapkan oleh. `min-workers`
Jika pekerja mengambil tugas baru saat menurunkan skala, Amazon MWAA menyimpan sumber daya Fargate dan tidak menghapus pekerja. Untuk informasi selengkapnya, lihat [Cara kerja penskalaan otomatis Amazon MWAA](#mwaa-autoscaling-how).
**Topics**
+ [Cara kerja penskalaan pekerja](#mwaa-autoscaling-how)
+ [Menggunakan konsol Amazon MWAA](#mwaa-autoscaling-console)
+ [Contoh kasus penggunaan kinerja tinggi](#mwaa-autoscaling-high-volume)
+ [Memecahkan masalah tugas yang macet dalam status berjalan](#mwaa-autoscaling-stranded)
+ [Apa selanjutnya?](#mwaa-autoscaling-next-up)
## Cara kerja penskalaan pekerja
Amazon MWAA menggunakan `RunningTasks` dan `QueuedTasks` [metrik](access-metrics-cw.md#available-metrics-cw), di mana *(tugas yang menjalankan\$1tugas diantrian)/([tugas per pekerja) = (pekerja](environment-class.md#environment-class-sizes) wajib)*. Jika jumlah pekerja yang dibutuhkan lebih besar dari jumlah pekerja saat ini, Amazon MWAA akan menambahkan wadah pekerja Fargate ke nilai tersebut, hingga nilai maksimum yang ditentukan oleh. `max-workers`
Saat beban kerja berkurang dan jumlah `QueuedTasks` metrik berkurang, Amazon MWAA meminta Fargate untuk menurunkan pekerja untuk lingkungan. `RunningTasks` Setiap pekerja yang masih menyelesaikan pekerjaan tetap terlindungi selama downscaling sampai mereka menyelesaikan pekerjaan mereka. Tergantung pada beban kerja, tugas mungkin antri sementara pekerja menurunkan skala.
## Menggunakan konsol Amazon MWAA
Anda dapat memilih jumlah maksimum pekerja yang dapat berjalan di lingkungan Anda secara bersamaan di konsol Amazon MWAA. Secara default, Anda dapat menentukan nilai maksimum hingga 25.
**Untuk mengkonfigurasi jumlah pekerja**
1. Buka halaman [Lingkungan](https://console.aws.amazon.com/mwaa/home#/environments) di konsol Amazon MWAA.
1. Pilih lingkungan.
1. Pilih **Edit**.
1. Pilih **Berikutnya**.
1. Pada panel **kelas Lingkungan**, masukkan nilai dalam **Jumlah pekerja maksimum**.
1. Pilih **Simpan**.
**catatan**
Ini bisa memakan waktu beberapa menit sebelum perubahan berlaku pada lingkungan Anda.
## Contoh kasus penggunaan kinerja tinggi
Bagian berikut menjelaskan jenis konfigurasi yang dapat Anda gunakan untuk mengaktifkan kinerja tinggi dan paralelisme pada lingkungan.
### Apache Airflow di lokasi
Biasanya, di platform Apache Airflow lokal, Anda mengonfigurasi paralelisme tugas, penskalaan otomatis, dan pengaturan konkurensi dalam file Anda: `airflow.cfg`
+ `core.parallelism`— Jumlah maksimum instance tugas yang dapat berjalan secara bersamaan per penjadwal.
+ `core.dag_concurrency`— Konkurensi maksimum untuk DAGs (bukan pekerja).
+ `celery.worker_autoscale`— Jumlah tugas maksimum dan minimum yang dapat dijalankan secara bersamaan pada pekerja mana pun.
Misalnya, jika `core.parallelism` disetel ke `100` dan `core.dag_concurrency` disetel ke`7`, Anda hanya dapat menjalankan total `14` tugas secara bersamaan jika Anda memiliki 2 DAGs. Mengingat, setiap DAG diatur untuk menjalankan hanya tujuh tugas secara bersamaan (in`core.dag_concurrency`), meskipun paralelisme keseluruhan diatur ke `100` (in). `core.parallelism`
**catatan**
`core.dag_concurrency`tidak tersedia di Apache Airflow v3.
### Di lingkungan Amazon MWAA
Di lingkungan Amazon MWAA, Anda dapat mengonfigurasi pengaturan ini secara langsung di konsol Amazon MWAA menggunakan [Menggunakan opsi konfigurasi Apache Airflow di Amazon MWAA](configuring-env-variables.md)[Mengkonfigurasi kelas lingkungan Amazon MWAA](environment-class.md), dan mekanisme penskalaan **otomatis jumlah pekerja maksimum**. [Meskipun tidak `core.dag_concurrency` tersedia dalam daftar drop-down sebagai opsi **konfigurasi Apache Airflow** di konsol Amazon MWAA, Anda dapat menambahkannya sebagai opsi konfigurasi Apache Airflow khusus.](configuring-env-variables.md)
Katakanlah, ketika Anda membuat lingkungan Anda, Anda memilih pengaturan berikut:
1. [Kelas lingkungan](environment-class.md) **mw1.small** yang mengontrol jumlah maksimum tugas bersamaan yang dapat dijalankan setiap pekerja secara default dan vCPU kontainer.
1. Pengaturan default `10` pekerja dalam **jumlah pekerja Maksimum**.
1. Opsi [konfigurasi Apache Airflow](configuring-env-variables.md) `celery.worker_autoscale` untuk tugas per pekerja`5,5`.
Ini berarti Anda dapat menjalankan 50 tugas bersamaan di lingkungan Anda. Setiap tugas di atas 50 diantrian, dan menunggu tugas yang sedang berjalan selesai.
**Jalankan lebih banyak tugas bersamaan**. Anda dapat memodifikasi lingkungan untuk menjalankan lebih banyak tugas secara bersamaan menggunakan konfigurasi berikut:
1. [Tingkatkan jumlah maksimum tugas bersamaan yang dapat dijalankan setiap pekerja secara default dan vCPU kontainer dengan memilih kelas lingkungan `mw1.medium` (10 tugas bersamaan secara default).](environment-class.md)
1. Tambahkan `celery.worker_autoscale` sebagai opsi [konfigurasi Apache Airflow](configuring-env-variables.md).
1. Tingkatkan **jumlah pekerja maksimum**. Dalam contoh ini, meningkatkan pekerja maksimum dari `10` `20` menggandakan jumlah tugas bersamaan yang dapat dijalankan lingkungan.
**Tentukan Pekerja minimum**. Anda juga dapat menentukan jumlah minimum dan maksimum pekerja Apache Airflow yang berjalan di lingkungan Anda menggunakan AWS Command Line Interface ().AWS CLI Contoh:
```
aws mwaa update-environment --max-workers 10 --min-workers 10 --name YOUR_ENVIRONMENT_NAME
```
Untuk mempelajari lebih lanjut, lihat perintah [update-environment](https://docs.aws.amazon.com/cli/latest/reference/mwaa/update-environment.html) di. AWS CLI
## Memecahkan masalah tugas yang macet dalam status berjalan
Dalam kasus yang jarang terjadi, Apache Airflow mungkin berpikir ada tugas yang masih berjalan. Untuk mengatasi masalah ini, Anda perlu menghapus tugas yang terdampar di UI Apache Airflow Anda. Untuk informasi selengkapnya, lihat topik [Memecahkan Masalah Alur Kerja Terkelola Amazon untuk Apache Airflow](troubleshooting.md) pemecahan masalah.
## Apa selanjutnya?
+ Pelajari lebih lanjut tentang praktik terbaik yang kami rekomendasikan untuk menyesuaikan kinerja lingkungan Anda[Penyetelan kinerja untuk Apache Airflow di Amazon MWAA](best-practices-tuning.md).