View a markdown version of this page

Menskalakan jaringan pipa di Amazon Ingestion OpenSearch - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menskalakan jaringan pipa di Amazon Ingestion OpenSearch

OpenSearch Ingestion secara otomatis menskalakan kapasitas pipa berdasarkan Unit OpenSearch Komputasi Tertelan minimum dan maksimum yang Anda tentukan (OCU Ingestion). Ini menghilangkan kebutuhan akan penyediaan dan manajemen manual.

Setiap OCU Ingestion adalah kombinasi dari sekitar 15 GiB memori dan 2 vCPU. Anda dapat menentukan nilai OCU minimum dan maksimum untuk pipeline, dan OpenSearch Ingestion secara otomatis menskalakan kapasitas pipa Anda berdasarkan batas-batas ini.

Anda menentukan nilai berikut saat membuat pipeline:

  • Kapasitas minimum - Pipa dapat mengurangi kapasitas hingga jumlah OCU Tertelan ini. Kapasitas minimum yang ditentukan juga merupakan kapasitas awal untuk pipa.

  • Kapasitas maksimum - Pipa dapat meningkatkan kapasitas hingga jumlah OCU Tertelan ini.

Edit dialog kapasitas yang menunjukkan kapasitas Min diatur ke 1 dan Kapasitas maks diatur ke 4 Ingestion-OCU.

Pastikan kapasitas maksimum untuk pipa cukup tinggi untuk menangani lonjakan beban kerja, dan kapasitas minimum cukup rendah untuk meminimalkan biaya saat pipa tidak sibuk. Berdasarkan pengaturan Anda, OpenSearch Ingestion secara otomatis menskalakan jumlah OCU Ingestion untuk pipeline Anda guna memproses beban kerja yang tertelan. Pada waktu tertentu, Anda hanya dikenakan biaya untuk OCU Ingestion yang sedang digunakan secara aktif oleh pipeline Anda.

Kapasitas yang dialokasikan untuk pipa OpenSearch Ingestion Anda naik turun berdasarkan persyaratan pemrosesan pipa Anda dan beban yang dihasilkan oleh aplikasi klien Anda. Ketika kapasitas dibatasi, OpenSearch Ingestion meningkat dengan mengalokasikan lebih banyak unit komputasi (GiB memori). Saat pipeline Anda memproses beban kerja yang lebih kecil, atau tidak memproses data sama sekali, pipeline dapat menurunkan skala ke OCU Ingestion minimum yang dikonfigurasi.

catatan

OpenSearch Pipa konsumsi memproses maksimum 150 pecahan per OCU Ingestion. Jika sumber pipeline Anda mengandung lebih banyak pecahan daripada batas ini untuk jumlah OCU yang dikonfigurasi, pertimbangkan untuk meningkatkan kapasitas OCU maksimum atau mengurangi jumlah pecahan di sumber Anda.

Anda dapat menentukan minimal 1 OCU Tertelan, maksimum 96 OCU Tertelan untuk jaringan pipa stateless, dan maksimum 48 OCU Tertelan untuk jaringan pipa stateful. Kami merekomendasikan minimal 2 OCU Tertelan untuk sumber berbasis push. Saat buffering persisten diaktifkan, Anda dapat menentukan minimal 2 dan maksimum 384 OCU Ingestion.

Diberikan pipa log standar dengan satu sumber, pola grok sederhana, dan wastafel, setiap unit komputasi dapat mendukung hingga 2 MiB per detik. Untuk jaringan pipa log yang lebih kompleks dengan beberapa prosesor, setiap unit komputasi mungkin mendukung lebih sedikit beban konsumsi. Berdasarkan kapasitas pipa dan pemanfaatan sumber daya, proses penskalaan OpenSearch Ingestion dimulai.

Untuk memastikan ketersediaan tinggi, OCU Ingestion didistribusikan di seluruh Availability Zones (AZ). Jumlah AZ tergantung pada kapasitas minimum yang Anda tentukan.

Misalnya, jika Anda menentukan minimal 2 unit komputasi, OCU Ingestion yang digunakan pada waktu tertentu didistribusikan secara merata di 2 AZ. Jika Anda menentukan minimal 3 atau lebih unit komputasi, OCU Ingestion didistribusikan secara merata di 3 AZ. Kami menyarankan Anda menyediakan setidaknya dua OCU Ingestion untuk memastikan ketersediaan 99,9% untuk saluran pipa konsumsi Anda.

Anda tidak ditagih untuk OCU Ingestion saat pipeline berada diCreate failed,,Creating, Deleting dan status. Stopped

Untuk petunjuk mengkonfigurasi dan mengambil pengaturan kapasitas untuk pipeline, lihatMembuat jaringan pipa.