Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Dimensionnement des pipelines dans Amazon OpenSearch Ingestion
OpenSearch L'ingestion adapte automatiquement la capacité du pipeline en fonction des unités de OpenSearch calcul d'ingestion minimales et maximales (OCU d'ingestion) que vous avez spécifiées. Cela élimine le besoin de provisionnement et de gestion manuels.
Chaque OCU d'ingestion est une combinaison d'environ 15 GiB de mémoire et de 2 vCPU. Vous pouvez spécifier les valeurs OCU minimales et maximales pour un pipeline, et OpenSearch Ingestion adapte automatiquement la capacité de votre pipeline en fonction de ces limites.
Vous spécifiez les valeurs suivantes lorsque vous créez un pipeline :
-
Capacité minimale — Le pipeline peut réduire la capacité jusqu'à ce nombre d'OCU d'ingestion. La capacité minimale spécifiée est également la capacité de départ d'un pipeline.
-
Capacité maximale — Le pipeline peut augmenter sa capacité jusqu'à ce nombre d'OCU d'ingestion.
Assurez-vous que la capacité maximale d'un pipeline est suffisamment élevée pour faire face aux pics de charge de travail, et que la capacité minimale est suffisamment faible pour minimiser les coûts lorsque le pipeline n'est pas occupé. En fonction de vos paramètres, OpenSearch Ingestion adapte automatiquement le nombre d'OCU d'ingestion pour votre pipeline afin de traiter la charge de travail d'ingestion. À un moment donné, seuls les OCU d'ingestion activement utilisés par votre pipeline vous sont facturés.
La capacité allouée à votre pipeline d' OpenSearch ingestion augmente ou diminue en fonction des exigences de traitement de votre pipeline et de la charge générée par votre application client. Lorsque la capacité est limitée, OpenSearch Ingestion augmente en allouant davantage d'unités de calcul (GiB de mémoire). Lorsque votre pipeline traite de petites charges de travail ou ne traite pas de données du tout, il peut être réduit au minimum d'OCU d'ingestion configurés.
Note
OpenSearch Les pipelines d'ingestion traitent un maximum de 150 fragments par OCU d'ingestion. Si les sources de votre pipeline contiennent plus de partitions que cette limite ne permet le nombre d'OCU configuré, envisagez d'augmenter la capacité maximale d'OCU ou de réduire le nombre de partitions dans votre source.
Vous pouvez spécifier un minimum d'une OCU d'ingestion, un maximum de 96 OCU d'ingestion pour les pipelines sans état et un maximum de 48 OCU d'ingestion pour les pipelines avec état. Nous recommandons un minimum de 2 OCU d'ingestion pour les sources basées sur le push. Lorsque la mise en mémoire tampon persistante est activée, vous pouvez spécifier un minimum de 2 OCU et un maximum de 384 OCU d'ingestion.
Avec un pipeline de log standard avec une source unique, un modèle de grok simple et un récepteur, chaque unité de calcul peut supporter jusqu'à 2 MiB par seconde. Pour les pipelines de journaux plus complexes comportant plusieurs processeurs, chaque unité de calcul peut supporter une charge d'ingestion moindre. Sur la base de la capacité du pipeline et de l'utilisation des ressources, le processus de mise à OpenSearch l'échelle de l'ingestion démarre.
Pour garantir une haute disponibilité, les OCU d'ingestion sont répartis entre les zones de disponibilité (AZ). Le nombre de AZ dépend de la capacité minimale que vous spécifiez.
Par exemple, si vous spécifiez un minimum de 2 unités de calcul, les OCU d'ingestion utilisés à un moment donné sont répartis uniformément sur 2 AZ. Si vous spécifiez un minimum de 3 unités de calcul ou plus, les OCU d'ingestion sont répartis uniformément sur 3 AZ. Nous vous recommandons de prévoir au moins deux OCU d'ingestion afin de garantir une disponibilité de 99,9 % pour vos pipelines d'ingestion.
Les OCU d'ingestion ne vous sont pas facturés lorsqu'un pipeline se trouve dans les Create
failed états, CreatingDeleting, etStopped.
Pour obtenir des instructions sur la configuration et la récupération des paramètres de capacité d'un pipeline, reportez-vous àCréation de pipelines.
