As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Escalando pipelines na Amazon Ingestion OpenSearch
OpenSearch A ingestão escala automaticamente a capacidade do pipeline com base nas unidades de OpenSearch computação de ingestão mínimas e máximas especificadas (OCUs de ingestão). Isso elimina a necessidade de provisionamento e gerenciamento manuais.
Cada OCU de ingestão é uma combinação de aproximadamente 15 GiB de memória e 2 vCPUs. Você pode especificar os valores mínimo e máximo de OCU para um pipeline, e o OpenSearch Ingestion escala automaticamente a capacidade do pipeline com base nesses limites.
Você especifica os seguintes valores criar um pipeline:
-
Capacidade mínima: o pipeline pode reduzir a capacidade até esse número de OCUs de ingestão. A capacidade mínima especificada também é a capacidade inicial de uma pipeline.
-
Capacidade máxima: o pipeline pode aumentar a capacidade até esse número de OCUs de ingestão.
Assegure-se de garantir que a capacidade máxima do pipeline seja alta o suficiente para lidar com picos da workload, e a capacidade mínima seja baixa o suficiente para minimizar os custos quando o pipeline não estiver ocupado. Com base nas suas configurações, o OpenSearch Inestion escala automaticamente o número de OCUs de ingestão do seu pipeline para processar a carga de trabalho de ingestão. A qualquer momento específico, você será cobrado apenas pelas OCUs de ingestão que estão sendo usadas ativamente pelo seu pipeline.
A capacidade alocada para o pipeline de OpenSearch ingestão aumenta e diminui com base nos requisitos de processamento do pipeline e na carga gerada pelo aplicativo cliente. Quando a capacidade é restrita, o OpenSearch Ingestion aumenta alocando mais unidades de computação (GiB de memória). Quando seu pipeline está processando cargas de trabalho menores ou não processando nenhum dado, ele pode reduzir a escala verticalmente até as OCUs de ingestão mínimas configuradas.
nota
OpenSearch Os pipelines de ingestão processam no máximo 150 fragmentos por OCU de ingestão. Se as fontes do pipeline contiverem mais fragmentos do que esse limite permite para a contagem de OCU configurada, considere aumentar a capacidade máxima da OCU ou reduzir o número de fragmentos em sua fonte.
Você pode especificar um mínimo de 1 OCU de ingestão, um máximo de 96 OCUs de ingestão para pipelines sem estado e um máximo de 48 OCUs de ingestão para pipelines com estado. Recomendamos um mínimo de pelo menos 2 OCUs de ingestão para fontes baseadas em push. Quando o buffer persistente está habilitado, é possível especificar no mínimo 2 e no máximo 384 OCUs de ingestão.
Com um pipeline de log padrão com uma única fonte, um padrão Grok simples e um coletor, cada unidade computacional pode suportar até 2 MiB por segundo. Para pipelines de log mais complexos com vários processadores, cada unidade computacional pode suportar menos carga de ingestão. Com base na capacidade do pipeline e na utilização de recursos, o processo de escalabilidade OpenSearch de ingestão entra em ação.
Para garantir a alta disponibilidade, as OCUs de ingestão são distribuídas entre zonas de disponibilidade (AZs). O número de AZs depende da capacidade mínima que você especificar.
Por exemplo, se você especificar um mínimo de 2 unidades de computação, as OCUs de ingestão que estão em uso a qualquer momento serão distribuídas uniformemente em 2 AZs. Se você especificar um mínimo de 3 ou mais unidades de computação, as OCUs de ingestão serão distribuídas uniformemente em 3 AZs. Recomendamos que você provisione pelo menos duas OCUs de ingestão para garantir 99,9% de disponibilidade para seus pipelines de ingestão.
Você não paga pelas OCUs de ingestão quando um pipeline está nos estados Create
failed, Creating, Deleting e Stopped.
Para obter instruções sobre como definir e recuperar as configurações de capacidade de um pipeline, consulte Como criar pipelines.
