View a markdown version of this page

Skalierung von Pipelines in Amazon OpenSearch Ingestion - OpenSearch Amazon-Dienst

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Skalierung von Pipelines in Amazon OpenSearch Ingestion

OpenSearch Ingestion skaliert die Pipeline-Kapazität automatisch auf der Grundlage Ihrer angegebenen minimalen und maximalen Ingestion-Recheneinheiten ( OpenSearch Ingestion-OCUs). Dadurch entfällt die Notwendigkeit einer manuellen Bereitstellung und Verwaltung.

Jede Ingestion-OCU ist eine Kombination aus etwa 15 GiB Arbeitsspeicher und 2 vCPUs. Sie können die minimalen und maximalen OCU-Werte für eine Pipeline angeben, und OpenSearch Ingestion skaliert Ihre Pipeline-Kapazität automatisch auf der Grundlage dieser Grenzwerte.

Sie geben die folgenden Werte an, wenn Sie eine Pipeline erstellen:

  • Mindestkapazität — Die Pipeline kann die Kapazität auf diese Anzahl von Ingestion-OCUs reduzieren. Die angegebene Mindestkapazität ist auch die Startkapazität für eine Pipeline.

  • Maximale Kapazität — Die Pipeline kann die Kapazität auf bis zu dieser Anzahl von Ingestion-OCUs erhöhen.

Das Dialogfeld „Kapazität bearbeiten“ zeigt, dass die Mindestkapazität auf 1 und die maximale Kapazität auf 4 eingestellt ist. Ingestion-OCU

Stellen Sie sicher, dass die maximale Kapazität für eine Pipeline hoch genug ist, um Arbeitsspitzen zu bewältigen, und dass die Mindestkapazität niedrig genug ist, um die Kosten zu minimieren, wenn die Pipeline nicht ausgelastet ist. Basierend auf Ihren Einstellungen skaliert OpenSearch Ingestion automatisch die Anzahl der Ingestion-OCUs für Ihre Pipeline, um die Ingestion-Arbeitslast zu verarbeiten. Zu einem bestimmten Zeitpunkt werden Ihnen nur die Ingestion-OCUs in Rechnung gestellt, die von Ihrer Pipeline aktiv genutzt werden.

Die Ihrer OpenSearch Ingestion-Pipeline zugewiesene Kapazität wird je nach den Verarbeitungsanforderungen Ihrer Pipeline und der durch Ihre Client-Anwendung generierten Last nach oben und unten skaliert. Wenn die Kapazität begrenzt ist, wird die OpenSearch Aufnahme skaliert, indem mehr Recheneinheiten (GiB Arbeitsspeicher) zugewiesen werden. Wenn Ihre Pipeline kleinere Workloads oder gar keine Daten verarbeitet, kann sie auf die minimal konfigurierten Ingestion-OCUs herunterskaliert werden.

Anmerkung

OpenSearch Ingestion-Pipelines verarbeiten maximal 150 Shards pro Ingestion-OCU. Wenn Ihre Pipeline-Quellen mehr Shards enthalten, als dieser Grenzwert für Ihre konfigurierte OCU-Anzahl zulässt, sollten Sie erwägen, die maximale OCU-Kapazität zu erhöhen oder die Anzahl der Shards in Ihrer Quelle zu reduzieren.

Sie können mindestens 1 Ingestion-OCU, maximal 96 Ingestion-OCUs für statusfreie Pipelines und maximal 48 Ingestion-OCUs für statusbehaftete Pipelines angeben. Wir empfehlen mindestens 2 Ingestion-OCUs für Push-basierte Quellen. Wenn persistente Pufferung aktiviert ist, können Sie mindestens 2 und maximal 384 Ingestion-OCUs angeben.

Bei einer Standard-Log-Pipeline mit einer einzigen Quelle, einem einfachen Grok-Muster und einer Senke kann jede Recheneinheit bis zu 2 MiB pro Sekunde unterstützen. Bei komplexeren Protokoll-Pipelines mit mehreren Prozessoren unterstützt jede Recheneinheit möglicherweise weniger Aufnahmelast. Basierend auf der Pipeline-Kapazität und der Ressourcennutzung setzt der Prozess der OpenSearch Ingestion-Skalierung ein.

Um eine hohe Verfügbarkeit zu gewährleisten, sind die Ingestion-OCUs auf mehrere Availability Zones (AZs) verteilt. Die Anzahl der AZs hängt von der von Ihnen angegebenen Mindestkapazität ab.

Wenn Sie beispielsweise mindestens 2 Recheneinheiten angeben, werden die Ingestion-OCUs, die zu einem bestimmten Zeitpunkt verwendet werden, gleichmäßig auf 2 AZs verteilt. Wenn Sie mindestens 3 oder mehr Recheneinheiten angeben, sind die Ingestion-OCUs gleichmäßig auf 3 AZs verteilt. Wir empfehlen, dass Sie mindestens zwei Ingestion-OCUs bereitstellen, um eine Verfügbarkeit von 99,9% für Ihre Ingest-Pipelines sicherzustellen.

Ingestion-OCUs werden Ihnen nicht in Rechnung gestellt, wenn sich eine Pipeline in den Bundesstaaten,, und befindet. Create failed Creating Deleting Stopped

Anweisungen zum Konfigurieren und Abrufen von Kapazitätseinstellungen für eine Pipeline finden Sie unter. Pipelines erstellen