了解自動擴展任務計數上限 - Amazon Managed Streaming for Apache Kafka
組態需求何時使用 maxAutoscalingTaskCount範例

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

了解自動擴展任務計數上限

maxAutoscalingTaskCount 參數是選用的容量欄位，可用於 Amazon MSK Connect 中的自動擴展連接器。此參數可讓您針對連接器自動調整規模操作期間可建立的任務數量上限設定上限，以便更好地控制資源使用率和效能。

當您使用自動擴展容量模式時，Amazon MSK Connect 會自動以與每個工作者的工作者和 MCUs 數量成比例的值覆寫連接器的tasks.max屬性。maxAutoscalingTaskCount 參數提供額外的可設定選項，以限制為連接器建立的任務數量上限。

當您想要控制與 Kafka 叢集中主題分割區數量相關的平行處理層級時，此功能特別有用。透過設定此限制，您可以最佳化效能，並防止在自動計算的任務計數超過工作負載需求時可能發生的效率低下任務分佈。

組態需求

maxAutoscalingTaskCount 參數必須符合下列需求：

maxAutoscalingTaskCount ≥ maxWorkerCount

此需求會維護每個工作者至少一項任務，以確保有效率的資源使用率。系統會強制執行此最小值，以最佳化連接器功能。

當您指定 時maxAutoscalingTaskCount，限制會在連接器建立時以及所有後續擴展事件期間立即套用。隨著工作者數量在自動擴展操作期間增加或減少，系統會繼續遵守此限制。此tasks.max值會根據每個工作者的工作者和 MCUs 數量按比例調整，但絕不會超過設定maxAutoscalingTaskCount的值。

如果您未指定此參數，連接器會使用無任何限制的標準計算：tasks.max = workerCount × mcuCount × tasksPerMcu（其中 tasksPerMcu 為 2)。

何時使用 maxAutoscalingTaskCount

在下列案例中考慮使用 maxAutoscalingTaskCount ：

  • 有限分割區計數：當您的 Kafka 主題具有低於自動計算任務計數的固定分割區數量時，設定限制會阻止建立閒置任務，而不需要執行任何工作。

  • 效能最佳化：當您確定特定任務計數為您的工作負載提供最佳輸送量時，您可以限制任務上限，以維持一致的效能。

  • 資源管理：當您想要控制連接器的最大平行處理和資源耗用量時，無論有多少工作者正在執行。

範例

對於具有下列組態的連接器：

minWorkerCount: 1
maxWorkerCount: 4
mcuCount: 8
maxAutoscalingTaskCount: 15

如果沒有 maxAutoscalingTaskCount，當擴展到 4 個工作者時，連接器會建立 64 個任務 (4 個工作者 × 8 MCUs × 每個 MCU 2 個任務）。將 maxAutoscalingTaskCount設為 15 時，連接器只會建立 15 個任務，如果您的 Kafka 主題具有 15 個或更少的分割區，則可能更合適。