View a markdown version of this page

セルフマネージド Kafka クラスターからのレプリケーションをモニタリングする - Amazon Managed Streaming for Apache Kafka

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

セルフマネージド Kafka クラスターからのレプリケーションをモニタリングする

セルフマネージド Apache Kafka クラスターから Amazon MSK Express ブローカーにデータをレプリケートする MSK レプリケーターを作成したら、次の Amazon CloudWatch メトリクスをモニタリングしてレプリケーションの進行状況を追跡し、アプリケーションを移行する準備ができたタイミングを判断します。

レプリケーターの作成ステータスをモニタリングする

CreateReplicator API を呼び出すと、レプリケーターは CREATINGRUNNING、または の状態に移行しますFAILED。約 30 分かかります。

aws kafka describe-replicator --replicator-arn <replicator-arn>
データレプリケーションのモニタリング

次のメトリクスをモニタリングして、データレプリケーションの進行状況を追跡します。

  • MessageLag — すべてのデータがレプリケートされたことを示す 0 に達するまでモニタリングします。

  • ReplicationLatency — レコードがソースからターゲットにレプリケートされるまでにかかる時間を追跡します。

  • ReplicationFailures — 0 にする必要があります。ゼロ以外の値は、レプリケーションの問題を示します。

コンシューマーグループのオフセット同期をモニタリングする

synchroniseConsumerGroupOffsets が に設定されている場合true、MSK レプリケーターは定期的にコンシューマーグループのオフセットをソースからターゲットクラスターに変換して同期します。

  • ConsumerGroupCount — 同期されるコンシューマーグループの予想数と一致することを確認します。

  • ConsumerGroupOffsetSyncFailure — 0 にする必要があります。0 より大きい場合は、コンシューマーグループがアクティブであることを確認し、読み取りアクセス許可と説明アクセス許可を検証し、トピックがターゲットクラスターに存在することを確認します。

  • OffsetLag (MSK) および OffsetLag (Non-MSK) — 両方のクラスターでパーティションレベルのコンシューマーラグを比較して、オフセットが同期されていることを確認します。

移行の準備状況を判断する

以下の条件がすべて満たされると、アプリケーションは移行する準備が整います。

  • MessageLag = 0.

  • ReplicationFailures = 0.

  • ConsumerGroupOffsetSyncFailure = 0.