View a markdown version of this page

监控来自自行管理的 Kafka 集群的复制情况 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

监控来自自行管理的 Kafka 集群的复制情况

在创建 MSK Replicator 以将数据从自我管理的 Apache Kafka 集群复制到 Amazon MSK Express 代理之后，请监控以下 CloudWatch 亚马逊指标以跟踪复制进度并确定您的应用程序何时可以迁移。

监视复制器创建状态

调用 CreateReplicator API 后，Replicator 会进入以下状态：CREATINGRUNNING、或FAILED。等待大约 30 分钟。

aws kafka describe-replicator --replicator-arn <replicator-arn>
监控数据复制

监控以下指标以跟踪数据复制进度：

  • MessageLag— 监视直到达到 0，这表示所有数据都已复制。

  • ReplicationLatency— 跟踪记录从源复制到目标所花费的时间。

  • ReplicationFailures— 应为 0。非零值表示存在复制问题。

监控消费组偏移量同步

设置synchroniseConsumerGroupOffsets为时true，MSK Replicator 会定期转换和同步从源集群到目标集群的使用者组偏移量。

  • ConsumerGroupCount— 确认这与正在同步的消费者组的预期数量相匹配。

  • ConsumerGroupOffsetSyncFailure— 应为 0。如果大于 0，请检查使用者组是否处于活动状态，验证读取和描述权限，并确保目标集群上存在主题。

  • OffsetLag (MSK)和 OffsetLag (Non-MSK) — 比较两个集群的分区级使用者延迟，以验证偏移量是否同步。

确定迁移准备情况

满足以下所有条件后，您的应用程序就可以迁移了：

  • MessageLag = 0

  • ReplicationFailures = 0

  • ConsumerGroupOffsetSyncFailure = 0