View a markdown version of this page

Supervise la replicación desde clústeres Kafka autogestionados - Transmisión administrada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Supervise la replicación desde clústeres Kafka autogestionados

Tras crear un replicador de MSK para replicar los datos de un clúster de Apache Kafka autogestionado a los agentes de Amazon MSK Express, supervise las siguientes CloudWatch métricas de Amazon para realizar un seguimiento del progreso de la replicación y determinar cuándo sus aplicaciones están listas para migrar.

Supervise el estado de creación de Replicator

Tras llamar a la CreateReplicator API, el replicador pasa por los siguientes estados:CREATING,RUNNING, o. FAILED Espere aproximadamente 30 minutos.

aws kafka describe-replicator --replicator-arn <replicator-arn>
Supervise la replicación de datos

Supervise las siguientes métricas para realizar un seguimiento del progreso de la replicación de datos:

  • MessageLag— Supervise hasta que llegue a 0, lo que indica que se han replicado todos los datos.

  • ReplicationLatency— Realice un seguimiento del tiempo que tardan los registros en replicarse desde el origen al destino.

  • ReplicationFailures— Debe ser 0. Un valor distinto de cero indica problemas de replicación.

Supervise la sincronización de las compensaciones entre grupos

Cuando synchroniseConsumerGroupOffsets está configurado entrue, MSK Replicator traduce y sincroniza periódicamente las compensaciones de los grupos de consumidores desde el clúster de origen al clúster de destino.

  • ConsumerGroupCount— Compruebe que coincide con el número esperado de grupos de consumidores que se van a sincronizar.

  • ConsumerGroupOffsetSyncFailure— Debe ser 0. Si es mayor que 0, compruebe que los grupos de consumidores estén activos, compruebe los permisos de lectura y descripción y asegúrese de que los temas existan en el clúster de destino.

  • OffsetLag (MSK)yOffsetLag (Non-MSK): compare el retraso de consumo a nivel de partición en ambos clústeres para comprobar que las compensaciones estén sincronizadas.

Determine la preparación para la migración

Sus aplicaciones estarán listas para migrar cuando se cumplan todas las condiciones siguientes:

  • MessageLag = 0

  • ReplicationFailures = 0

  • ConsumerGroupOffsetSyncFailure = 0