View a markdown version of this page

Migrieren Sie von Apache Kafka-Clustern, die nicht von MSK stammen, zu Amazon MSK Express-Brokern - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Migrieren Sie von Apache Kafka-Clustern, die nicht von MSK stammen, zu Amazon MSK Express-Brokern

Sie können MSK Replicator verwenden, um Apache Kafka-Workloads von selbstverwalteten Umgebungen auf von Amazon MSK bereitgestellte Cluster mit Express-Brokern zu migrieren. MSK Replicator unterstützt die Datenmigration aus Kafka-Bereitstellungen (Kafka-Version 2.8.1 oder höher), bei denen die Authentifizierung aktiviert ist. SASL/SCRAM

Anmerkung

SASL/SCRAM Eine Authentifizierung ist nur erforderlich, damit MSK Replicator eine Verbindung zu Ihrem selbstverwalteten Kafka-Cluster herstellen kann. Ihre Client-Anwendungen können weiterhin ihre bestehenden Authentifizierungsmechanismen verwenden.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

  1. Quellcode-Apache Kafka-Cluster, auf dem Version 2.8.1 oder höher ausgeführt wird

  2. SASL/SCRAM Authentifizierung auf dem Quellcluster aktiviert

  3. Die SSL-Verschlüsselung ist auf dem Quellcluster konfiguriert

  4. Netzwerkkonnektivität über AWS Site-to-Site VPN oder AWS Direct Connect

  5. Für den Secrets Manager Manager-Zugriff konfigurierte VPC-Subnetze

Detaillierte Anweisungen finden Sie unter Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 1: Erstellen Sie einen Amazon MSK Express-Cluster

Erstellen Sie einen von MSK bereitgestellten Cluster mit Express-Brokern mit aktivierter IAM-Authentifizierung. Mindestens drei Broker in drei AZs. Siehe Bereiten Sie den Zielcluster vor.

Schritt 2: Erstellen Sie eine IAM-Ausführungsrolle

Hängen Sie die AWSMSKReplicatorExecutionRole verwaltete Richtlinie an und konfigurieren Sie die Vertrauensrichtlinie fürkafka.amazonaws.com. Fügen Sie Inline-Berechtigungen für AWS Secrets Manager (und AWS KMS falls Ihre Geheimnisse es sind CMK-encrypted) hinzuZusätzliche SER-Berechtigungen für SASL/SCRAM und vom Kunden verwaltete Schlüssel. Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 3: Konfiguration SASL/SCRAM und SSL auf einem selbstverwalteten Cluster

Erstellen Sie einen dedizierten SCRAM-Benutzer mit den erforderlichen ACL-Berechtigungen. Konfigurieren Sie SSL-Zertifikate. Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 4: Anmeldeinformationen speichern in AWS Secrets Manager

Erstellen Sie ein Geheimnis mit username certificate Schlüssel-Wert-Paaren. password Siehe Richten Sie die Voraussetzungen für MSK Replicator mit selbstverwalteten Apache Kafka-Clustern ein.

Schritt 5: Erstellen Sie den Replikator

Verwenden Sie die CreateReplicator API mit EARLIEST Startposition, Replikation mit identischem Themennamen und der synchroniseConsumerGroupOffsets Einstellung auftrue. Der IAM-Principal, der aufruft, CreateReplicator muss über die unter beschriebenen API-Aufruferberechtigungen verfügen. Für die Erstellung eines MSK-Replikators sind IAM-Berechtigungen erforderlich Wenn Sie beabsichtigen, die bidirektionale Replikation für die Rollback-Funktion einzurichten (Schritt 6), stellen consumerGroupOffsetSyncMode Sie die Option sowohl für den Vorwärts- als auch für den Rückwärtsreplikator ENHANCED auf. Warten Sie etwa 30 Minuten, bis der Replikator den Status RUNNING erreicht hat. Siehe CreateReplicator API-Beispiele für selbstverwaltete Kafka-Cluster.

Schritt 6: (Optional) Richten Sie die bidirektionale Replikation ein

Erstellen Sie einen Reverse-Replikator vom MSK Express-Cluster zurück zum selbstverwalteten Cluster, um Rollback-Funktionen zu nutzen. Siehe CreateReplicator API-Beispiele für selbstverwaltete Kafka-Cluster.

Schritt 7: Überwachen Sie den Replikationsfortschritt

Überwachen Sie die folgenden Messwerte:

  • MessageLag(sollte 0 erreichen)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure(sollte 0 sein)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) und OffsetLag (Non-MSK Cluster)

Weitere Informationen finden Sie unter Überwachung einer Replikation.

Schritt 8: Anwendungen migrieren

Gehen Sie wie folgt vor, um Ihre Anwendungen zu migrieren:

  1. Halten Sie Produzenten davon ab, in selbstverwaltete Cluster zu schreiben

  2. Konfigurieren Sie die Produzenten auf den MSK Express-Cluster mit IAM-Authentifizierung neu

  3. Überwachen Sie, MessageLag bis der Wert 0 erreicht

  4. Stoppen Sie die Nutzung von Verbrauchern im selbstverwalteten Cluster

  5. Konfigurieren Sie die Verbraucher auf den MSK Express-Cluster neu

Schritt 9: (Optional) Führen Sie ein Rollback zum selbstverwalteten Cluster durch

Wenn die bidirektionale Replikation konfiguriert wurde, können Sie die Migrationsschritte rückgängig machen, um zum selbstverwalteten Cluster zurückzukehren. Der Reverse-Replikator (MSK Express → Extern) hat den selbstverwalteten Cluster synchron gehalten, sodass Benutzer ohne Datenverlust zurückgeleitet werden können.