View a markdown version of this page

トピックの命名 (プレフィックス付きと同一) - Amazon Managed Streaming for Apache Kafka

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

トピックの命名 (プレフィックス付きと同一)

MSK Replicator には、プレフィックス付きトピック名レプリケーション (デフォルト) または同一トピック名レプリケーションの 2 つのトピック名設定モードが用意されています。

プレフィックス付きトピック名レプリケーション

デフォルトでは、MSK Replicator は、自動生成されたプレフィックスをソースクラスターのトピック名に追加した新しいトピック (<sourceKafkaClusterAlias>.topic など) をターゲットクラスターに作成します。これにより、レプリケートされたトピックがターゲットクラスター内の他のトピックと区別され、クラスター間のデータの循環レプリケーションを回避できます。

たとえば、MSK レプリケーターは、「topic」という名前のトピックのデータをソースクラスターから、 という名前のターゲットクラスターの新しいトピックにレプリケートします<sourceKafkaClusterAlias>.topicDescribeReplicator API または MSK コンソールのレプリケーターの詳細ページを使用して、sourceKafkaClusterAlias フィールドの下にプレフィックスがあります。

コンシューマーがスタンバイクラスターから確実に処理を再開できるようにするには、ワイルドカード演算子 を使用してトピックからデータを読み取るようにコンシューマーを設定します.*。たとえば、コンシューマーは両方の AWS リージョン.*topic1で を使用して を消費する必要があります。この例には footopic1 などのトピックも含まれるため、必要に応じてワイルドカード演算子を調整してください。

アクティブ/アクティブクラスターのセットアップなど、ターゲットクラスター内の別のトピックにレプリケートされたデータを保持する場合は、プレフィックス付きトピック名レプリケーションを使用します。プレフィックス付き設定の場合、 ReplicatorBytesInPerSecと の両方ReplicatorThroughputの値が同じになります。これは、MSK レプリケーターによってデータがフィルタリングされないためです。

同一トピック名レプリケーション

別の方法として、Amazon MSK レプリケーターでは、トピックレプリケーションを同一トピック名レプリケーション (コンソールで同じトピック名を保持) に設定してレプリケーターを作成できます。同じ名前のレプリケートされたトピックを使用すると、レプリケートされたトピックから読み込むようにクライアントを再設定する必要がなくなります。

同じトピック名のレプリケーションには、次の利点があります。

  • レプリケーション中に同じトピック名を保持し、無限のレプリケーションループを自動的に回避します。

  • クライアントの再設定を回避できるため、マルチクラスターストリーミングアーキテクチャを簡素化します。

  • アクティブ/パッシブアーキテクチャのフェイルオーバープロセスを合理化し、アプリケーションがトピック名の変更やクライアントの再設定なしでシームレスにフェイルオーバーできるようにします。

  • 複数の MSK クラスターのデータを 1 つのクラスターに統合して、データ集約または一元化された分析を行うことができます (ソースクラスターごとに個別のレプリケーターが必要です)。

  • ある MSK クラスターから別の MSK クラスターへのデータ移行を合理化できます。

Amazon MSK Replicator は、Kafka ヘッダーを使用して、データが元のトピックにレプリケートされることを自動的に回避し、レプリケーション中に無限サイクルが発生するリスクを排除します。MSK レプリケーターは、レプリケートされる各レコードのヘッダーにソースクラスターとトピックの識別子を埋め込みます (__mskmr)。クライアントがレプリケートされたデータを期待どおりに読み込めることを確認する必要があります。