翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# Flink 演算子と Flink アプリケーションでの高可用性 (HA、High Availability) の使用
このトピックでは、高可用性を設定する方法を示し、いくつかの異なるユースケースでどのように機能するかについて説明します。これには、ジョブマネージャーを使用している場合や Flink ネイティブ kubernetes を使用している場合が含まれます。
## Flink 演算子の高可用性
Flink 演算子の高可用性を有効にすることで、障害発生時にスタンバイの Flink 演算子にフェイルオーバーして、演算子制御ループのダウンタイムを最小限に抑えることができます。高可用性はデフォルトで有効になっており、デフォルトの開始演算子レプリカ数は 2 です。`values.yaml` ファイルのレプリカフィールドは Helm チャート用に設定できます。
以下のフィールドがカスタマイズ可能です。
+ `replicas` (オプション、デフォルトは 2): この数を 1 より大きく設定すると、他のスタンバイ演算子が作成され、ジョブの復旧が早くなります。
+ `highAvailabilityEnabled` (オプション、デフォルトは true): HA を有効にするかどうかを制御します。このパラメータを true に指定すると、マルチ AZ 配置サポートが有効になり、正しい `flink-conf.yaml` パラメータが設定されます。
`values.yaml` ファイルに以下の設定を行うことで、演算子の HA を無効にできます。
```
...
imagePullSecrets: []
replicas: 1
# set this to false if you don't want HA
highAvailabilityEnabled: false
...
```
**マルチ AZ 配置**
複数のアベイラビリティーゾーンに演算子ポッドを作成します。これはソフト制約であり、別の AZ に十分なリソースがない場合、演算子ポッドは同じ AZ にスケジュールされます。
**リーダーレプリカの決定**
HA が有効になっている場合、レプリカはリースを使用してどの JM がリーダーかを判断し、リーダーの選定には K8s リースを使用します。リースを記述し、.Spec.Holder Identity フィールドを確認することで、現在のリーダーを判断できます
```
kubectl describe lease --lease -n | grep "Holder Identity"
```
**Flink-S3 インタラクション**
**アクセス認証情報の設定**
S3 バケットにアクセスするための適切な IAM 権限を IRSA に設定していることを確認してください。
**S3 アプリケーションモードからジョブジャーを取得**
Flink 演算子は S3 からのアプリケーションジャーの取得もサポートしています。FlinkDeployment 仕様で jarURI の S3 ロケーションを指定するだけです。
この機能は、PyFlink スクリプトのような他のアーティファクトのダウンロードにも使用できます。結果として生じる Python スクリプトはパス `/opt/flink/usrlib/` の下にドロップされます。
以下の例は、PyFlink ジョブにこの機能を使用する方法を示しています。jarURI フィールドと args フィールドに注意してください。
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: python-example
spec:
image:
emrReleaseLabel: "emr-6.12.0-flink-latest"
flinkVersion: v1_16
flinkConfiguration:
taskmanager.numberOfTaskSlots: "1"
serviceAccount: flink
jobManager:
highAvailabilityEnabled: false
replicas: 1
resource:
memory: "2048m"
cpu: 1
taskManager:
resource:
memory: "2048m"
cpu: 1
job:
jarURI: "s3:///scripts/pyflink.py" # Note, this will trigger the artifact download process
entryClass: "org.apache.flink.client.python.PythonDriver"
args: ["-pyclientexec", "/usr/local/bin/python3", "-py", "/opt/flink/usrlib/pyflink.py"]
parallelism: 1
upgradeMode: stateless
```
**Flink S3 コネクタ**
Flink には 2 つの S3 コネクタ (下記参照) が同梱されています。以下のセクションでは、どのコネクタをどのような場合に使用するかについて説明します。
**チェックポイント: Presto S3 コネクタ**
+ S3 スキームを s3p:// に設定します。
+ S3 へのチェックポイントに使用することをお勧めするコネクタ。詳細については、「Apache Flink ドキュメント」の「[S3 固有](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/filesystem/#s3-specific)」を参照してください。
FlinkDeployment 仕様の例:
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
flinkConfiguration:
taskmanager.numberOfTaskSlots: "2"
state.checkpoints.dir: s3p:///flink-checkpoint/
```
**S3 への読み取りと書き込み: Hadoop S3 コネクタ**
+ S3 スキームを `s3://` または (`s3a://`) に設定する
+ S3 からのファイルの読み書きに推奨されるコネクタ ([Flinks Filesystem インターフェイス](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/filesystem/)を実装する S3 コネクタのみ)。
+ デフォルトでは、`fs.s3a.aws.credentials.provider` が `flink-conf.yaml` ファイルに設定されます。このファイルは `com.amazonaws.auth.WebIdentityTokenCredentialsProvider` です。デフォルト `flink-conf` を完全にオーバーライドして S3 とやり取りする場合は、必ずこのプロバイダーを使用してください。
FlinkDeployment 仕様の例
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
job:
jarURI: local:///opt/flink/examples/streaming/WordCount.jar
args: [ "--input", "s3a:///PATH", "--output", "s3a://