기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Amazon EMR on EKS를 사용하여 Flink 작업 실행
Amazon EMR 릴리스 6.13.0 이상은 Amazon EMR on EKS의 작업 제출 모델로 Apache Flink 또는 Flink Kubernetes 운영자를 사용하는 Amazon EMR on EKS를 지원합니다. Apache Flink가 포함된 Amazon EMR on EKS를 사용하면 자체 Amazon EKS 클러스터에서 Amazon EMR 릴리스 런타임으로 Flink 애플리케이션을 배포하고 관리할 수 있습니다. Amazon EKS 클러스터에 Flink Kubernetes 운영자를 배포한 후에는 운영자를 통해 Flink 애플리케이션을 직접 제출할 수 있습니다. 운영자는 Flink 애플리케이션의 수명 주기를 관리합니다.
**Topics**
+ [Flink Kubernetes 연산자 설정 및 사용](jobruns-flink-kubernetes-operator.md)
+ [Flink 네이티브 Kubernetes 사용](jobruns-flink-native-kubernetes.md)
+ [Flink 및 FluentD에 대한 Docker 이미지 사용자 지정](jobruns-flink-docker-flink-fluentd.md)
+ [Flink Kubernetes 운영자 및 Flink 작업 모니터링](jobruns-flink-monitoring.md)
+ [Flink에서 고가용성 및 작업 복원력을 지원하는 방법](jobruns-flink-resiliency.md)
+ [Flink 애플리케이션에 대한 Autoscaler 사용](jobruns-flink-autoscaler.md)
+ [Amazon EMR on EKS에서 Flink 작업에 대한 유지 관리 및 문제 해결](jobruns-flink-troubleshooting.md)
+ [Apache Flink가 포함된 Amazon EMR on EKS에 대해 지원되는 릴리스](jobruns-flink-security-release-versions.md)
# Flink Kubernetes 연산자 설정 및 사용
다음 페이지에서는 Flink Kubernetes 운영자를 설정 및 사용하여, Amazon EMR on EKS에서 Flink 작업을 실행하는 방법을 설명합니다. 사용 가능한 주제에는 필수 사전 조건, 환경 설정 방법, Amazon EMR on EKS에서 Flink 애플리케이션 실행이 포함됩니다.
**Topics**
+ [Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 설정](jobruns-flink-kubernetes-operator-setup.md)
+ [Amazon EMR on EKS에 대한 Flink Kubernetes 연산자 설치](jobruns-flink-kubernetes-operator-getting-started.md)
+ [Flink 애플리케이션 실행](jobruns-flink-kubernetes-operator-run-application.md)
+ [Flink 애플리케이션을 실행하기 위한 보안 역할 권한](jobruns-flink-kubernetes-security.md)
+ [Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 제거](jobruns-flink-kubernetes-operator-uninstall.md)
# Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 설정
Amazon EKS에서 Flink Kubernetes 운영자를 설치하려면 먼저 설정을 위해 다음 작업을 수행합니다. Amazon Web Services(AWS)에 이미 가입했고 Amazon EKS를 사용하고 있는 경우 Amazon EMR on EKS를 사용할 준비를 거의 마친 상태입니다. Amazon EKS에서 Flink 운영자를 설정하려면 다음 작업을 수행합니다. 필수 조건 중 하나를 이미 완료한 경우 해당 조건을 건너뛰고 다음 조건으로 넘어갈 수 있습니다.
+ **[의 최신 버전 설치 또는 업데이트 AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) ** -를 이미 설치한 경우 최신 버전이 있는지 AWS CLI확인합니다.
+ **[kubectl 및 eksctl 설치](https://docs.aws.amazon.com/eks/latest/userguide/install-kubectl.html)** - eksctl은 Amazon EKS와 통신하는 데 사용하는 명령줄 도구입니다.
+ **[Install Helm](https://docs.aws.amazon.com/eks/latest/userguide/helm.html)** – Kubernetes용 Helm 패키지 관리자는 Kubernetes 클러스터에서 애플리케이션을 설치하고 관리하는 데 도움이 됩니다.
+ **[Amazon EKS 시작하기 – eksctl](https://docs.aws.amazon.com/eks/latest/userguide/getting-started-eksctl.html) ** - 관련 단계를 수행하여 Amazon EKS에서 노드를 포함하는 새 Kubernetes 클러스터를 생성합니다.
+ **[Amazon EMR 릴리스 레이블 선택](jobruns-flink-security-release-versions.md)(릴리스 6.13.0 이상)** - Flink Kubernetes 연산자는 Amazon EMR 릴리스 6.13.0 이상에서 지원됩니다.
+ **[Amazon EKS 클러스터에서 서비스 계정에 대한 IAM 역할(IRSA)을 활성화](setting-up-enable-IAM.md)**합니다.
+ **[작업 실행 역할을 생성](creating-job-execution-role.md)**합니다.
+ **[작업 실행 역할의 신뢰 정책을 업데이트](setting-up-trust-policy.md)**합니다.
+ 운영자 실행 역할을 생성합니다. 이 단계는 선택 사항입니다. Flink 작업과 운영자에 동일한 역할을 사용할 수 있습니다. 운영자에 대해 다른 IAM 역할을 사용하려는 경우 별도의 역할을 생성할 수 있습니다.
+ 운영자 실행 역할의 신뢰 정책을 업데이트합니다. Amazon EMR Flink Kubernetes 운영자 서비스 계정에 사용할 역할에 대해 신뢰 정책 항목 하나를 명시적으로 추가해야 합니다. 다음 예제 형식을 따를 수 있습니다.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"sts:AssumeRoleWithWebIdentity"
],
"Resource": [
"*"
],
"Condition": {
"StringLike": {
"aws:userid": "system:serviceaccount:emr:emr-containers-sa-flink-operator"
}
},
"Sid": "AllowSTSAssumerolewithwebidentity"
}
]
}
```
------
# Amazon EMR on EKS에 대한 Flink Kubernetes 연산자 설치
이 주제는 Flink 배포를 준비하여 Amazon EKS에서 Flink Kubernetes 연산자 사용을 시작하는 데 도움을 줍니다.
## Kubernetes 연산자 설치
다음 단계를 사용하여 Apache Flink용 Kubernetes 운영자를 설치합니다.
1. 아직 실행하지 않았다면, [Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 설정](jobruns-flink-kubernetes-operator-setup.md)의 단계를 완료합니다.
1. *cert-manager*(Amazon EKS 클러스터당 하나)를 설치하여 웹후크 구성 요소 추가를 지원합니다.
```
kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.12.0/cert-manager.yaml
```
1. 차트 Helm을 설치합니다.
```
export VERSION=7.12.0 # The Amazon EMR release version
export NAMESPACE=The Kubernetes namespace to deploy the operator
helm install flink-kubernetes-operator \
oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
--version $VERSION \
--namespace $NAMESPACE
```
출력 예시:
```
NAME: flink-kubernetes-operator
LAST DEPLOYED: Tue May 31 17:38:56 2022
NAMESPACE: $NAMESPACE
STATUS: deployed
REVISION: 1
TEST SUITE: None
```
1. 배포가 완료될 때까지 기다린 후 차트 설치를 확인합니다.
```
kubectl wait deployment flink-kubernetes-operator --namespace $NAMESPACE --for condition=Available=True --timeout=30s
```
1. 배포가 완료되면 다음 메시지가 표시됩니다.
```
deployment.apps/flink-kubernetes-operator condition met
```
1. 다음 명령을 사용하여 배치된 운영자를 확인합니다.
```
helm list --namespace $NAMESPACE
```
다음은 앱 버전 `x.y.z-amzn-n`이 Amazon EMR on EKS 릴리스의 Flink 운영자 버전과 일치하는 예제 출력을 보여줍니다. 자세한 내용은 [Apache Flink가 포함된 Amazon EMR on EKS에 대해 지원되는 릴리스](jobruns-flink-security-release-versions.md) 단원을 참조하십시오.
```
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
flink-kubernetes-operator $NAMESPACE 1 2023-02-22 16:43:45.24148 -0500 EST deployed flink-kubernetes-operator-emr-7.12.0 x.y.z-amzn-n
```
### Kubernetes 연산자 업그레이드
Flink 연산자의 버전을 업그레이드하려면 다음 단계를 따르세요.
1. 이전 `flink-kubernetes-operator`: `helm uninstall flink-kubernetes-operator -n `를 제거합니다.
1. `kubectl delete crd flinkdeployments.flink.apache.org flinksessionjobs.flink.apache.org` CRD를 삭제(helm은 이전 CRD를 자동으로 삭제하지 않으므로)합니다.
1. `flink-kubernetes-operator`를 최신 버전으로 다시 설치합니다.
# Flink 애플리케이션 실행
Amazon EMR 6.13.0 이상을 사용할 경우 Amazon EMR on EKS의 애플리케이션 모드에서 Flink Kubernetes 연산자로 Flink 애플리케이션을 실행할 수 있습니다. Amazon EMR 6.15.0 이상을 사용할 경우 세션 모드에서 Flink 애플리케이션을 실행할 수도 있습니다. 이 페이지는 Amazon EMR on EKS로 Flink 애플리케이션을 실행하기 위해 활용할 수 있는 두 가지 방법을 모두 설명합니다.
**Topics**
**참고**
Flink 작업을 제출할 때 고가용성 메타데이터를 저장할 Amazon S3 버킷을 생성해야 합니다. 이 기능을 사용하고 싶지 않은 경우 비활성화할 수 있습니다. 기본적으로 활성화됩니다.
**전제 조건** – Flink Kubernetes 운영자로 Flink 애플리케이션을 실행하기 전에 [Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 설정](jobruns-flink-kubernetes-operator-setup.md) 및 [Kubernetes 연산자 설치](jobruns-flink-kubernetes-operator-getting-started.md#jobruns-flink-kubernetes-operator-getting-started-install-operator)의 단계를 완료합니다.
------
#### [ Application mode ]
Amazon EMR 6.13.0 이상을 사용할 경우 Amazon EMR on EKS의 애플리케이션 모드에서 Flink Kubernetes 연산자로 Flink 애플리케이션을 실행할 수 있습니다.
1. 다음 예제에서 `FlinkDeployment` 정의 파일 `basic-example-app-cluster.yaml`을 생성합니다. [옵트인 AWS 리전](https://docs.aws.amazon.com/controltower/latest/userguide/opt-in-region-considerations.html) 중 하나를 활성화하고 사용하는 경우 구성의 주석 처리를 해제하고 구성해야 합니다`fs.s3a.endpoint.region`.
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example-app-cluster
spec:
flinkConfiguration:
taskmanager.numberOfTaskSlots: "2"
#fs.s3a.endpoint.region: OPT_IN_AWS_REGION_NAME
state.checkpoints.dir: CHECKPOINT_S3_STORAGE_PATH
state.savepoints.dir: SAVEPOINT_S3_STORAGE_PATH
flinkVersion: v1_17
executionRoleArn: JOB_EXECUTION_ROLE_ARN
emrReleaseLabel: "emr-6.13.0-flink-latest" # 6.13 or higher
jobManager:
storageDir: HIGH_AVAILABILITY_STORAGE_PATH
resource:
memory: "2048m"
cpu: 1
taskManager:
resource:
memory: "2048m"
cpu: 1
job:
# if you have your job jar in S3 bucket you can use that path as well
jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar
parallelism: 2
upgradeMode: savepoint
savepointTriggerNonce: 0
monitoringConfiguration:
cloudWatchMonitoringConfiguration:
logGroupName: LOG_GROUP_NAME
```
1. 다음 명령으로 Flink 배포를 제출합니다. 이렇게 하면 `FlinkDeployment` 객체(`basic-example-app-cluster`)도 생성됩니다.
```
kubectl create -f basic-example-app-cluster.yaml -n
```
1. Flink UI에 액세스합니다.
```
kubectl port-forward deployments/basic-example-app-cluster 8081 -n NAMESPACE
```
1. `localhost:8081`을 열어서 Flink 작업을 로컬에서 확인합니다.
1. 작업을 정리합니다. 이 작업을 위해 생성된 S3 아티팩트(예: 검사, 고가용성, 메타데이터 세이브포인트 및 CloudWatch 로그)를 정리해야 합니다.
Flink Kubernetes 운영자를 통해 Flink에 애플리케이션을 제출하는 방법에 대한 자세한 내용은 GitHub의 `apache/flink-kubernetes-operator` 폴더에 있는 [Flink Kubernetes operator examples](https://github.com/apache/flink-kubernetes-operator/tree/main/examples)를 참조하세요.
------
#### [ Session mode ]
Amazon EMR 6.15.0 이상을 사용할 경우 Amazon EMR on EKS의 세션 모드에서 Flink Kubernetes 연산자로 Flink 애플리케이션을 실행할 수 있습니다.
1. 다음 예제에서 이름이 `basic-example-app-cluster.yaml`인 `FlinkDeployment` 정의 파일을 생성합니다. [옵트인 AWS 리전](https://docs.aws.amazon.com/controltower/latest/userguide/opt-in-region-considerations.html) 중 하나를 활성화하고 사용하는 경우 구성의 주석 처리를 해제하고 구성해야 합니다`fs.s3a.endpoint.region`.
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example-session-cluster
spec:
flinkConfiguration:
taskmanager.numberOfTaskSlots: "2"
#fs.s3a.endpoint.region: OPT_IN_AWS_REGION_NAME
state.checkpoints.dir: CHECKPOINT_S3_STORAGE_PATH
state.savepoints.dir: SAVEPOINT_S3_STORAGE_PATH
flinkVersion: v1_17
executionRoleArn: JOB_EXECUTION_ROLE_ARN
emrReleaseLabel: "emr-6.15.0-flink-latest"
jobManager:
storageDir: HIGH_AVAILABILITY_S3_STORAGE_PATH
resource:
memory: "2048m"
cpu: 1
taskManager:
resource:
memory: "2048m"
cpu: 1
monitoringConfiguration:
s3MonitoringConfiguration:
logUri:
cloudWatchMonitoringConfiguration:
logGroupName: LOG_GROUP_NAME
```
1. 다음 명령으로 Flink 배포를 제출합니다. 이렇게 하면 `FlinkDeployment` 객체(`basic-example-session-cluster`)도 생성됩니다.
```
kubectl create -f basic-example-app-cluster.yaml -n NAMESPACE
```
1. 다음과 같은 명령을 사용하여 세션 클러스터 `LIFECYCLE`이 `STABLE`인지 확인하세요.
```
kubectl get flinkdeployments.flink.apache.org basic-example-session-cluster -n NAMESPACE
```
출력은 다음 예시와 비슷해야 합니다.
```
NAME JOB STATUS LIFECYCLE STATE
basic-example-session-cluster STABLE
```
1. 다음 콘텐츠 예제가 포함된 `FlinkSessionJob` 사용자 지정 정의 리소스 파일 `basic-session-job.yaml`을 생성합니다.
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkSessionJob
metadata:
name: basic-session-job
spec:
deploymentName: basic-session-deployment
job:
# If you have your job jar in an S3 bucket you can use that path.
# To use jar in S3 bucket, set
# OPERATOR_EXECUTION_ROLE_ARN (--set emrContainers.operatorExecutionRoleArn=$OPERATOR_EXECUTION_ROLE_ARN)
# when you install Spark operator
jarURI: https://repo1.maven.org/maven2/org/apache/flink/flink-examples-streaming_2.12/1.16.1/flink-examples-streaming_2.12-1.16.1-TopSpeedWindowing.jar
parallelism: 2
upgradeMode: stateless
```
1. 다음 명령으로 Flink 세션 작업을 제출합니다. 이렇게 하면 `FlinkSessionJob` 객체 `basic-session-job`이 생성됩니다.
```
kubectl apply -f basic-session-job.yaml -n $NAMESPACE
```
1. 다음과 같은 명령을 사용하여 세션 클러스터 `LIFECYCLE`이 `STABLE`이고 `JOB STATUS`가 `RUNNING`인지 확인하세요.
```
kubectl get flinkdeployments.flink.apache.org basic-example-session-cluster -n NAMESPACE
```
출력은 다음 예시와 비슷해야 합니다.
```
NAME JOB STATUS LIFECYCLE STATE
basic-example-session-cluster RUNNING STABLE
```
1. Flink UI에 액세스합니다.
```
kubectl port-forward deployments/basic-example-session-cluster 8081 -n NAMESPACE
```
1. `localhost:8081`을 열어서 Flink 작업을 로컬에서 확인합니다.
1. 작업을 정리합니다. 이 작업을 위해 생성된 S3 아티팩트(예: 검사, 고가용성, 메타데이터 세이브포인트 및 CloudWatch 로그)를 정리해야 합니다.
------
# Flink 애플리케이션을 실행하기 위한 보안 역할 권한
이 주제에서는 Flink 애플리케이션을 배포하고 실행하기 위한 보안 역할에 대해 설명합니다. 배포를 관리하고 작업을 생성 및 관리하는 데 필요한 두 가지 역할(작업자 역할과 작업 역할)이 있습니다. 이 주제에서는 이러한 역할을 소개하고 해당 권한을 나열합니다.
## 역할 기반 액세스 제어
운영자를 배포하고 Flink 작업을 실행하려면 두 개의 Kubernetes 역할(즉, 운영자 하나와 작업 역할 하나)을 생성해야 합니다. Amazon EMR은 운영자를 설치할 때 기본적으로 두 가지 역할을 생성합니다.
## 운영자 역할
운영자 역할을 사용하여 `flinkdeployments`를 관리함으로써 각 Flink 작업 및 기타 리소스(예: 서비스)에 대한 JobManager를 생성하고 관리합니다.
운영자 역할의 기본 이름은 `emr-containers-sa-flink-operator`이며, 다음과 같은 권한이 필요합니다.
```
rules:
- apiGroups:
- ""
resources:
- pods
- services
- events
- configmaps
- secrets
- serviceaccounts
verbs:
- '*'
- apiGroups:
- rbac.authorization.k8s.io
resources:
- roles
- rolebindings
verbs:
- '*'
- apiGroups:
- apps
resources:
- deployments
- deployments/finalizers
- replicasets
verbs:
- '*'
- apiGroups:
- extensions
resources:
- deployments
- ingresses
verbs:
- '*'
- apiGroups:
- flink.apache.org
resources:
- flinkdeployments
- flinkdeployments/status
- flinksessionjobs
- flinksessionjobs/status
verbs:
- '*'
- apiGroups:
- networking.k8s.io
resources:
- ingresses
verbs:
- '*'
- apiGroups:
- coordination.k8s.io
resources:
- leases
verbs:
- '*'
```
## 작업 역할
JobManager는 작업 역할을 사용하여 각 작업에 대한 TaskManager 및 ConfigMap을 생성하고 관리합니다.
```
rules:
- apiGroups:
- ""
resources:
- pods
- configmaps
verbs:
- '*'
- apiGroups:
- apps
resources:
- deployments
- deployments/finalizers
verbs:
- '*'
```
# Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 제거
다음 단계에 따라 Flink Kubernetes 운영자를 제거합니다.
1. 운영자를 삭제합니다.
```
helm uninstall flink-kubernetes-operator -n
```
1. Helm에서 제거하지 않는 Kubernetes 리소스를 삭제합니다.
```
kubectl delete serviceaccounts, roles, rolebindings -l emr-containers.amazonaws.com/component=flink.operator --namespace
kubectl delete crd flinkdeployments.flink.apache.org flinksessionjobs.flink.apache.org
```
1. (선택 사항) cert-manager를 삭제합니다.
```
kubectl delete -f https://github.com/jetstack/cert-manager/releases/download/v1.12.0/cert-manager.yaml
```
# Flink 네이티브 Kubernetes 사용
Amazon EMR 릴리스 6.13.0 이상에서는 Flink 애플리케이션을 Amazon EMR on EKS 클러스터에 제출하고 해당 애플리케이션을 실행하는 데 사용할 수 있는 명령줄 도구로 Flink 네이티브 Kubernetes를 지원합니다.
**Topics**
+ [Amazon EMR on EKS에서 Flink 네이티브 Kubernetes 설정](jobruns-flink-native-kubernetes-setup.md)
+ [Amazon EMR on EKS용 Flink 네이티브 Kubernetes 시작하기](jobruns-flink-native-kubernetes-getting-started.md)
+ [네이티브 Kubernetes에 대한 Flink JobManager 서비스 계정 보안 요구 사항](jobruns-flink-native-kubernetes-security-requirements.md)
# Amazon EMR on EKS에서 Flink 네이티브 Kubernetes 설정
Amazon EMR on EKS에서 Flink CLI를 사용하여 애플리케이션을 실행하기 전에 다음 작업을 완료합니다. Amazon Web Services(AWS)에 이미 가입했고 Amazon EKS를 사용하고 있는 경우 Amazon EMR on EKS를 사용할 준비를 거의 마친 상태입니다. 필수 조건 중 하나를 이미 완료한 경우 해당 조건을 건너뛰고 다음 조건으로 넘어갈 수 있습니다.
+ **[의 최신 버전 설치 또는 업데이트 AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) ** -를 이미 설치한 경우 최신 버전이 있는지 AWS CLI확인합니다.
+ **[Amazon EKS 시작하기 – eksctl](https://docs.aws.amazon.com/eks/latest/userguide/getting-started-eksctl.html) ** - 관련 단계를 수행하여 Amazon EKS에서 노드를 포함하는 새 Kubernetes 클러스터를 생성합니다.
+ **[Amazon EMR 기본 이미지 URI 선택](docker-custom-images-tag.md)(릴리스 6.13.0 이상)** - Flink Kubernetes 명령은 Amazon EMR 릴리스 6.13.0 이상에서 지원됩니다.
+ JobManager 서비스 계정에 TaskManager 포드를 생성하고 감시할 수 있는 적절한 권한이 있는지 확인합니다. 자세한 내용은 [네이티브 Kubernetes에 대한 Flink JobManager 서비스 계정 보안 요구 사항](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/jobruns-flink-native-kubernetes-security-requirements.html)을 참조하세요.
+ 로컬 [AWS 보안 인증 프로파일](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html)을 설정합니다.
+ Flink 애플리케이션을 실행하려는 [Amazon EKS 클러스터용 kubeconfig 파일을 생성 또는 업데이트](https://docs.aws.amazon.com/eks/latest/userguide/create-kubeconfig.html)합니다.
# Amazon EMR on EKS용 Flink 네이티브 Kubernetes 시작하기
이 단계에서는 Flink 애플리케이션을 구성하고, 이에 대한 서비스 계정을 설정하며, 실행하는 방법을 보여줍니다. Flink 네이티브 Kubernetes는 실행 중인 Kubernetes 클러스터에 Flink를 배포하는 데 사용됩니다.
## Flink 애플리케이션 구성 및 실행
Amazon EMR 6.13.0 이상은 Amazon EKS 클러스터에서 Flink 애플리케이션을 실행하기 위한 Flink 네이티브 Kubernetes를 지원합니다. Flink 애플리케이션을 실행하려면 다음 단계를 수행합니다.
1. Flink 네이티브 Kubernetes 명령으로 Flink 애플리케이션을 실행하려면 먼저 [Amazon EMR on EKS에서 Flink 네이티브 Kubernetes 설정](jobruns-flink-native-kubernetes-setup.md)의 단계를 완료합니다.
1. [Flink 다운로드 및 설치](https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/try-flink/local_installation).
1. 다음과 같은 환경 변수의 값을 설정합니다.
```
#Export the FLINK_HOME environment variable to your local installation of Flink
export FLINK_HOME=/usr/local/bin/flink #Will vary depending on your installation
export NAMESPACE=flink
export CLUSTER_ID=flink-application-cluster
export IMAGE=<123456789012.dkr.ecr.sample-AWS 리전-.amazonaws.com/flink/emr-6.13.0-flink:latest>
export FLINK_SERVICE_ACCOUNT=emr-containers-sa-flink
export FLINK_CLUSTER_ROLE_BINDING=emr-containers-crb-flink
```
1. Kubernetes 리소스를 관리할 서비스 계정을 생성합니다.
```
kubectl create serviceaccount $FLINK_SERVICE_ACCOUNT -n $NAMESPACE
kubectl create clusterrolebinding $FLINK_CLUSTER_ROLE_BINDING --clusterrole=edit --serviceaccount=$NAMESPACE:$FLINK_SERVICE_ACCOUNT
```
1. `run-application` CLI 명령을 실행합니다.
```
$FLINK_HOME/bin/flink run-application \
--target kubernetes-application \
-Dkubernetes.namespace=$NAMESPACE \
-Dkubernetes.cluster-id=$CLUSTER_ID \
-Dkubernetes.container.image.ref=$IMAGE \
-Dkubernetes.service-account=$FLINK_SERVICE_ACCOUNT \
local:///opt/flink/examples/streaming/Iteration.jar
2022-12-29 21:13:06,947 INFO org.apache.flink.kubernetes.utils.KubernetesUtils [] - Kubernetes deployment requires a fixed port. Configuration blob.server.port will be set to 6124
2022-12-29 21:13:06,948 INFO org.apache.flink.kubernetes.utils.KubernetesUtils [] - Kubernetes deployment requires a fixed port. Configuration taskmanager.rpc.port will be set to 6122
2022-12-29 21:13:07,861 WARN org.apache.flink.kubernetes.KubernetesClusterDescriptor [] - Please note that Flink client operations(e.g. cancel, list, stop, savepoint, etc.) won't work from outside the Kubernetes cluster since 'kubernetes.rest-service.exposed.type' has been set to ClusterIP.
2022-12-29 21:13:07,868 INFO org.apache.flink.kubernetes.KubernetesClusterDescriptor [] - Create flink application cluster flink-application-cluster successfully, JobManager Web Interface: http://flink-application-cluster-rest.flink:8081
```
1. 생성된 Kubernetes 리소스를 검사합니다.
```
kubectl get all -n
NAME READY STATUS RESTARTS AGE
pod/flink-application-cluster-546687cb47-w2p2z 1/1 Running 0 3m37s
pod/flink-application-cluster-taskmanager-1-1 1/1 Running 0 3m24s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/flink-application-cluster ClusterIP None 6123/TCP,6124/TCP 3m38s
service/flink-application-cluster-rest ClusterIP 10.100.132.158 8081/TCP 3m38s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/flink-application-cluster 1/1 1 1 3m38s
NAME DESIRED CURRENT READY AGE
replicaset.apps/flink-application-cluster-546687cb47 1 1 1 3m38s
```
1. 포트는 8081로 포워딩됩니다.
```
kubectl port-forward service/flink-application-cluster-rest 8081 -n
Forwarding from 127.0.0.1:8081 -> 8081
```
1. Flink UI에 로컬로 액세스합니다.
![\[Flink UI에 액세스합니다.\]](http://docs.aws.amazon.com/ko_kr/emr/latest/EMR-on-EKS-DevelopmentGuide/images/jobruns-flink-native-kubernetes-ui.png)
1. Flink 애플리케이션을 삭제합니다.
```
kubectl delete deployment.apps/flink-application-cluster -n
deployment.apps "flink-application-cluster" deleted
```
Flink에 애플리케이션을 제출하는 방법에 대한 자세한 내용은 Apache Flink 설명서에서 [Native Kubernetes](https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/native_kubernetes/)를 참조하세요.
# 네이티브 Kubernetes에 대한 Flink JobManager 서비스 계정 보안 요구 사항
Flink JobManager 포드는 Kubernetes 서비스 계정을 사용함으로써 Kubernetes API 서버에 액세스하여 TaskManager 포드를 생성하고 감시합니다. JobManager 서비스 계정에는 TaskManager 포드를 생성 및 삭제할 수 있는 적절한 권한이 있어야 하며, 클러스터에서 JobManager 및 ResourceManager의 주소를 검색하기 위해 TaskManager에서 리더 ConfigMaps를 감시하도록 허용해야 합니다.
이 서비스 계정에는 다음 규칙이 적용됩니다.
```
rules:
- apiGroups:
- ""
resources:
- pods
verbs:
- "*"
- apiGroups:
- ""
resources:
- services
verbs:
- "*"
- apiGroups:
- ""
resources:
- configmaps
verbs:
- "*"
- apiGroups:
- "apps"
resources:
- deployments
verbs:
- "*"
```
# Flink 및 FluentD에 대한 Docker 이미지 사용자 지정
다음 단계를 수행하여 Apache Flink 또는 FluentD 이미지를 사용해 Amazon EMR on EKS에 대한 Docker 이미지를 사용자 지정합니다. 여기에는 기본 이미지 가져오기, 사용자 지정, 게시 및 워크로드 제출에 대한 기술 지침이 포함됩니다.
**Topics**
+ [사전 조건](#jobruns-flink-docker-flink-fluentd-prereqs)
+ [1단계: Amazon Elastic Container Registry에서 기본 이미지 검색](#jobruns-flink-docker-flink-fluentd-retrieve-base)
+ [2단계: 기본 이미지 사용자 지정](#jobruns-flink-docker-flink-fluentd-customize-image)
+ [3단계: 사용자 지정 이미지 게시](#jobruns-flink-docker-flink-fluentd-publish-image)
+ [4단계: 사용자 지정 이미지를 사용하여 Amazon EMR에서 Flink 워크로드 제출](#jobruns-flink-docker-flink-fluentd-submit-workload)
## 사전 조건
Docker 이미지를 사용자 지정하기 전에 다음 사전 조건을 완료했는지 확인합니다.
+ [Amazon EMR on EKS에 대한 Flink Kubernetes 연산자 설정](https://docs.aws.amazon.com/emr/latest/EMR-on-EKS-DevelopmentGuide/jobruns-flink-kubernetes-operator-setup.html)을 완료했습니다.
+ 환경에 Docker를 설치했습니다. 자세한 내용은 [Get Docker](https://docs.docker.com/get-docker/)를 참조하세요.
## 1단계: Amazon Elastic Container Registry에서 기본 이미지 검색
기본 이미지에는 다른 AWS 서비스에 액세스하는 데 사용되는 Amazon EMR 런타임 및 커넥터가 포함되어 있습니다. Flink 버전 6.14.0 이상의 EKS에서 Amazon EMR on EKS를 사용하는 경우 Amazon ECR 퍼블릭 갤러리에서 기본 이미지를 가져올 수 있습니다. 갤러리를 탐색하여 이미지 링크를 찾은 다음, 이미지를 로컬 Workspace로 가져옵니다. 예를 들어 Amazon EMR 6.14.0 릴리스의 경우 다음 `docker pull` 명령은 최신 표준 기본 이미지를 반환합니다. `emr-6.14.0:latest`를 원하는 릴리스 버전으로 바꿉니다.
```
docker pull public.ecr.aws/emr-on-eks/flink/emr-6.14.0-flink:latest
```
다음은 Flink 갤러리 이미지 및 Fluentd 갤러리 이미지에 대한 링크입니다.
+ [emr-on-eks/flink/emr-6.14.0-flink](https://gallery.ecr.aws/emr-on-eks/flink/emr-6.14.0-flink)
+ [emr-on-eks/fluentd/emr-6.14.0](https://gallery.ecr.aws/emr-on-eks/fluentd/emr-6.14.0)
## 2단계: 기본 이미지 사용자 지정
다음 단계에서는 Amazon ECR에서 가져온 기본 이미지를 사용자 지정하는 방법을 설명합니다.
1. 로컬 Workspace에 새 `Dockerfile`을 생성합니다.
1. `Dockerfile`을 수정하고 다음 콘텐츠를 추가합니다. 이 `Dockerfile`에서는 `public.ecr.aws/emr-on-eks/flink/emr-7.12.0-flink:latest`에서 가져온 컨테이너 이미지를 사용합니다.
```
FROM public.ecr.aws/emr-on-eks/flink/emr-7.12.0-flink:latest
USER root
### Add customization commands here ####
USER hadoop:hadoop
```
`Fluentd`를 사용하는 경우 다음 구성을 사용합니다.
```
FROM public.ecr.aws/emr-on-eks/fluentd/emr-7.12.0:latest
USER root
### Add customization commands here ####
USER hadoop:hadoop
```
1. `Dockerfile`에 명령을 추가하여 기본 이미지를 사용자 지정합니다. 다음 명령은 Python 라이브러리를 설치하는 명령을 시연합니다.
```
FROM public.ecr.aws/emr-on-eks/flink/emr-7.12.0-flink:latest
USER root
RUN pip3 install --upgrade boto3 pandas numpy // For python 3
USER hadoop:hadoop
```
1. `DockerFile`을 생성한 같은 디렉터리에서 다음 명령을 실행하여 Docker 이미지를 빌드합니다. `-t` 플래그 다음에 제공하는 필드는 이미지의 사용자 지정 이름입니다.
```
docker build -t .dkr.ecr..amazonaws.com/:
```
## 3단계: 사용자 지정 이미지 게시
이제 Amazon ECR 레지스트리에 새 Docker 이미지를 게시할 수 있습니다.
1. 다음 명령을 실행하여 Docker 이미지를 저장할 Amazon ECR 리포지토리를 생성합니다. 리포지토리의 이름을 입력합니다(예: `emr_custom_repo.`). 자세한 내용은 Amazon Elastic Container Registry 사용 설명서의 [리포지토리 생성](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-create-repository)을 참조하세요.
```
aws ecr create-repository \
--repository-name emr_custom_repo \
--image-scanning-configuration scanOnPush=true \
--region
```
1. 다음 명령을 실행하여 기본 레지스트리에 인증합니다. 자세한 내용은 Amazon Elastic Container Registry 사용 설명서의 [기본 레지스트리에 대해 인증](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-authenticate-registry)을 참조하세요.
```
aws ecr get-login-password --region | docker login --username AWS --password-stdin .dkr.ecr..amazonaws.com
```
1. 이미지를 푸시합니다. 자세한 내용은 Amazon Elastic Container Registry 사용 설명서의 [Amazon ECR에 이미지 푸시](https://docs.aws.amazon.com/AmazonECR/latest/userguide/getting-started-cli.html#cli-push-image)를 참조하세요.
```
docker push .dkr.ecr..amazonaws.com/:
```
## 4단계: 사용자 지정 이미지를 사용하여 Amazon EMR에서 Flink 워크로드 제출
사용자 지정 이미지를 사용하려면 `FlinkDeployment` 사양을 다음과 같이 변경합니다. 이를 수행하려면 배포 사양의 `spec.image` 줄에 자체 이미지를 입력합니다.
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
flinkVersion: v1_18
image: .dkr.ecr..amazonaws.com/:
imagePullPolicy: Always
flinkConfiguration:
taskmanager.numberOfTaskSlots: "1"
```
Fluentd 작업에 사용자 지정 이미지를 사용하려면 배포 사양의 `monitoringConfiguration.image` 줄에 자체 이미지를 입력합니다.
```
monitoringConfiguration:
image: .dkr.ecr..amazonaws.com/:
cloudWatchMonitoringConfiguration:
logGroupName: flink-log-group
logStreamNamePrefix: custom-fluentd
```
# Flink Kubernetes 운영자 및 Flink 작업 모니터링
이 섹션에서는 Amazon EMR on EKS를 사용하여 Flink 작업을 모니터링할 수 있는 여러 가지 방법을 설명합니다. 여기에는 Amazon Managed Service for Prometheus와의 Flink 통합, 작업 상태 및 지표를 제공하는 *Flink 웹 대시보드* 사용 또는 모니터링 구성을 사용하여 Amazon S3 및 Amazon CloudWatch로 로그 데이터 전송이 포함됩니다.
**Topics**
+ [Amazon Managed Service for Prometheus를 사용하여 Flink 작업 모니터링](jobruns-flink-monitoring-prometheus.md)
+ [Flink UI를 사용하여 Flink 작업 모니터링](jobruns-flink-monitoring-ui.md)
+ [모니터링 구성을 사용하여 Flink Kubernetes 연산자 및 Flink 작업 모니터링](jobruns-flink-monitoring-configuration.md)
# Amazon Managed Service for Prometheus를 사용하여 Flink 작업 모니터링
Amazon Managed Service for Prometheus(관리 포털)와 Apache Flink를 통합할 수 있습니다. Amazon Managed Service for Prometheus는 Amazon EKS에서 실행되는 클러스터에서 Amazon Managed Service for Prometheus 서버의 지표 수집을 지원합니다. Amazon Managed Service for Prometheus는 Amazon EKS 클러스터에서 이미 실행 중인 Prometheus 서버와 함께 작동합니다. Amazon EMR Flink 운영자와의 Amazon Managed Service for Prometheus 통합을 실행하면 Amazon Managed Service for Prometheus와 통합되도록 Prometheus 서버를 자동으로 배포하고 구성합니다.
1. [Amazon Managed Service for Prometheus Workspace를 생성합니다](https://docs.aws.amazon.com/prometheus/latest/userguide/AMP-onboard-create-workspace.html). 이 Workspace는 수집 엔드포인트 역할을 합니다. 나중에 원격 쓰기 URL이 필요합니다.
1. 서비스 계정에 대한 IAM 역할 설정.
이 온보딩 방법에서는 Prometheus 서버가 실행되는 Amazon EKS 클러스터의 서비스 계정에 대한 IAM 역할을 사용합니다. 이러한 역할을 *서비스 역할*이라고도 합니다.
아직 역할이 없는 경우 [Amazon EKS 클러스터의 지표 수집을 위한 서비스 역할을 설정](https://docs.aws.amazon.com/prometheus/latest/userguide/set-up-irsa.html)합니다.
계속하기 전에 `amp-iamproxy-ingest-role`이라는 IAM 역할을 생성합니다.
1. Amazon Managed Service for Prometheus와 함께 Amazon EMR Flink 운영자를 설치합니다.
이제 Amazon Managed Service for Prometheus Workspace, Amazon Managed Service for Prometheus에 대한 전용 IAM 역할 및 필요한 권한이 확보되었으므로 Amazon EMR Flink 운영자를 설치할 수 있습니다.
`enable-amp.yaml` 파일을 생성합니다. 이 파일을 사용하면 사용자 지정 구성을 사용하여 Amazon Managed Service for Prometheus 설정을 재정의할 수 있습니다. 고유한 역할을 사용해야 합니다.
```
kube-prometheus-stack:
prometheus:
serviceAccount:
create: true
name: "amp-iamproxy-ingest-service-account"
annotations:
eks.amazonaws.com/role-arn: "arn:aws:iam:::role/amp-iamproxy-ingest-role"
remoteWrite:
- url:
sigv4:
region:
queueConfig:
maxSamplesPerSend: 1000
maxShards: 200
capacity: 2500
```
[https://helm.sh/docs/helm/helm_install/](https://helm.sh/docs/helm/helm_install/) 명령을 사용하여 `flink-kubernetes-operator` 차트에 재정의를 전달합니다.
```
helm upgrade -n flink-kubernetes-operator \
oci://public.ecr.aws/emr-on-eks/flink-kubernetes-operator \
--set prometheus.enabled=true
-f enable-amp.yaml
```
이 명령은 포트 9999의 연산자에 Prometheus 리포터를 자동으로 설치합니다. 향후 `FlinkDeployment`는 9249의 `metrics` 포트를 공개합니다.
+ Flink 운영자 지표는 Prometheus의 `flink_k8soperator_` 레이블 아래에 표시됩니다.
+ Flink 태스크 관리자 지표는 Prometheus의 `flink_taskmanager_` 레이블 아래에 표시됩니다.
+ Flink 작업 관리자 지표는 Prometheus의 `flink_jobmanager_` 레이블 아래에 표시됩니다.
# Flink UI를 사용하여 Flink 작업 모니터링
실행 중인 Flink 애플리케이션의 상태와 성능을 모니터링하려면 *Flink 웹 대시보드*를 사용합니다. 이 대시보드는 작업 상태, TaskManager 수, 작업에 대한 지표 및 로그에 대한 정보를 제공합니다. 또한 Flink 작업의 구성을 확인 및 수정하고 Flink 클러스터와 상호 작용하여 작업을 제출하거나 취소할 수 있습니다.
Kubernetes에서 실행 중인 Flink 애플리케이션의 Flink 웹 대시보드에 액세스하는 방법:
1. `kubectl port-forward` 명령을 사용하여 Flink 애플리케이션의 TaskManager 포드에서 Flink 웹 대시보드가 실행되는 포트에 로컬 포트를 전달합니다. 기본적으로 이 포트는 8081입니다. *deployment-name*을 위에서 언급한 Flink 애플리케이션 배포 이름으로 바꿉니다.
```
kubectl get deployments -n namespace
```
출력 예시:
```
kubectl get deployments -n flink-namespace
NAME READY UP-TO-DATE AVAILABLE AGE
basic-example 1/1 1 1 11m
flink-kubernetes-operator 1/1 1 1 21h
```
```
kubectl port-forward deployments/deployment-name 8081 -n namespace
```
1. 로컬에서 다른 포트를 사용하려면 *local-port*:8081 파라미터를 사용합니다.
```
kubectl port-forward -n flink deployments/basic-example 8080:8081
```
1. 웹 브라우저에서 Flink 웹 대시보드에 액세스하려면 `http://localhost:8081` 또는 사용자 지정 로컬 포트를 사용하는 경우 `http://localhost:local-port`로 이동합니다. 이 대시보드에는 작업 상태, TaskManager 수, 작업에 대한 지표 및 로그와 같은 실행 중인 Flink 애플리케이션에 대한 정보가 표시됩니다.
![\[샘플 Flink 대시보드 UI\]](http://docs.aws.amazon.com/ko_kr/emr/latest/EMR-on-EKS-DevelopmentGuide/images/sample-flink-dashboard-ui.png)
# 모니터링 구성을 사용하여 Flink Kubernetes 연산자 및 Flink 작업 모니터링
모니터링 구성을 사용하면 Flink 애플리케이션 및 운영자 로그의 로그 아카이브를 S3 및/또는 CloudWatch로 쉽게 설정할 수 있습니다(둘 중 하나 또는 둘 다 선택 가능). 이렇게 하면 JobManager 및 TaskManager 포드에 FluentD sidecar가 추가되고 이후에 이러한 구성 요소의 로그가 구성된 싱크로 전달됩니다.
**참고**
이 기능을 사용하려면 다른 AWS 서비스와 상호 작용해야 하므로 Flink 운영자의 서비스 계정 및 Flink 작업(서비스 계정)에 대해 IAM 역할을 설정해야 합니다. [Amazon EMR on EKS에 대한 Flink Kubernetes 운영자 설정](jobruns-flink-kubernetes-operator-setup.md)에서 IRSA를 사용하여 설정해야 합니다.
## Flink 애플리케이션 로그
다음과 같은 방법으로 이 구성을 정의할 수 있습니다.
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
image: FLINK IMAGE TAG
imagePullPolicy: Always
flinkVersion: v1_17
flinkConfiguration:
taskmanager.numberOfTaskSlots: "2"
executionRoleArn: JOB EXECUTION ROLE
jobManager:
resource:
memory: "2048m"
cpu: 1
taskManager:
resource:
memory: "2048m"
cpu: 1
job:
jarURI: local:///opt/flink/examples/streaming/StateMachineExample.jar
monitoringConfiguration:
s3MonitoringConfiguration:
logUri: S3 BUCKET
cloudWatchMonitoringConfiguration:
logGroupName: LOG GROUP NAME
logStreamNamePrefix: LOG GROUP STREAM PREFIX
sideCarResources:
limits:
cpuLimit: 500m
memoryLimit: 250Mi
containerLogRotationConfiguration:
rotationSize: 2GB
maxFilesToKeep: 10
```
유효한 구성 옵션은 다음과 같습니다.
+ `s3MonitoringConfiguration` - S3로의 전달을 설정하기 위한 구성 키
+ `logUri`(필수) - 로그를 저장할 S3 버킷 경로.
+ 로그가 업로드되고 나면 S3의 경로는 다음과 같습니다.
+ 로그 로테이션이 활성화되지 않았습니다.
```
s3://${logUri}/${POD NAME}/STDOUT or STDERR.gz
```
+ 로그 로테이션이 활성화되었습니다. 로테이션된 파일과 현재 파일(날짜 스탬프가 없는 파일)을 모두 사용할 수 있습니다.
```
s3://${logUri}/${POD NAME}/STDOUT or STDERR.gz
```
다음 형식은 증가하는 숫자입니다.
```
s3://${logUri}/${POD NAME}/stdout_YYYYMMDD_index.gz
```
+ 이 전달자를 사용하려면 다음 IAM 권한이 필요합니다.
```
{
"Effect": "Allow",
"Action": [
"s3:PutObject"
],
"Resource": [
"S3_BUCKET_URI/*",
"S3_BUCKET_URI"
]
}
```
+ `cloudWatchMonitoringConfiguration` - CloudWatch로의 전달을 설정하기 위한 구성 키.
+ `logGroupName`(필수) - 로그를 전송하려는 CloudWatch 로그 그룹의 이름(그룹이 없는 경우 자동으로 생성됨).
+ `logStreamNamePrefix`(선택 사항) - 로그를 보낼 로그 스트림의 이름입니다. 기본값은 빈 문자열입니다. 형식은 다음과 같습니다.
```
${logStreamNamePrefix}/${POD NAME}/STDOUT or STDERR
```
+ 이 전달자를 사용하려면 다음 IAM 권한이 필요합니다.
```
{
"Effect": "Allow",
"Action": [
"logs:CreateLogStream",
"logs:CreateLogGroup",
"logs:PutLogEvents"
],
"Resource": [
"arn:aws:logs:REGION:ACCOUNT-ID:log-group:{YOUR_LOG_GROUP_NAME}:*",
"arn:aws:logs:REGION:ACCOUNT-ID:log-group:{YOUR_LOG_GROUP_NAME}"
]
}
```
+ `sideCarResources`(선택 사항) - 시작된 Fluentbit sidecar 컨테이너에서 리소스 한도를 설정하기 위한 구성 키.
+ `memoryLimit`(선택 사항) - 기본값은 512Mi입니다. 필요에 따라 조정합니다.
+ `cpuLimit`(선택 사항) - 이 옵션에는 기본값이 없습니다. 필요에 따라 조정합니다.
+ `containerLogRotationConfiguration`(선택 사항) - 컨테이너 로그 로테이션 동작을 제어합니다. 기본적으로 활성화됩니다.
+ `rotationSize`(필수) - 로그 로테이션을 위한 파일 크기를 지정합니다. 가능한 값 범위는 2KB에서 2GB 사이입니다. rotationSize 파라미터의 숫자 단위 부분은 정수로 전달됩니다. 십진수는 지원되지 않으므로 로테이션 크기를 1.5GB(예: 1,500MB 값)로 지정할 수 있습니다. 기본값은 2GB입니다.
+ `maxFilesToKeep`(필수) - 로테이션을 수행한 후 컨테이너에서 보존할 최대 파일 수를 지정합니다. 최솟값은 1이고 최댓값은 50입니다. 기본값은 10입니다.
## Flink 운영자 로그
또한 차트 Helm 설치에 관한 `values.yaml` 파일에서 다음 옵션을 사용하여 운영자를 위한 로그 아카이브를 활성화할 수 있습니다. S3, CloudWatch 또는 둘 다 활성화할 수 있습니다.
```
monitoringConfiguration:
s3MonitoringConfiguration:
logUri: "S3-BUCKET"
totalFileSize: "1G"
uploadTimeout: "1m"
cloudWatchMonitoringConfiguration:
logGroupName: "flink-log-group"
logStreamNamePrefix: "example-job-prefix-test-2"
sideCarResources:
limits:
cpuLimit: 1
memoryLimit: 800Mi
memoryBufferLimit: 700M
```
`monitoringConfiguration` 아래에서 다음과 같은 구성 옵션을 사용할 수 있습니다.
+ `s3MonitoringConfiguration` - S3에 아카이브하려면 이 옵션을 설정합니다.
+ `logUri`(필수) - 로그를 저장할 S3 버킷 경로.
+ 다음은 로그가 업로드된 후의 S3 버킷 경로 형식입니다.
+ 로그 로테이션이 활성화되지 않았습니다.
```
s3://${logUri}/${POD NAME}/OPERATOR or WEBHOOK/STDOUT or STDERR.gz
```
+ 로그 로테이션이 활성화되었습니다. 로테이션된 파일과 현재 파일(날짜 스탬프가 없는 파일)을 모두 사용할 수 있습니다.
```
s3://${logUri}/${POD NAME}/OPERATOR or WEBHOOK/STDOUT or STDERR.gz
```
다음 형식 인덱스는 증가하는 숫자입니다.
```
s3://${logUri}/${POD NAME}/OPERATOR or WEBHOOK/stdout_YYYYMMDD_index.gz
```
+ `cloudWatchMonitoringConfiguration` - CloudWatch로의 전달을 설정하기 위한 구성 키.
+ `logGroupName`(필수) - 로그를 보낼 CloudWatch 로그 그룹의 이름. 그룹이 없으면 그룹이 자동으로 생성됩니다.
+ `logStreamNamePrefix`(선택 사항) - 로그를 보낼 로그 스트림의 이름. 기본값은 빈 문자열입니다. CloudWatch의 형식은 다음과 같습니다.
```
${logStreamNamePrefix}/${POD NAME}/STDOUT or STDERR
```
+ `sideCarResources`(선택 사항) - 시작된 Fluentbit sidecar 컨테이너에서 리소스 한도를 설정하기 위한 구성 키.
+ `memoryLimit`(선택 사항) - 메모리 한도. 필요에 따라 조정합니다. 기본값은 512Mi입니다.
+ `cpuLimit` - CPU 한도. 필요에 따라 조정합니다. 기본값은 없습니다.
+ `containerLogRotationConfiguration`(선택 사항) - 컨테이너 로그 로테이션 동작을 제어합니다. 기본적으로 활성화됩니다.
+ `rotationSize`(필수) - 로그 로테이션을 위한 파일 크기를 지정합니다. 가능한 값 범위는 2KB에서 2GB 사이입니다. rotationSize 파라미터의 숫자 단위 부분은 정수로 전달됩니다. 십진수는 지원되지 않으므로 로테이션 크기를 1.5GB(예: 1,500MB 값)로 지정할 수 있습니다. 기본값은 2GB입니다.
+ `maxFilesToKeep`(필수) - 로테이션을 수행한 후 컨테이너에서 보존할 최대 파일 수를 지정합니다. 최솟값은 1이고 최댓값은 50입니다. 기본값은 10입니다.
# Flink에서 고가용성 및 작업 복원력을 지원하는 방법
다음 섹션에서는 Flink 작업의 신뢰성과 가용성을 높이는 방법을 간략하게 설명합니다. Flink 고가용성 및 장애가 발생할 경우 다양한 복구 기능과 같은 내장 기능을 통해 이를 수행합니다.
**Topics**
+ [Flink 운영자 및 Flink 애플리케이션을 위한 고가용성(HA) 사용](jobruns-flink-using-ha.md)
+ [Amazon EMR on EKS로 태스크 복구 및 작업 규모 조정을 위한 Flink 작업 재시작 시간 최적화](jobruns-flink-restart.md)
+ [Amazon EMR on EKS에서 Flink를 사용한 스팟 인스턴스의 정상적인 서비스 해제](jobruns-flink-decommission.md)
# Flink 운영자 및 Flink 애플리케이션을 위한 고가용성(HA) 사용
이 주제에서는 고가용성을 구성하는 방법 및 몇 가지 사용 사례에 대한 작동 방식을 설명합니다. 여기에는 작업 관리자를 사용하는 경우와 Flink 네이티브 kubernetes를 사용하는 경우가 포함됩니다.
## Flink 운영자 고가용성
Flink 운영자의 *고가용성*을 활성화하여 장애 발생 시 대기 중인 Flink 운영자로 장애 조치하여 운영자 제어 루프에서 가동 중단을 최소화할 수 있습니다. 고가용성은 기본적으로 활성화되어 있으며 시작 운영자 복제본의 기본 수는 2입니다. 차트 Helm에 대해 `values.yaml` 파일의 복제본 필드를 구성할 수 있습니다.
다음 필드를 사용자 지정 가능합니다.
+ `replicas`(선택 사항, 기본값: 2): 이 숫자를 1보다 크게 설정하면 다른 대기 운영자가 생성되고 작업을 더 빠르게 복구할 수 있습니다.
+ `highAvailabilityEnabled`(선택 사항, 기본값: true): HA 활성화 여부를 제어합니다. 이 파라미터를 true로 지정하면 다중 AZ 배포를 지원하고 올바른 `flink-conf.yaml` 파라미터를 설정할 수 있습니다.
`values.yaml` 파일에서 다음 구성을 설정하여 운영자의 HA를 비활성화할 수 있습니다.
```
...
imagePullSecrets: []
replicas: 1
# set this to false if you don't want HA
highAvailabilityEnabled: false
...
```
**다중 AZ 배포**
여러 가용 영역에서 운영자 포드를 생성합니다. 이는 약한 제약 조건이며, 다른 AZ에 충분한 리소스가 없는 경우 운영자 포드가 동일한 AZ에서 예약됩니다.
**리더 복제본 결정**
HA가 활성화된 경우 복제본은 리스 기능을 사용하여 어떤 JM이 리더인지 결정하고 리더 선택에 K8s Lease를 사용합니다. 리스 기능을 설명하고 .Spec.Holder Identity 필드를 확인하여 현재 리더를 결정할 수 있습니다.
```
kubectl describe lease --lease -n | grep "Holder Identity"
```
**Flink-S3 상호 작용**
**액세스 보안 인증 구성**
S3 버킷에 액세스할 수 있는 적절한 IAM 권한으로 IRSA를 구성했는지 확인하세요.
**S3 애플리케이션 모드에서 작업 jar 가져오기**
Flink 운영자는 S3에서 애플리케이션 jar 가져오기도 지원합니다. FlinkDeployment 사양에서 JarURI의 S3 위치를 제공하면 됩니다.
이 기능을 사용하여 PyFlink 스크립트와 같은 다른 아티팩트를 다운로드할 수도 있습니다. 결과 Python 스크립트는 `/opt/flink/usrlib/` 경로 아래에 배치됩니다.
다음 예제에서는 PyFlink 작업에 대해 이 기능을 사용하는 방법을 보여줍니다. jarURI 및 args 필드를 기록합니다.
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: python-example
spec:
image:
emrReleaseLabel: "emr-6.12.0-flink-latest"
flinkVersion: v1_16
flinkConfiguration:
taskmanager.numberOfTaskSlots: "1"
serviceAccount: flink
jobManager:
highAvailabilityEnabled: false
replicas: 1
resource:
memory: "2048m"
cpu: 1
taskManager:
resource:
memory: "2048m"
cpu: 1
job:
jarURI: "s3:///scripts/pyflink.py" # Note, this will trigger the artifact download process
entryClass: "org.apache.flink.client.python.PythonDriver"
args: ["-pyclientexec", "/usr/local/bin/python3", "-py", "/opt/flink/usrlib/pyflink.py"]
parallelism: 1
upgradeMode: stateless
```
**Flink S3 커넥터**
Flink는 두 개의 S3 커넥터(아래 목록 참조)와 함께 제공됩니다. 다음 섹션에서는 어떤 커넥터를 언제 사용해야 하는지를 설명합니다.
**검사: Presto S3 커넥터**
+ S3 스키마를 s3p://로 설정
+ s3에 대한 검사에 사용할 권장 커넥터. 자세한 내용은 Apache Flink 설명서의 [S3-specific](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/filesystem/#s3-specific)을 참조하세요.
FlinkDeployment 사양 예제:
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
flinkConfiguration:
taskmanager.numberOfTaskSlots: "2"
state.checkpoints.dir: s3p:///flink-checkpoint/
```
**S3: Hadoop S3 커넥터에 대한 읽기 및 쓰기**
+ S3 스키마를 `s3://` 또는 `s3a://`로 설정
+ S3에서 파일을 읽고 쓰는 데 권장되는 커넥터([Flinks 파일 시스템 인터페이스](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/filesystem/)를 구현하는 S3 커넥터만 해당).
+ 기본적으로 `flink-conf.yaml` 파일에서 `fs.s3a.aws.credentials.provider`를 설정합니다(`com.amazonaws.auth.WebIdentityTokenCredentialsProvider`). 기본값(`flink-conf`)을 완전히 재정의하고 S3와 상호 작용하는 경우 이 제공업체를 사용해야 합니다.
FlinkDeployment 사양 예제
```
apiVersion: flink.apache.org/v1beta1
kind: FlinkDeployment
metadata:
name: basic-example
spec:
job:
jarURI: local:///opt/flink/examples/streaming/WordCount.jar
args: [ "--input", "s3a:///PATH", "--output", "s3a://