기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다. # Amazon EMR Spark 작업에 수직 자동 조정 사용 Amazon EMR on EKS 수직 자동 조정은 Amazon EMR Spark 애플리케이션에 제공하는 워크로드 요구 사항에 맞게 메모리와 CPU 리소스를 자동으로 튜닝합니다. 이 기능은 리소스 관리를 간소화합니다. Amazon EMR Spark 애플리케이션의 실시간 및 과거 리소스 사용률을 추적하기 위해 수직 자동 조정에서는 Kubernetes [Vertical Pod Autoscaler(VPA)](https://github.com/kubernetes/autoscaler/tree/master/vertical-pod-autoscaler)를 활용합니다. 수직 자동 조정 기능은 VPA가 수집한 데이터를 사용하여 Spark 애플리케이션에 할당된 메모리 및 CPU 리소스를 자동으로 조정합니다. 이렇게 간소화된 프로세스는 안정성을 높이고 비용을 최적화합니다. **Topics** + [설정](jobruns-vas-setup.md) + [시작하기](jobruns-vas-gs.md) + [구성](jobruns-vas-configure.md) + [권장 사항 모니터링](jobruns-vas-monitor.md) + [설치 제거](jobruns-vas-uninstall-operator.md) # Amazon EMR on EKS에서 수직 자동 조정 설정 이 주제는 수직 자동 조정을 통해 Amazon EMR Spark 작업을 제출할 수 있도록 Amazon EKS 클러스터를 준비하는 데 도움이 됩니다. 설정 프로세스를 진행하려면 다음 섹션의 작업을 확인하거나 완료해야 합니다. **Topics** + [사전 조건](#jobruns-vas-prereqs) + [Amazon EKS 클러스터에 Operator Lifecycle Manager(OLM) 설치](#jobruns-vas-install-olm) + [Amazon EMR on EKS 수직 자동 조정 운영자 설치](#jobruns-vas-install-operator) ## 사전 조건 클러스터에 수직 자동 조정 Kubernetes 운영자를 설치하기 전에 다음 작업을 완료합니다. 필수 조건 중 하나를 이미 완료한 경우 해당 조건을 건너뛰고 다음 조건으로 넘어갈 수 있습니다. + **[의 최신 버전 설치 또는 업데이트 AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html) ** -를 이미 설치한 경우 최신 버전이 있는지 AWS CLI확인합니다. + **[kubectl 설치](https://docs.aws.amazon.com/eks/latest/userguide/install-kubectl.html)** - kubectl은 Kubernetes API 서버와 통신하기 위해 사용하는 명령줄 도구입니다. Amazon EKS 클러스터에 수직 자동 조정 관련 아티팩트를 설치하고 모니터링하려면 kubectl이 필요합니다. + **[운영자 SDK 설치](https://sdk.operatorframework.io/docs/installation/)** - Amazon EMR on EKS는 클러스터에 설치하는 수직 자동 조정 운영자의 수명 동안 운영자 SDK를 패키지 관리자로 사용합니다. + **[Docker 설치](https://docs.docker.com/get-docker/)** - Amazon EKS 클러스터에 설치할 수직 자동 조정 관련 도커 이미지를 인증하고 가져오려면 Docker CLI에 액세스해야 합니다. + **[Kubernetes 지표 서버 설치](https://docs.aws.amazon.com/eks/latest/userguide/metrics-server.html)** - 먼저 수직 포드 오토스케일러가 Kubernetes API 서버에서 지표를 가져올 수 있도록 지표 서버를 설치해야 합니다. + **[Amazon EKS – eksctl 시작하기](https://docs.aws.amazon.com/eks/latest/userguide/getting-started-eksctl.html)(버전 1.24 이상)** - 수직 자동 조정은 Amazon EKS 버전 1.24 이상에서 지원됩니다. 클러스터를 생성한 후 [Amazon EMR에서 사용할 수 있도록 등록](setting-up-registration.md)합니다. + **[Amazon EMR 기본 이미지 URI 선택](docker-custom-images-tag.md)(릴리스 6.10.0 이상)** - 수직 자동 조정은 Amazon EMR 릴리스 6.10.0 이상에서 지원됩니다. ## Amazon EKS 클러스터에 Operator Lifecycle Manager(OLM) 설치 운영자 SDK CLI를 사용하여 다음 예제와 같이 수직 자동 조장을 설정하려는 Amazon EMR on EKS 클러스터에 Operator Lifecycle Manager(OLM)를 설치합니다. 설정 후 OLM을 사용하여 [Amazon EMR 수직 자동 조정 운영자](#jobruns-vas-install-operator)의 수명 주기를 설치하고 관리할 수 있습니다. ``` operator-sdk olm install ``` 설치를 검증하려면 `olm status` 명령을 실행합니다. ``` operator-sdk olm status ``` 이 명령이 제대로 실행되면 다음과 비슷한 출력이 반환되는지 확인합니다. ``` INFO[0007] Successfully got OLM status for version X.XX ``` 설치에 실패한 경우 [Amazon EMR on EKS 수직 자동 조정 문제 해결](troubleshooting-vas.md) 섹션을 참조하세요. ## Amazon EMR on EKS 수직 자동 조정 운영자 설치 다음 단계를 사용하여 Amazon EKS 클러스터에 수직 자동 조정 운영자를 설치합니다. 1. 설치를 완료하는 데 사용할 다음 환경 변수를 설정합니다. + **`$REGION`**은 클러스터의 AWS 리전 을 가리킵니다. 예를 들어 `us-west-2`입니다. + **`$ACCOUNT_ID`**는 리전의 Amazon ECR 계정 ID를 가리킵니다. 자세한 내용은 [리전별 Amazon ECR 레지스트리 계정](docker-custom-images-tag.md#docker-custom-images-ECR) 단원을 참조하십시오. + **`$RELEASE`**는 클러스터에 사용하려는 Amazon EMR 릴리스를 가리킵니다. 수직 자동 조정을 사용하려면 Amazon EMR 릴리스 6.10.0 이상을 사용해야 합니다. 1. 다음으로, 운영자의 [Amazon ECR 레지스트리](docker-custom-images-tag.md#docker-custom-images-ECR)로 인증 토큰을 가져옵니다. ``` aws ecr get-login-password \ --region region-id | docker login \ --username AWS \ --password-stdin $ACCOUNT_ID.dkr.ecr.region-id.amazonaws.com ``` 1. 다음 명령으로 Amazon EMR on EKS 수직 자동 조정 운영자를 설치합니다. ``` ECR_URL=$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com && \ REPO_DEST=dynamic-sizing-k8s-operator-olm-bundle && \ BUNDLE_IMG=emr-$RELEASE-dynamic-sizing-k8s-operator && \ operator-sdk run bundle \ $ECR_URL/$REPO_DEST/$BUNDLE_IMG\:latest ``` 그러면 Amazon EKS 클러스터의 기본 네임스페이스에 수직 자동 조장 운영자가 릴리스됩니다. 다음 명령을 사용하여 다른 네임스페이스에 설치합니다. ``` operator-sdk run bundle \ $ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com/dynamic-sizing-k8s-operator-olm-bundle/emr-$RELEASE-dynamic-sizing-k8s-operator:latest \ -n operator-namespace ``` **참고** 지정한 네임스페이스가 없는 경우 OLM은 운영자를 설치하지 않습니다. 자세한 내용은 [Kubernetes 네임스페이스를 찾을 수 없음](troubleshooting-vas.md) 단원을 참조하십시오. 1. kubectl Kubernetes 명령줄 도구를 사용하여 운영자를 성공적으로 설치했는지 확인합니다. ``` kubectl get csv -n operator-namespace ``` `kubectl` 명령은 **단계** 상태가 **성공**인 새로 배포한 수직 오토스케일러 운영자를 반환해야 합니다. 설치 또는 설정에 문제가 있는 경우 [Amazon EMR on EKS 수직 자동 조정 문제 해결](troubleshooting-vas.md) 섹션을 참조하세요. # Amazon EMR on EKS에서 수직 자동 조정 시작하기 Amazon EMR Spark 애플리케이션 워크로드의 요구 사항에 맞게 메모리와 CPU 리소스를 자동으로 조정하려는 경우 Amazon EMR on EKS에 대한 는 수직 오토스케일링을 사용합니다. 자세한 내용은 [Amazon EMR Spark 작업에 수직 자동 조정 사용](jobruns-vas.html)을 참조하세요. ## 수직 자동 조정을 사용하여 Spark 작업 제출 [StartJobRun](https://docs.aws.amazon.com/emr-on-eks/latest/APIReference/API_StartJobRun.html) API를 통해 작업을 제출하는 경우 Spark 작업의 드라이버에 다음 두 구성을 추가하여 수직 자동 조정을 활성화합니다. ``` "spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing":"true", "spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.signature":"YOUR_JOB_SIGNATURE" ``` 위 코드의 첫 번째 줄은 수직 자동 조정 기능을 활성화합니다. 다음 줄은 작업에 사용할 서명을 선택할 수 있는 필수 서명 구성입니다. 이러한 구성 및 허용 가능한 파라미터 값에 대한 자세한 내용은 [Amazon EMR on EKS에서 수직 자동 조정 구성](jobruns-vas-configure.md) 섹션을 참조하세요. 기본적으로 작업은 수직 자동 조정의 모니터링 전용 **꺼짐** 모드로 제출됩니다. 이 모니터링 상태를 사용하면 자동 조정을 수행하지 않고도 리소스 권장 사항을 계산하고 볼 수 있습니다. 자세한 내용은 [수직 자동 조정 모드](jobruns-vas-configure.md#jobruns-vas-parameters-opt-mode) 단원을 참조하십시오. 다음 예제에서는 수직 자동 조정에서 샘플 `start-job-run` 명령을 완료하는 방법을 보여줍니다. ``` aws emr-containers start-job-run \ --virtual-cluster-id $VIRTUAL_CLUSTER_ID \ --name $JOB_NAME \ --execution-role-arn $EMR_ROLE_ARN \ --release-label emr-6.10.0-latest \ --job-driver '{ "sparkSubmitJobDriver": { "entryPoint": "local:///usr/lib/spark/examples/src/main/python/pi.py" } }' \ --configuration-overrides '{ "applicationConfiguration": [{ "classification": "spark-defaults", "properties": { "spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing": "true", "spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.signature": "test-signature" } }] }' ``` ## 수직 자동 조정 기능 확인 제출된 작업에 대해 수직 자동 조정이 올바르게 작동하는지 확인하려면 kubectl을 사용하여 `verticalpodautoscaler` 사용자 지정 리소스를 가져오고 조정 권장 사항을 확인합니다. 예를 들어 다음 명령은 [수직 자동 조정을 사용하여 Spark 작업 제출](#jobruns-vas-spark-submit) 섹션의 예제 작업에 대한 권장 사항을 쿼리합니다. ``` kubectl get verticalpodautoscalers --all-namespaces \ -l=emr-containers.amazonaws.com/dynamic.sizing.signature=test-signature ``` 이 쿼리에 대한 출력은 다음과 비슷합니다. ``` NAME MODE CPU MEM PROVIDED AGE ds-jceyefkxnhrvdzw6djum3naf2abm6o63a6dvjkkedqtkhlrf25eq-vpa Off 3304504865 True 87m ``` 출력이 비슷하지 않거나 오류 코드를 포함하는 경우 문제 해결을 위한 단계는 [Amazon EMR on EKS 수직 자동 조정 문제 해결](troubleshooting-vas.md) 섹션을 참조하세요. # Amazon EMR on EKS에서 수직 자동 조정 구성 [StartJobRun](https://docs.aws.amazon.com/emr-on-eks/latest/APIReference/API_StartJobRun.html) API를 통해 Amazon EMR Spark 작업을 제출할 때 수직 자동 조정을 구성할 수 있습니다. [수직 자동 조정을 사용하여 Spark 작업 제출](jobruns-vas-gs.md#jobruns-vas-spark-submit)의 예제와 같이 Spark 드라이버 포드에서 자동 조정 관련 구성 파라미터를 설정합니다. Amazon EMR on EKS 수직 자동 조정 운영자는 자동 조정 기능이 있는 드라이버 포드의 신호를 수신한 다음, 드라이버 포드의 설정을 사용하여 Kubernetes Vertical Pod Autoscaler(VPA)와의 통합을 설정합니다. 이를 통해 Spark 실행기 포드의 리소스 추적 및 자동 조정이 용이해집니다. 다음 섹션에서는 Amazon EKS 클러스터의 수직 자동 조정을 구성할 때 사용할 수 있는 파라미터를 설명합니다. **참고** 기능 토글 파라미터를 레이블로 구성하고, 나머지 파라미터는 Spark 드라이버 포드의 주석으로 구성합니다. 자동 조정 파라미터는 `emr-containers.amazonaws.com/` 도메인에 속하며 `dynamic.sizing` 접두사가 붙습니다. ## 필수 파라미터 작업을 제출할 때 Spark 작업 드라이버에 다음 두 파라미터를 포함해야 합니다. | Key(키) | 설명 | 허용되는 값 | 기본값 | Type | Spark 파라미터1 | | --- | --- | --- | --- | --- | --- | | `dynamic.sizing` | 기능 전환 | `true`, `false` | 설정되지 않음 | 레이블 | `spark.kubernetes.driver.label.emr-containers.amazonaws.com/dynamic.sizing` | | `dynamic.sizing.signature` | 작업 서명 | *string* | 설정되지 않음 | 주석 | `spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.signature` | 1 `StartJobRun` API에서 이 파라미터를 `SparkSubmitParameter` 또는 `ConfigurationOverride`로 사용합니다. + **`dynamic.sizing`** - `dynamic.sizing` 레이블을 사용하여 수직 자동 조정을 켜거나 끌 수 있습니다. 수직 자동 조정을 켜려면 Spark 드라이버 포드에서 `dynamic.sizing`을 `true`로 설정합니다. 이 레이블을 생략하거나 `true` 이외의 값으로 설정하면 수직 자동 조정이 꺼집니다. + **`dynamic.sizing.signature`** - 드라이버 포드에서 `dynamic.sizing.signature` 주석을 사용하여 작업 서명을 설정합니다. 수직 자동 조정은 다양한 Amazon EMR Spark 작업 실행의 리소스 사용 데이터를 집계하여 리소스 권장 사항을 도출합니다. 작업을 하나로 묶을 수 있는 고유 식별자를 제공합니다. **참고** 작업이 매일 또는 매주 같은 고정된 간격으로 반복되는 경우 새 태스크 인스턴스마다 작업 서명이 동일하게 유지되어야 합니다. 이렇게 하면 수직 자동 조정을 통해 다양한 작업 실행에 대한 권장 사항을 계산하고 집계할 수 있습니다. 1 `StartJobRun` API에서 이 파라미터를 `SparkSubmitParameter` 또는 `ConfigurationOverride`로 사용합니다. ## 선택적 파라미터 수직 자동 조정은 다음과 같은 선택적 파라미터도 지원합니다. 드라이버 포드에서 주석으로 설정합니다. | Key(키) | 설명 | 허용되는 값 | 기본값 | Type | Spark 파라미터1 | | --- | --- | --- | --- | --- | --- | | `dynamic.sizing.mode` | 수직 자동 조정 | `Off`, `Initial`, `Auto` | `Off` | 주석 | `spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.mode` | | `dynamic.sizing.scale.memory` | 메모리 조정 활성화 | *`true`, `false`* | `true` | 주석 | `spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.scale.memory` | | `dynamic.sizing.scale.cpu` | CPU 조정 켜기 또는 끄기 | *`true`, `false`* | `false` | 주석 | `spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.scale.cpu` | | `dynamic.sizing.scale.memory.min` | 메모리 조정의 최소 한도 | 문자열, [K8s 리소스 수량](https://pkg.go.dev/k8s.io/apimachinery/pkg/api/resource#Quantity) 예: 1G | 설정되지 않음 | 주석 | spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.scale.memory.min | | `dynamic.sizing.scale.memory.max` | 메모리 조정의 최대 한도 | 문자열, [K8s 리소스 수량](https://pkg.go.dev/k8s.io/apimachinery/pkg/api/resource#Quantity) 예: 4G | 설정되지 않음 | 주석 | spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.scale.memory.max | | `dynamic.sizing.scale.cpu.min` | CPU 조정의 최소 한도 | 문자열, [K8s 리소스 수량](https://pkg.go.dev/k8s.io/apimachinery/pkg/api/resource#Quantity) 예: 1 | 설정되지 않음 | 주석 | spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.scale.cpu.min | | `dynamic.sizing.scale.cpu.max` | CPU 조정의 최대 한도 | 문자열, [K8s 리소스 수량](https://pkg.go.dev/k8s.io/apimachinery/pkg/api/resource#Quantity) 예: 2 | 설정되지 않음 | 주석 | spark.kubernetes.driver.annotation.emr-containers.amazonaws.com/dynamic.sizing.scale.cpu.max | ### 수직 자동 조정 모드 `mode` 파라미터는 VPA가 지원하는 다양한 자동 조정 모드에 매핑됩니다. 드라이버 포드에서 `dynamic.sizing.mode` 주석을 사용하여 모드를 설정합니다. 다음 값이 이 파라미터에 대해 지원됩니다. + **Off** - 권장 사항을 모니터링할 수 있지만 자동 조정은 수행되지 않는 테스트 실행 모드입니다. 수직 자동 조정의 기본 모드입니다. 이 모드에서는 연결된 Vertical Pod Autoscaler 리소스가 권장 사항을 계산하며, kubectl, Prometheus, Grafana와 같은 도구를 통해 권장 사항을 모니터링할 수 있습니다. + **Initial** - 이 모드에서는 반복 작업과 같이 작업 실행 기록을 기반으로 권장 사항이 제공되는 경우 작업이 시작될 때 VPA가 리소스를 자동으로 조정합니다. + **Auto** - 이 모드에서 VPA는 Spark 실행기 포드를 제거하고 Spark 드라이버 포드가 다시 시작될 때 권장 리소스 설정으로 규모를 자동 조정합니다. 경우에 따라 VPA가 실행 중인 Spark 실행기 포드를 제거하므로 중단된 실행기를 재시도할 때 추가 지연이 발생할 수 있습니다. ### 리소스 조정 수직 자동 조정을 설정할 때 CPU 및 메모리 리소스를 확장할지 여부를 선택할 수 있습니다. `dynamic.sizing.scale.cpu` 및 `dynamic.sizing.scale.memory` 주석을 `true` 또는 `false`로 설정합니다. 기본적으로 CPU 조정은 `false`로, 메모리 조정은 `true`로 설정됩니다. ### 리소스 최소 및 최대(바운드) 선택적으로 CPU 및 메모리 리소스에 경계를 설정할 수 있습니다. 자동 조정을 활성화할 때 `dynamic.sizing.[memory/cpu].[min/max]` 주석을 사용하여 이러한 리소스의 최솟값 및 최댓값을 선택합니다. 기본적으로 리소스에는 제한이 없습니다. Kubernetes 리소스 수량을 나타내는 문자열 값으로 주석을 설정합니다. 예를 들어 4GB를 나타내도록 `dynamic.sizing.memory.max`를 `4G`로 설정합니다. # Amazon EMR on EKS에서 수직 자동 조정 모니터링 **kubectl** Kubernetes 명령줄 도구를 사용하여 클러스터의 활성 수직 조정 관련 권장 사항을 나열할 수 있습니다. 또한 추적된 작업 서명을 확인하고 서명과 관련된 불필요한 리소스를 제거할 수 있습니다. ## 클러스터의 수직 자동 조정 권장 사항 나열 kubectl을 사용하여 `verticalpodautoscaler` 리소스를 얻고 현재 상태 및 권장 사항을 확인합니다. 다음 예제 쿼리는 Amazon EKS 클러스터의 모든 활성 리소스를 반환합니다. ``` kubectl get verticalpodautoscalers \ -o custom-columns="NAME:.metadata.name,"\ "SIGNATURE:.metadata.labels.emr-containers\.amazonaws\.com/dynamic\.sizing\.signature,"\ "MODE:.spec.updatePolicy.updateMode,"\ "MEM:.status.recommendation.containerRecommendations[0].target.memory" \ --all-namespaces ``` 이 쿼리의 출력은 다음과 유사합니다. ``` NAME SIGNATURE MODE MEM ds-example-id-1-vpa job-signature-1 Off none ds-example-id-2-vpa job-signature-2 Initial 12936384283 ``` ## 클러스터의 수직 자동 조정 권장 사항 쿼리 및 삭제 Amazon EMR 수직 자동 조정 작업 실행 리소스를 삭제하면 권장 사항을 추적하고 저장하는 관련 VPA 객체가 자동으로 삭제됩니다. 다음 예제는 kubectl을 사용하여 서명으로 식별되는 작업에 대한 권장 사항을 제거합니다. ``` kubectl delete jobrun -n emr -l=emr-containers\.amazonaws\.com/dynamic\.sizing\.signature=integ-test jobrun.dynamicsizing.emr.services.k8s.aws "ds-job-signature" deleted ``` 특정 작업 서명을 모르거나 클러스터의 모든 리소스를 제거하려는 경우 다음 예제와 같이 고유한 작업 ID 대신 명령에 `--all` 또는 `--all-namespaces`를 사용할 수 있습니다. ``` kubectl delete jobruns --all --all-namespaces jobrun.dynamicsizing.emr.services.k8s.aws "ds-example-id" deleted ``` # Amazon EMR on EKS 수직 자동 조정 운영자 제거 Amazon EKS 클러스터에서 수직 자동 조정 운영자를 제거하려면 다음 예제와 같이 운영자 SDK CLI와 함께 `cleanup` 명령을 사용합니다. 이렇게 하면 운영자와 함께 설치한 업스트림 종속 항목(예: Vertical Pod Autoscaler)도 삭제됩니다. ``` operator-sdk cleanup emr-dynamic-sizing ``` 운영자를 삭제할 때 클러스터에 실행 중인 작업이 있는 경우 해당 작업은 수직 자동 조정 없이 계속 실행됩니다. 운영자를 삭제한 후 클러스터에서 작업을 제출하면 Amazon EMR on EKS는 [구성](jobruns-vas-configure.md) 중에 정의했을 수 있는 모든 수직 자동 조정 관련 파라미터를 무시합니다.