기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# Amazon EMR에서 인스턴스 스토리지 옵션 및 동작
## 개요
인스턴스 스토어 및 Amazon EBS 볼륨 스토리지는 HDFS 데이터, 그리고 일부 애플리케이션에서 로컬 파일 시스템으로 '유출'할 수 있는 버퍼, 캐시, 스크래치 데이터 및 기타 임시 콘텐츠에 사용됩니다.
Amazon EBS는 Amazon EMR 내에서 일반 Amazon EC2 인스턴스와는 다르게 작동합니다. Amazon EMR 클러스터에 연결된 Amazon EBS 볼륨은 휘발성입니다. 따라서 클러스터 및 인스턴스 종료 시 볼륨이 삭제되므로(예: 인스턴스 그룹 축소 시), 데이터 지속성을 기대할 수 없습니다. 데이터가 휘발성이더라도, 클러스터 내 노드의 개수와 특수화에 따라 HDFS의 데이터를 복제할 수도 있습니다. Amazon EBS 스토리지 볼륨 추가 시 이들 볼륨이 추가 볼륨으로 마운트됩니다. 이는 부팅 볼륨에 속하지 않습니다. YARN은 모든 추가 볼륨을 사용하도록 구성되어 있지만, 사용자가 추가 볼륨을 로컬 스토리지(예를 들면 로컬 로그 파일용)로 직접 할당해야 합니다.
## 고려 사항
Amazon EBS를 EMR 클러스터와 함께 사용하는 경우에는 다음의 추가 고려 사항에 유의하세요.
+ Amazon EBS 볼륨의 스냅샷을 생성한 후에 Amazon EMR에서 해당 볼륨을 복원할 수 없습니다. 재사용 가능한 사용자 지정 구성을 생성하려면 사용자 지정 AMI(Amazon EMR 버전 5.7.0 이상에서 사용 가능)를 사용합니다. 자세한 내용은 [사용자 지정 AMI를 사용하여 Amazon EMR 클러스터 구성에 더 많은 유연성 제공](emr-custom-ami.md) 단원을 참조하십시오.
+ 암호화된 Amazon EBS 루트 디바이스 볼륨은 사용자 지정 AMI를 사용하는 경우에만 지원됩니다. 자세한 내용은 [암호화된 Amazon EBS 루트 디바이스 볼륨이 있는 사용자 지정 AMI 생성](emr-custom-ami.md#emr-custom-ami-encrypted) 단원을 참조하십시오.
+ Amazon EMR API를 사용하여 태그를 적용할 경우 해당 작업이 EBS 볼륨에 적용됩니다.
+ 인스턴스당 25개 볼륨으로 제한됩니다.
+ 코어 노드의 Amazon EBS 볼륨은 5GB 미만일 수 없습니다.
+ Amazon EBS에는 인스턴스 시작 요청당 2,500개의 EBS 볼륨과 같은 고정된 제한이 있습니다. 이 제한은 EC2 클러스터의 Amazon EMR에도 적용됩니다. 총 EBS 볼륨 수가 이 제한 내에 있는 클러스터를 시작한 다음, 필요에 따라 클러스터를 수동으로 스케일 업하거나 Amazon EMR Managed Scaling을 사용하는 것이 좋습니다. EBS 볼륨 제한에 대해 자세히 알아보려면 [Service quotas](https://docs.aws.amazon.com/general/latest/gr/ebs-service.html#limits_ebs:~:text=Amazon%20EBS%20has,exceeding%20the%20limit.)를 참조하세요.
## 인스턴스의 기본 Amazon EBS 스토리지
EBS 전용 스토리지가 있는 EC2 인스턴스에서는 Amazon EMR이 Amazon EBS gp2 또는 gp3 스토리지 볼륨을 인스턴스에 할당합니다. Amazon EMR 릴리스 5.22.0 이상을 사용하여 클러스터를 생성할 때 Amazon EBS 스토리지의 기본 크기가 인스턴스 크기에 따라 증가합니다.
증가된 스토리지는 복수의 볼륨에서 분할됩니다. 이로 인해 IOPS 성능이 향상되고, 결과적으로 일부 표준화된 워크로드의 성능이 높아집니다. 다른 Amazon EBS 인스턴스 스토리지 구성을 사용하려는 경우 EMR 클러스터를 생성하거나 기존 클러스터에 노드를 추가할 때 이 구성을 지정할 수 있습니다. Amazon EBS gp2 또는 gp3 볼륨을 루트 볼륨으로 사용하고 gp2 또는 gp3 볼륨을 추가 볼륨으로 추가할 수 있습니다. 자세한 내용은 [추가 EBS 스토리지 볼륨 지정](#emr-plan-storage-additional-ebs-volumes) 단원을 참조하십시오.
다음 테이블에는 Amazon EBS gp2 스토리지 볼륨의 기본 수, 크기 및 인스턴스 유형별 총 크기가 나와 있습니다. gp2 볼륨과 gp3의 볼륨 비교에 대한 자세한 내용을 확인하려면 [Amazon EBS 볼륨 유형 gp2 및 gp3 비교](emr-plan-storage-compare-volume-types.md) 섹션을 참조하세요.
**Amazon EMR 5.22.0 이상에서 인스턴스 유형별 기본 Amazon EBS gp2 스토리지 볼륨 및 크기**
| 인스턴스 크기 | 볼륨 수 | 볼륨 크기(GiB) | 총 크기(GiB) |
| --- | --- | --- | --- |
| \$1.large | 1 | 32 | 32 |
| \$1.xlarge | 2 | 32 | 64 |
| \$1.2xlarge | 4 | 32 | 128 |
| \$1.4xlarge | 4 | 64 | 256 |
| \$1.8xlarge | 4 | 128 | 512 |
| \$1.9xlarge | 4 | 144 | 576 |
| \$1.10xlarge | 4 | 160 | 640 |
| \$1.12xlarge | 4 | 192 | 768 |
| \$1.16xlarge | 4 | 256 | 1024 |
| \$1.18xlarge | 4 | 288 | 1152 |
| \$1.24xlarge | 4 | 384 | 1536 |
## 인스턴스에 대한 기본 Amazon EBS 루트 볼륨
Amazon EMR 릴리스 6.15 이상에서 Amazon EMR은 성능 향상을 위해 AMI용 루트 디바이스로 Amazon EBS 범용 SSD(gp3)를 자동으로 연결합니다. 이전 릴리스를 사용하는 경우에는 Amazon EMR에서 EBS 범용 SSD(gp2)를 루트 디바이스로 연결합니다.
| | 6.15 이상 | 6.14.x 이하 |
| --- | --- | --- |
| 기본 루트 볼륨 유형 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-plan-storage.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-plan-storage.html) |
| 기본 크기 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-plan-storage.html) | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-plan-storage.html) |
| 기본 IOPS | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-plan-storage.html) | |
| 기본 처리량 | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-plan-storage.html) | |
Amazon EBS 루트 디바이스 볼륨을 사용자 지정하는 방법에 대한 자세한 내용을 확인하려면 [추가 EBS 스토리지 볼륨 지정](#emr-plan-storage-additional-ebs-volumes) 섹션을 참조하세요.
## 추가 EBS 스토리지 볼륨 지정
Amazon EMR에서 인스턴스 유형을 구성할 때 추가 EBS 볼륨을 지정하여 인스턴스 스토어(있는 경우) 및 기본 EBS 볼륨 외에 용량을 추가할 수 있습니다. Amazon EBS는 범용(SSD), 프로비저닝된 IOPS(SSD), 처리량 최적화(HDD), 콜드(HDD) 및 마그네틱 등의 볼륨 유형을 제공합니다. 이들 유형은 성능 특성과 가격이 다르므로 애플리케이션의 분석 및 비즈니스 필요에 맞게 스토리지를 조정할 수 있습니다. 예를 들어, 일부 애플리케이션의 경우 디스크로 유출되어야 하는 반면, 다른 애플리케이션은 메모리 내에서 또는 Amazon S3를 사용하여 안전하게 작업할 수 있습니다.
클러스터를 시작할 때, 그리고 추가 태스크 노드 인스턴스 그룹을 추가할 때에만 클러스터의 인스턴스에 Amazon EBS 볼륨을 추가할 수 있습니다. Amazon EMR 클러스터의 인스턴스가 작동하지 않는 경우 해당 인스턴스와 연결된 Amazon EBS 볼륨이 모두 새 볼륨으로 대체됩니다. 따라서 Amazon EBS 볼륨을 수동으로 분리하는 경우 Amazon EMR에서는 해당 동작을 오류로 간주하여 두 인스턴스 스토리지(해당하는 경우)와 볼륨 스토어를 모두 바꿉니다.
Amazon EMR에서는 기존 EMR 클러스터의 볼륨 유형을 gp2에서 gp3로 수정할 수 없습니다. 워크로드에 gp3를 사용하려면 새 EMR 클러스터를 시작해야 합니다. 또한 Amazon EMR은 클러스터 스케일 업 중에 추가하는 모든 새 인스턴스에 대해 클러스터 시작 시 지정한 처리량과 IOPS 값을 사용하므로 사용 중이거나 프로비저닝 중인 클러스터의 처리량 및 IOPS는 업데이트하지 않는 것이 좋습니다. 자세한 내용은 [Amazon EBS 볼륨 유형 gp2 및 gp3 비교](emr-plan-storage-compare-volume-types.md) 및 [gp3 Amazon EBS 볼륨 유형으로 마이그레이션할 때 IOPS 및 처리량 선택](emr-plan-storage-gp3-migration-selection.md) 섹션을 참조하세요.
**중요**
EMR 클러스터에서 gp3 볼륨을 사용하려면 새 클러스터를 시작해야 합니다.
# Amazon EBS 볼륨 유형 gp2 및 gp3 비교
다음에서는 미국 동부(버지니아 북부) 리전의 gp2 및 gp3 볼륨 간 비용을 비교합니다. 최신 정보를 확인하려면 [Amazon EBS 범용 볼륨](https://aws.amazon.com/ebs/general-purpose/) 제품 페이지와 [Amazon EBS 요금 페이지](https://aws.amazon.com/ebs/pricing/)를 참조하세요.
| 볼륨 유형 | gp3 | gp2 |
| --- | --- | --- |
| 볼륨 크기 | 1GiB\$116TiB | 1GiB\$116TiB |
| 기본 및 기준 IOPS | 3000 | 3 IOPS/GiB(최소 100 IOPS)에서 최대 16,000 IOPS. 1TiB보다 작은 볼륨도 최대 3,000IOPS까지 버스트 가능합니다. |
| 볼륨당 최대 IOPS | 16,000 | 16,000 |
| 기본 및 기준 처리량 | 125MiB/s | 처리량 한도는 볼륨 크기에 따라 128MiB/s\$1250 MiB/s입니다. |
| 볼륨당 최대 처리량 | 1,000MiB/s | 250MiB/s |
| 가격 | 매월 GiB당 0.08 USD의 요금에서 3,000 IOPS 무료 제공, 3,000 초과 시 매월 프로비저닝된 IOPS당 0.005 USD, 125MiB/s 무료 및 125MiB/s 초과 시 매월 프로비저닝된 MiB/s당 0.04 USD | 매월 GiB당 0.10 USD |
# gp3 Amazon EBS 볼륨 유형으로 마이그레이션할 때 IOPS 및 처리량 선택
gp2 볼륨을 프로비저닝할 때 비례적인 IOPS와 처리량을 지원하기 위해 볼륨 크기를 파악해야 합니다. gp3에서 더 높은 성능을 얻기 위해 더 큰 볼륨을 프로비저닝할 필요가 없습니다. 애플리케이션 요구 사항에 따라 원하는 크기와 성능을 선택할 수 있습니다. 올바른 크기와 올바른 성능 파라미터(IOPS, 처리량)를 선택하면 성능에 영향을 주지 않으면서 비용을 최대한 절감할 수 있습니다.
다음은 gp3 구성 옵션을 선택하는 데 도움이 되는 테이블입니다.
| 볼륨 크기 | IOPS | 처리량 |
| --- | --- | --- |
| 1GiB\$1170GiB | 3000 | 125MiB/s |
| 170GiB\$1334GiB | 3000 | 125MiB/s(선택한 EC2 인스턴스 유형이 125MiB/s 이하를 지원하는 경우). 사용량에 따라 더 높은 용량을 사용합니다(최대 250MiB/s\$1). |
| 334GiB\$11,000GiB | 3000 | 125MiB/s(선택한 EC2 인스턴스 유형이 125MiB/s 이하를 지원하는 경우). 사용량에 따라 더 높은 용량을 사용합니다(최대 250MiB/s\$1). |
| 1,000GiB 이상 | 현재 gp2 볼륨으로 구동되는 gp2 IOPS(GiB 크기 x 3) 또는 최대 IOPS와 일치 | 125MiB/s(선택한 EC2 인스턴스 유형이 125MiB/s 이하를 지원하는 경우). 사용량에 따라 더 높은 용량을 사용합니다(최대 250MiB/s\$1). |
\$1Gp3는 최대 2,000MiB/s의 처리량을 제공할 수 있습니다. gp2는 최대 250MiB/s의 처리량을 지원하므로 gp3를 사용할 때는 이 한도를 초과하지 않아도 됩니다. Gp3 볼륨은 스토리지 가격에 포함된 125MiB/s의 일관된 기본 처리 성능을 제공합니다. 프로비저닝된 IOPS당 0.25MiB/s 비율의 추가 비용으로 추가 처리량(최대 2,000MiB/s)을 프로비저닝할 수 있습니다. 최대 처리량은 8,000IOPS 이상 및 16GiB 이상(8,000IOPS × IOPS당 0.25MiB/s = 2,000MiB/s)으로 프로비저닝할 수 있습니다.