.amazonaws.com`을 해결해야 합니다. 이 이름 지정 제한 사항에 대한 자세한 내용은 [Hadoop S3A 클라이언트 소개](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.)(Hadoop 웹사이트)를 참고하십시오.다음 구성 옵션 중 하나를 선택합니다.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | AWS 관리자 |
| Amazon S3에 대한 인증을 구성합니다. | Hadoop을 통해 Amazon S3에 인증하려면 임시 역할 보안 인증 정보를 Hadoop 환경으로 내보내는 것을 권장합니다. 자세한 내용은 [S3를 사용한 인증](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3)(Hadoop 웹사이트)을 참고하십시오. 장기 실행 작업의 경우, 사용자를 생성하고 S3 버킷에만 데이터를 넣을 권한이 있는 정책을 할당할 수 있습니다. 액세스 키와 비밀 키는 Hadoop에 저장할 수 있으며, DistCp 작업 자체와 Hadoop 관리자만 액세스할 수 있습니다. 암호 저장에 대한 자세한 내용은 [Hadoop 보안 인증 정보 공급자를 통한 암호 저장](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers)(Hadoop 웹사이트)을 참고하십시오. 다른 인증 방법에 대한 자세한 내용은 AWS IAM Identity Center(AWS Single Sign-On 후속)용 설명서에서 [AWS 계정에 대한 CLI 액세스와 함께 사용할 IAM 역할의 자격 증명을 얻는 방법](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html)을 참고하십시오.임시 보안 인증 정보를 사용하려면 보안 인증 정보 파일에 임시 보안 인증 정보를 추가하거나 다음 명령을 실행하여 보안 인증 정보를 사용자 환경으로 내보내십시오.export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
기존 액세스 키와 비밀 키 조합을 사용하는 경우 다음 명령을 실행하십시오.export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
액세스 키와 비밀 키 조합을 사용하는 경우, DistCp 명령의 보안 인증 정보 공급자를 `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"`에서 `"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"`로 변경하십시오. | 관리자 |
| DistCp를 사용하여 데이터를 전송합니다. | DistCp를 사용하여 데이터를 전송하려면 다음의 명령을 실행합니다.hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
Amazon S3용 AWS PrivateLink와 함께 DistCp 명령을 사용할 때는 엔드포인트의 AWS 리전이 자동으로 검색되지 않습니다. Hadoop 3.3.2 이상 버전에서는 S3 버킷의 AWS 리전을 명시적으로 설정하는 옵션을 활성화하여 이 문제를 해결합니다. 자세한 내용은 [AWS 리전을 설정하기 위한 fs.s3a.endpoint.region 옵션을 추가하는 S3A](https://issues.apache.org/jira/browse/HADOOP-17705)를 참고하십시오(Hadoop 웹사이트).추가 S3A 공급자에 대한 자세한 내용은 [일반 S3A 클라이언트 구성](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration)(Hadoop 웹사이트)을 참고하십시오. 예를 들어, 암호화를 사용하는 경우 암호화 유형에 따라 위의 명령 시리즈에 다음 옵션을 추가할 수 있습니다.-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
S3A와 함께 인터페이스 엔드포인트를 사용하려면, 인터페이스 엔드포인트에 S3 리전 이름(예: `s3..amazonaws.com`)의 DNS 별칭 항목을 생성해야 합니다. 지침은 *Amazon S3에 대한 인증 구성* 섹션을 참고하십시오. 이 해결 방법은 Hadoop 3.3.2 이하 버전에 필요합니다. S3A의 이후 버전에서는 이 해결 방법이 필요하지 않습니다.Amazon S3에 서명 문제가 있는 경우, Signature Version 4(SigV4) 서명을 사용하는 옵션을 추가합니다.-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| 마이그레이션 엔지니어, AWS 관리자 |