.amazonaws.com` を解決する必要があります。この命名制限の詳細については、「[Introducing the Hadoop S3A client](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.)」(Hadoop ウェブサイト) を参照してください。次の設定オプションのいずれかを選択します。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | AWS 管理者 |
| Amazon S3 の認証の設定。 | Hadoop を使用して Amazon S3 への認証を行うには、一時的なロール認証情報を Hadoop 環境にエクスポートすることをお勧めします。詳細については、「[Authenticating with S3](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3)」(Hadoop ウェブサイト) を参照してください。長時間実行されるジョブの場合は、ユーザーを作成し、S3 バケットにのみデータを保存する権限を持つポリシーを割り当てることができます。アクセスキーとシークレットキーは Hadoop に保存でき、DistCP ジョブ自体と Hadoop 管理者のみがアクセスできます。シークレットの保存について詳しくは、「[Storing secrets with Hadoop Credential Providers](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers)」(Hadoop ウェブサイト) を参照してください。その他の認証方法の詳細については、AWS IAM アイデンティティセンター (AWS Single SAWS Single Sign-On の後継) の「[How to get credentials of an IAM role for use with CLI access to an AWS account](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html)」を参照してください。一時的な認証情報を使用するには、一時的な認証情報を認証情報ファイルに追加するか、以下のコマンドを実行して認証情報を環境にエクスポートします。export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
従来のアクセスキーとシークレットキーの組み合わせを使用している場合は、以下のコマンドを実行します。export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
アクセスキーとシークレットキーを組み合わせて使用する場合は、DistCp コマンドの認証情報プロバイダーを `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"` から `"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"` に変更してください。 | AWS 管理者 |
| DistCp を使用してデータを転送します。 | DistCp を使用してデータを転送するには、次のコマンドを実行します。hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
Amazon S3 用 AWS PrivateLink で DistCp コマンドを使用しても、エンドポイントの AWS リージョンは自動的に検出されません。Hadoop 3.3.2 以降のバージョンでは、S3 バケットの AWS リージョンを明示的に設定するオプションを有効にすることでこの問題を解決しています。詳細については、「[S3A to add option fs.s3a.endpoint.region to set AWS region](https://issues.apache.org/jira/browse/HADOOP-17705)」(Hadoop Web サイト) を参照してください。その他の S3A プロバイダーの詳細については、「[General S3A Client configuration](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration)」(Hadoop ウェブサイト) を参照してください。例えば、暗号化を使用する場合、暗号化の種類に応じて、上記の一連のコマンドに次のオプションを追加できます。-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
S3A でインターフェイスエンドポイントを使用するには、インターフェイスエンドポイントに S3 地域名 (例: `s3..amazonaws.com`) の DNS エイリアスエントリを作成する必要があります。手順については、「*Amazon S3 の認証の設定*」セクションを参照してください。この回避策は Hadoop 3.3.2 以前のバージョンで必要です。S3A の今後のバージョンでは、この回避策は必要なくなります。Amazon S3 の署名に問題がある場合は、Signature Version 4 (SigV4) 署名を使用するオプションを追加します。-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| 移行エンジニア、AWS 管理者 |