.amazonaws.com`。有关此命名限制的更多信息，请参阅 [Hadoop S3A 客户端简介](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.)（Hadoop 网站）。
选择以下配置选项之一：[See the AWS documentation website for more details](http://docs.aws.amazon.com/zh_cn/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | AWS 管理员 |
| 为 Amazon S3 配置身份验证。 | 要通过 Hadoop 对 Amazon S3 进行身份验证，我们建议您将临时角色凭证导出到 Hadoop 环境。有关更多信息，请参阅[使用 S3 执行身份验证](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3)（Hadoop 网站）。对于长时间运行的作业，您可创建用户并分配仅有权将数据放入 S3 存储桶的策略。访问密钥和密钥可以存储在 Hadoop 上，只有 DistCp 任务本身和 Hadoop 管理员才能访问。有关存储密钥的更多信息，请参阅[使用 Hadoop 凭证提供程序存储机密](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers)（Hadoop 网站）。有关其他身份验证方法的更多信息，请参阅 AWS IAM Identity Center 文档中的[如何获取 IAM 角色的凭证以用于对 Amazon Web Services account 的 CLI 访问](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html)（AWS Single Sign-On 后续任务）。
要使用临时凭证，请将临时凭证添加到凭证文件中，或运行以下命令将凭证导出到您的环境中：export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
如您使用传统的访问密钥和私有密钥组合，请运行以下命令：export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
如果您使用访问密钥和私有密钥组合，请将 DistCp 命令中的凭证提供程序从更改`"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"`为`"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"`。 | AWS 管理员 |
| 使用传输数据 DistCp。 | DistCp 要使用传输数据，请运行以下命令：hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
当您在 AWS for Amazon S3 中使用 DistCp 命令时，不会自动发现终端节点 PrivateLink 的 AWS 区域。Hadoop 3.3.2 及更高版本通过启用显式设置 S3 存储桶的 AWS 区域的选项来解决此问题。有关更多信息，请参阅 [S3A 添加选项 fs.s3a.endpoint.region 设置 AWS 区域](https://issues.apache.org/jira/browse/HADOOP-17705)（Hadoop 网站）。
有关其他 S3A 提供商的更多信息，请参阅[常规 S3A 客户端配置](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration)（Hadoop 网站）。例如，如果您使用加密，则可根据您的加密类型将以下选项添加到上述一系列命令中：-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
要在 S3A 中使用接口端点，必须为接口端点的 S3 区域名称（例如 `s3..amazonaws.com`）创建 DNS 别名条目。有关说明，请参阅*为 Amazon S3 配置身份验证*部分。Hadoop 3.3.2 及以前版本需要使用此解决方法。未来版本的 S3A 将不需要这种解决方法。
如果您在 Amazon S3 上遇到签名问题，请添加使用签名版本 4（SigV4）签名选项：-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| 迁移工程师、AWS 管理员 |