.amazonaws.com`. Para obter mais informações sobre essa limitação de nomenclatura, consulte [Apresentando o cliente Hadoop S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.) (site do Hadoop).Escolha uma das seguintes opções de configuração:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | Administrador da AWS |
| Configure a autenticação para o Amazon S3. | Para se autenticar no Amazon S3 por meio do Hadoop, recomendamos que você exporte credenciais de função temporárias para o ambiente do Hadoop. Para obter mais informações, consulte [Autenticação com o S3](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3) (site do Hadoop). Para trabalhos de longa duração, você pode criar um usuário e atribuir uma política que tenha permissões para colocar dados somente em um bucket do S3. A chave de acesso e a chave secreta podem ser armazenadas no Hadoop, acessíveis somente para o DistCp trabalho em si e para o administrador do Hadoop. Para obter mais informações sobre como armazenar segredos, consulte [Armazenamento de segredos com provedores de credenciais do Hadoop](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers) (site do Hadoop). Para obter mais informações sobre outros métodos de autenticação, consulte [Como obter credenciais de um perfil do IAM para uso com acesso da CLI a uma conta da AWS IAM](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html) na documentação do Centro de Identidade do AWS IAM (sucessor do AWS Single Sign-On).Para usar credenciais temporárias, adicione as credenciais temporárias ao seu arquivo de credenciais ou execute os seguintes comandos para exportar as credenciais para o seu ambiente:export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
Se você tiver uma combinação tradicional de chave de acesso e chave secreta, execute os seguintes comandos:export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
Se você usar uma combinação de chave de acesso e chave secreta, altere o provedor de credenciais nos DistCp comandos de `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"` para`"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"`. | Administrador da AWS |
| Transfira dados usando DistCp. | Para usar DistCp para transferir dados, execute os seguintes comandos:hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
A região da AWS do endpoint não é descoberta automaticamente quando você usa o DistCp comando com a AWS PrivateLink para o Amazon S3. O Hadoop 3.3.2 e versões posteriores resolvem esse problema habilitando a opção de definir explicitamente a região da AWS do bucket S3. Para obter mais informações, consulte [S3A para adicionar a opção fs.s3a.endpoint.region para definir a região](https://issues.apache.org/jira/browse/HADOOP-17705) da AWS (site do Hadoop).Para obter mais informações sobre provedores S3A adicionais, consulte [Configuração geral do cliente S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration) (site do Hadoop). Por exemplo, se você usa criptografia, pode adicionar a seguinte opção à série de comandos acima, dependendo do seu tipo de criptografia:-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
Para usar o endpoint da interface com o S3A, você deve criar uma entrada de alias de DNS para o nome Regional do S3 (por exemplo, `s3..amazonaws.com`) com direcionamento para o endpoint da interface. Consulte a seção *Configurar autenticação para o Amazon S3* para obter instruções. Essa solução alternativa é necessária para o Hadoop 3.3.2 e versões anteriores. Versões futuras do S3A não exigirão essa solução alternativa.Se você tiver problemas de assinatura com o Amazon S3, adicione uma opção de usar a Signature Version 4 (SigV4):-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| Engenheiro de migração, administrador da AWS |