.amazonaws.com`. Para obtener más información sobre esta limitación de nombres, consulte [Presentación del cliente Hadoop S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.) (sitio web de Hadoop).Elija una de las siguientes opciones de configuración:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/es_es/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | Administrador de AWS |
| Configure la autenticación para Amazon S3. | Para autenticarse en Amazon S3 a través de Hadoop, le recomendamos que exporte las credenciales de rol temporales al entorno de Hadoop. Para obtener más información, consulte [Autenticación con S3](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3) (sitio web de Hadoop). En trabajos de larga duración, puede crear un usuario y asignar una política con permisos para colocar datos únicamente en un bucket de S3. La clave de acceso y la clave secreta se pueden almacenar en Hadoop, y solo pueden acceder a ellas el propio DistCp trabajo y el administrador de Hadoop. Para obtener más información sobre el almacenamiento de secretos, consulte [Almacenamiento de secretos con los proveedores de credenciales de Hadoop](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers) (sitio web de Hadoop). Para obtener más información sobre otros métodos de autenticación, consulte [Cómo obtener credenciales de un rol de IAM para su uso con acceso de CLI a una cuenta de AWS](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html) en la documentación de AWS IAM Identity Center (sucesor de AWS Single Sign-On).Para usar credenciales temporales, añada las credenciales temporales a su archivo de credenciales o ejecute los siguientes comandos para exportar las credenciales a su entorno:export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
Si tiene una combinación de clave de acceso y clave secreta tradicional, ejecute los siguientes comandos:export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
Si utiliza una combinación de clave de acceso y clave secreta, cambie el proveedor de credenciales en los DistCp comandos de a. `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"` `"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"` | Administrador de AWS |
| Transfiera datos mediante DistCp. | Para usarlo DistCp para transferir datos, ejecute los siguientes comandos:hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
La región de AWS del punto de conexión no se detecta automáticamente cuando se utiliza el DistCp comando con AWS PrivateLink para Amazon S3. Hadoop 3.3.2 y las versiones posteriores resuelven este problema habilitando la opción de establecer de forma explícita la región de AWS del bucket de S3. Para obtener más información, consulte [S3A para añadir la opción fs.s3a.endpoint.region y establecer la región de AWS](https://issues.apache.org/jira/browse/HADOOP-17705) (sitio web de Hadoop).Para obtener más información sobre otros proveedores de S3A, consulte [Configuración general de cliente S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration) (sitio web de Hadoop). Por ejemplo, si usa el cifrado, puede añadir la siguiente opción a la serie de comandos anteriores en función del tipo de cifrado:-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
Para usar el punto de conexión de la interfaz con S3A, debe crear una entrada de alias de DNS para el nombre regional de S3 (por ejemplo, `s3..amazonaws.com`) en el punto de conexión de la interfaz. Consulte la sección *Configurar autenticación para Amazon S3* para obtener más instrucciones. Esta solución alternativa es necesaria para Hadoop 3.3.2 y versiones anteriores. Las versiones futuras de S3A no requieren de esta solución alternativa.Si tiene problemas de firma con Amazon S3, añada una opción para usar Signature Version 4 (SigV4):-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| Ingeniero de migraciones; administrador de AWS |