.amazonaws.com`. Pour plus d'informations sur cette limitation de dénomination, consultez [Présentation du client Hadoop S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.) (site Web Hadoop).Choisissez l'une des options de configuration suivantes :[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | Administrateur AWS |
| Configurez l'authentification pour Amazon S3. | Pour vous authentifier auprès d'Amazon S3 via Hadoop, nous vous recommandons d'exporter les informations d'identification de rôle temporaires vers l'environnement Hadoop. Pour plus d'informations, consultez [Authentification avec S3 (site](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3) Web Hadoop). Pour les tâches de longue durée, vous pouvez créer un utilisateur et attribuer une politique autorisant à placer des données uniquement dans un compartiment S3. La clé d'accès et la clé secrète peuvent être stockées sur Hadoop, accessibles uniquement au DistCp job lui-même et à l'administrateur Hadoop. Pour plus d'informations sur le stockage des secrets, consultez [Stockage des secrets avec les fournisseurs d'informations d'identification Hadoop](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers) (site Web Hadoop). Pour plus d'informations sur les autres méthodes d'authentification, consultez [Comment obtenir les informations d'identification d'un rôle IAM à utiliser avec l'accès CLI à un compte AWS](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html) dans la documentation d'AWS IAM Identity Center (successeur d'AWS Single Sign-On).Pour utiliser des informations d'identification temporaires, ajoutez-les à votre fichier d'informations d'identification ou exécutez les commandes suivantes pour exporter les informations d'identification vers votre environnement :export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
Si vous utilisez une combinaison classique de clé d'accès et de clé secrète, exécutez les commandes suivantes :export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
Si vous utilisez une combinaison de clé d'accès et de clé secrète, remplacez le fournisseur d'informations d'identification dans les DistCp commandes par `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"``"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"`. | Administrateur AWS |
| Transférez des données en utilisant DistCp. | Pour DistCp transférer des données, exécutez les commandes suivantes :hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
La région AWS du point de terminaison n'est pas automatiquement découverte lorsque vous utilisez la DistCp commande avec AWS PrivateLink pour Amazon S3. Hadoop 3.3.2 et les versions ultérieures résolvent ce problème en activant l'option permettant de définir explicitement la région AWS du compartiment S3. Pour plus d'informations, consultez [S3A pour ajouter l'option fs.s3a.endpoint.region afin de définir la région](https://issues.apache.org/jira/browse/HADOOP-17705) AWS (site Web Hadoop).Pour plus d'informations sur les fournisseurs S3A supplémentaires, consultez la section [Configuration générale du client S3A](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration) (site Web Hadoop). Par exemple, si vous utilisez le chiffrement, vous pouvez ajouter l'option suivante à la série de commandes ci-dessus en fonction de votre type de chiffrement :-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
Pour utiliser le point de terminaison d'interface avec S3A, vous devez créer une entrée d'alias DNS pour le nom régional S3 (par exemple,`s3..amazonaws.com`) du point de terminaison d'interface. Consultez la section *Configurer l'authentification pour Amazon S3* pour obtenir des instructions. Cette solution de contournement est requise pour Hadoop 3.3.2 et les versions antérieures. Les futures versions de S3A ne nécessiteront pas cette solution de contournement.Si vous rencontrez des problèmes de signature avec Amazon S3, ajoutez une option permettant d'utiliser la signature Signature Version 4 (Sigv4) :-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| Ingénieur de migration, administrateur AWS |