.amazonaws.com`. Weitere Informationen zu dieser Namensbeschränkung finden Sie unter [Einführung in den Hadoop S3A-Client](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Introducing_the_Hadoop_S3A_client.) (Hadoop-Website).Wählen Sie eine der folgenden Konfigurationsoptionen:[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/patterns/migrate-data-from-an-on-premises-hadoop-environment-to-amazon-s3-using-distcp-with-aws-privatelink-for-amazon-s3.html) | AWS-Administrator |
| Konfigurieren Sie die Authentifizierung für Amazon S3. | Um sich über Hadoop bei Amazon S3 zu authentifizieren, empfehlen wir, temporäre Rollenanmeldedaten in die Hadoop-Umgebung zu exportieren. Weitere Informationen finden Sie unter [Authentifizierung mit S3](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3) (Hadoop-Website). Für Jobs mit langer Laufzeit können Sie einen Benutzer erstellen und ihm eine Richtlinie zuweisen, die nur berechtigt ist, Daten in einem S3-Bucket abzulegen. Der Zugriffsschlüssel und der geheime Schlüssel können in Hadoop gespeichert werden und sind nur für den DistCp Job selbst und für den Hadoop-Administrator zugänglich. Weitere Informationen zum Speichern von Geheimnissen finden Sie unter [Speichern von Geheimnissen mit Hadoop Credential Providers](https://hadoop.apache.org/docs/r3.1.1/hadoop-aws/tools/hadoop-aws/index.html#hadoop_credential_providers) (Hadoop-Website). Weitere Informationen [zu anderen Authentifizierungsmethoden finden Sie unter So erhalten Sie Anmeldeinformationen für eine IAM-Rolle zur Verwendung mit CLI-Zugriff auf ein AWS-Konto](https://docs.aws.amazon.com/singlesignon/latest/userguide/howtogetcredentials.html) in der Dokumentation für AWS IAM Identity Center (Nachfolger von AWS Single Sign-On).Um temporäre Anmeldeinformationen zu verwenden, fügen Sie die temporären Anmeldeinformationen zu Ihrer Anmeldeinformationsdatei hinzu oder führen Sie die folgenden Befehle aus, um die Anmeldeinformationen in Ihre Umgebung zu exportieren:export AWS_SESSION_TOKEN=SECRET-SESSION-TOKEN
export AWS_ACCESS_KEY_ID=SESSION-ACCESS-KEY
export AWS_SECRET_ACCESS_KEY=SESSION-SECRET-KEY
Wenn Sie über eine herkömmliche Kombination aus Zugriffsschlüssel und geheimer Taste verfügen, führen Sie die folgenden Befehle aus:export AWS_ACCESS_KEY_ID=my.aws.key
export AWS_SECRET_ACCESS_KEY=my.secret.key
Wenn Sie eine Kombination aus Zugriffsschlüssel und geheimem Schlüssel verwenden, ändern Sie den Anbieter der Anmeldeinformationen in den DistCp Befehlen von `"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"` bis`"org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider"`. | AWS-Administrator |
| Daten übertragen mit DistCp. | Führen Sie DistCp die folgenden Befehle aus, um Daten zu übertragen:hadoop distcp -Dfs.s3a.aws.credentials.provider=\
"org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider" \
-Dfs.s3a.access.key="${AWS_ACCESS_KEY_ID}" \
-Dfs.s3a.secret.key="${AWS_SECRET_ACCESS_KEY}" \
-Dfs.s3a.session.token="${AWS_SESSION_TOKEN}" \
-Dfs.s3a.path.style.access=true \
-Dfs.s3a.connection.ssl.enabled=true \
-Dfs.s3a.endpoint=s3..amazonaws.com \
hdfs:///user/root/ s3a://
Die AWS-Region des Endpunkts wird nicht automatisch erkannt, wenn Sie den DistCp Befehl mit AWS PrivateLink for Amazon S3 verwenden. Hadoop 3.3.2 und spätere Versionen lösen dieses Problem, indem sie die Option aktivieren, die AWS-Region des S3-Buckets explizit festzulegen. Weitere Informationen finden Sie unter [S3A, um die Option fs.s3a.endpoint.region hinzuzufügen, um die AWS-Region](https://issues.apache.org/jira/browse/HADOOP-17705) festzulegen (Hadoop-Website).[Weitere Informationen zu zusätzlichen S3A-Anbietern finden Sie unter Allgemeine S3A-Client-Konfiguration (Hadoop-Website).](https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html#General_S3A_Client_configuration) Wenn Sie beispielsweise Verschlüsselung verwenden, können Sie der obigen Befehlsreihe je nach Verschlüsselungstyp die folgende Option hinzufügen:-Dfs.s3a.server-side-encryption-algorithm=AES-256 [or SSE-C or SSE-KMS]
Um den Schnittstellenendpunkt mit S3A zu verwenden, müssen Sie einen DNS-Aliaseintrag für den S3-Regionalnamen (z. B.`s3..amazonaws.com`) für den Schnittstellenendpunkt erstellen. Anweisungen finden *Sie im Abschnitt Authentifizierung für Amazon S3 konfigurieren*. Diese Problemumgehung ist für Hadoop 3.3.2 und frühere Versionen erforderlich. Zukünftige Versionen von S3A benötigen diese Problemumgehung nicht.Wenn Sie Signaturprobleme mit Amazon S3 haben, fügen Sie eine Option hinzu, um Signature Version 4 (Sigv4) zu signieren:-Dmapreduce.map.java.opts="-Dcom.amazonaws.services.s3.enableV4=true"
| Migrationsingenieur, AWS-Administrator |