Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Migrationshandbuch: EMRFS zum S3A-Dateisystem
Ab der Version EMR-7.10.0 ist das S3A-Dateisystem der Standard-Dateisystem/s3-Konnektor für EMR-Cluster für alle S3-Dateischemas, einschließlich der folgenden:
+ **s3://**
+ **s3n://**
+ **s3a://**
Diese Änderung gilt für alle EMR-Bereitstellungen EC2, einschließlich EKS und EMR Serverless.
Wenn Sie EMRFS weiterhin verwenden möchten, können Sie dies konfigurieren, indem Sie der Konfigurationsdatei die folgende Eigenschaft hinzufügen: `core-site.xml`
```
fs.s3.impl
com.amazon.ws.emr.hadoop.fs.EmrFileSystem
```
## Migration vorhandener EMRFS-Konfigurationen zu S3A-Konfigurationen
**Anmerkung**
Amazon EMR implementiert die automatische Konfigurationszuweisung zwischen EMRFS und S3A, wenn bestimmte Bedingungen erfüllt sind. Der Zuordnungsprozess erfolgt automatisch, wenn S3A-Konfigurationen nicht definiert sind, während entsprechende EMRFS-Konfigurationen vorhanden sind. Diese automatische Zuordnungsfunktion erstreckt sich auf Konfigurationen auf Bucket-Ebene und ermöglicht eine nahtlose Integration zwischen EMRFS- und S3A-Einstellungen. Zur Veranschaulichung, wenn Sie in EMRFS mithilfe von 'fs.s3.bucket.amzn-s3-demo-bucket1 eine bucket-spezifische Verschlüsselungseinstellung konfigurieren. serverSideEncryption.kms.keyID' mit dem Wert „XYZ“, das System ordnet dies automatisch der entsprechenden S3A-Konfiguration zu, indem 'fs.s3a.encryption.key' für den angegebenen Bucket amzn-s3-demo-bucket1 auf „XYZ“ gesetzt wird.
Der folgende vordefinierte Satz von EMRFS-Konfigurationen wird automatisch in die entsprechenden S3A-Konfigurationsäquivalente übersetzt. Alle Konfigurationen, die derzeit über Cluster- oder Job-Overrides implementiert werden, werden nahtlos auf das S3A-Dateisystem umgestellt, ohne dass zusätzliche manuelle Konfigurationen oder Änderungen erforderlich sind.
Standardmäßig ist diese Funktion zur Konfigurationszuweisung automatisch aktiviert. Benutzer, die diese automatische Übersetzung deaktivieren möchten, können dies tun, indem sie der Konfigurationsdatei core-site.xml die folgende Eigenschaft hinzufügen.
```
fs.s3a.emrfs.compatibility.enable
false
```
**Anmerkung**
Die Zuordnung der Verschlüsselungsschlüssel aus EMRFS (fs.s3. serverSideEncryption.kms.keyID oder fs.s3.cse.kms.keyID) zu S3A (fs.s3a.encryption.key) erfolgt nur, wenn entweder SSE-KMS- oder CSE-KMS-Verschlüsselung auf einem der Dateisysteme aktiviert ist.
**Zuordnung der Konfiguration von EMRFS zu S3A**
| Name der EMRFS-Konfiguration | S3A-Konfigurationsname |
| --- | --- |
| fs.s3.aimd.AdjustWindow | fs.s3a.aimd.AdjustWindow |
| fs.s3.aimd.aktiviert | fs.s3a.aimd.aktiviert |
| fs.s3.aimd.Erhöhung erhöhen | fs.s3a.aimd.Erhöhen Sie das Inkrement |
| fs.s3.aimd.Anfangsrate | fs.s3a.aimd.InitialRate |
| fs.s3.aimd.max Versuche | fs.s3a.aimd.max-Versuche |
| Rate fs.s3.aimd.min | Rate fs.s3a.aimd.min |
| fs.s3.aimd.Reduktionsfaktor | fs.s3a.aimd.Reduktionsfaktor |
| fs.s3.sts.endpoint | fs.s3a.assumed.role.sts.endpoint |
| fs.s3.sts. sessionDurationSeconds | fs.s3a.assumed.role.session.duration |
| fs.s3.authorization.rolemapping | fs.s3a.authorization.RoleMapping |
| fs.s3.authorization.ugi.groupName.Enabled | fs.s3a.authorization.ugi.groupName.Enabled |
| fs.s3. credentialsResolverClass | fs.s3a.credentials als.resolver |
| fs.s3n.multipart.uploads.enabled | fs.s3a.multipart.uploads.enabled |
| fs.s3n.multipart.uploads.split.size | fs.s3a.multipart.size |
| fs.s3. serverSideEncryption. km. customEncryptionContext | fs.s3a.encryption.context |
| fs.s3. enableServerSideVerschlüsselung | fs.s3a.encryption.algorithm |
| fs.s3. serverSideEncryption.kms.keyID//fs.s3.cse.kms.keyId | fs.s3a.encryption.key |
| fs.s3.cse.kms.region | fs.s3a.encryption.cse.kms.region |
| fs.s3.authorization.audit.enabled | fs.s3a.authorization.audit.enabled |
| fs.s3.buckets.create.enabled | fs.s3a.bucket.probe |
| fs.s3. löschen. maxBatchSize | fs.s3a.bulk.delete.page.size |
| fs.s3.filestatus.metadata.enabled | fs.s3a.metadata.cache.enabled |
| fs.S3.max-Verbindungen | fs.s3a.Verbindung.Maximum |
| fs.s3.max versucht es erneut | fs.s3a.retry.limit |
| fs.s3.metadata.cache.expiration.seconds | fs.s3a.metadata.cache.expiration.seconds |
| fs.s3.buffer.dir | fs.s3a.buffer.dir |
| fs.s3 hat .acl gescannt | fs.s3a.acl.default |
| fs.s3.positionedRead.Optimization.Enabled | fs.s3a.positionedRead.Optimization.Enabled |
| fs.s3. readFullyIntoPuffer.Optimierung.Aktiviert | fs.s3a. readFullyIntoPuffer.Optimierung.Aktiviert |
| Typ fs.s3.signer | fs.s3a.Signierungsalgorithmus |
| fs.s3.Storage-Klasse | fs.s3a.create.storage.class |
| fs.s3.threadpool.maxSize | fs.s3a.threads.max |
| fs.s3. useRequesterPaysKopfzeile | fs.s3a.requester.pays.enabled |
| fs.s3n.block.size | fs.s3a.block.size |
| fs.s3n.Endpunkt | fs.s3a.endpoint |
| fs.s3n.ssl.enabled | fs.s3a.connection.ssl.enabled |
| fs.s3. öffnen. acceptsFileStatus | fs.s3a.öffnen. acceptsFileStatus |
| fs.s3-Verbindung. maxIdleMilliSekunden | fs.s3a.connection.idle.time |
| fs.s3.s3 AccessGrants .aktiviert | fs.s3a.access.grants.enabled |
| fs.s3.s3AccessGrants. Fallback zu IAM | fs.s3a.access.grants.fallback.to.iam |
### Überlegungen und Einschränkungen
+ Alle EMR-Engines — Spark, Flink MapReduce, Tez, Hive usw. — verwenden S3A als Standard-S3-Anschluss, mit Ausnahme der Trino- und Presto-Motoren.
+ EMR S3A unterstützt keine Integration mit EMR Ranger. Erwägen Sie, nach AWS Lake Formation zu migrieren.
+ AWS Lake Formation Support mit RecordServer For EMR Spark with S3A wird nicht unterstützt. Erwägen Sie die Verwendung von Spark Native FGAC.
+ AWS S3 Select wird nicht unterstützt.
+ Die Option zur regelmäßigen Bereinigung von unvollständigen Multi-Part-Uploads (MPU) ist in S3A nicht verfügbar. Ziehen Sie in Erwägung, die [S3-Bucket-Lebenszyklusrichtlinie](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html) so zu konfigurieren, dass nicht mehr gelöschte Dateien entfernt werden. MPUs
+ [Um von EMRFS zu S3A zu migrieren und dabei die S3 CSE-CUSTOM-Verschlüsselung zu verwenden, muss der benutzerdefinierte Schlüsselanbieter von Schnittstelle zu Keyring-Schnittstelle neu geschrieben werden. [EMRFSRSAEncryptionMaterialsProvider](https://github.com/awslabs/emr-sample-apps/tree/master/emrfs-plugins/EMRFSRSAEncryptionMaterialsProvider)](https://docs.aws.amazon.com/encryption-sdk/latest/developer-guide/choose-keyring.html) [Weitere Informationen finden Sie unter S3A CSE-CUSTOM einrichten.](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-s3a-cse-custom.html)
+ Amazon S3 S3-Verzeichnisse, die mit EMRFS erstellt wurden, sind mit dem Suffix '\$1\$1folder\$1' gekennzeichnet, während Verzeichnisse, die mit dem S3A-Dateisystem erstellt wurden, mit dem Suffix '/' enden, was mit Verzeichnissen übereinstimmt, die über die S3-Konsole erstellt wurden. AWS
+ Um einen benutzerdefinierten S3-Anmeldeinformationsanbieter zu verwenden, legen Sie für die S3A-Konfigurationseigenschaft dieselbe Anbieterklasse für Anmeldeinformationen fest, die zuvor in der `fs.s3a.aws.credentials.provider` EMRFS-Konfiguration verwendet wurde. `fs.s3.customAWSCredentialsProvider`
### EMRFS-Konfigurationen werden nicht unterstützt
Die folgenden EMRFS-Konfigurationen wurden als nicht unterstützt oder veraltet identifiziert. Daher wird keine direkte Zuordnung zu ihren Gegenstücken in der S3A-Konfiguration bereitgestellt. Diese spezifischen Konfigurationen werden während der Migration in das S3A-Dateisystem nicht automatisch übersetzt oder übernommen.
**Nicht unterstützte EMRFS-Konfigurationen und Gründe**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/emr/latest/ReleaseGuide/emr-s3a-migrate.html)