Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Guide de migration : système de fichiers EMRFS vers S3A
Depuis la version EMR-7.10.0, le système de fichiers S3A est le système de fichiers/connecteur s3 par défaut pour les clusters EMR pour tous les schémas de fichiers S3, y compris les suivants :
+ **s3 ://**
+ **s3n ://**
+ **s3a ://**
Cette modification s'applique à tous les déploiements EMR EC2, y compris EKS et EMR Serverless.
Si vous souhaitez continuer à utiliser EMRFS, vous pouvez le configurer en ajoutant la propriété suivante au fichier de `core-site.xml` configuration :
```
fs.s3.impl
com.amazon.ws.emr.hadoop.fs.EmrFileSystem
```
## Migration de configurations EMRFS existantes vers des configurations S3A
**Note**
Amazon EMR implémente le mappage automatique de configuration entre EMRFS et S3A lorsque des conditions spécifiques sont remplies. Le processus de mappage se produit automatiquement lorsque les configurations S3A ne sont pas définies alors que les configurations EMRFS correspondantes sont présentes. Cette fonctionnalité de mappage automatique s'étend aux configurations au niveau du compartiment, permettant une intégration parfaite entre les paramètres EMRFS et S3A. À titre d'illustration, lorsque vous configurez un paramètre de chiffrement spécifique à un compartiment dans EMRFS à l'aide de « fs.s3.bucket.amzn-s3-demo-bucket1 ». serverSideEncryption.kms.keyId' avec une valeur de « XYZ », le système l'associe automatiquement à la configuration S3A équivalente en attribuant à « fs.s3a.encryption.key » la valeur « XYZ » pour le bucket spécifié amzn-s3-demo-bucket1.
L'ensemble prédéfini de configurations EMRFS suivant sera automatiquement traduit en leurs équivalents de configuration S3A correspondants. Toutes les configurations actuellement mises en œuvre par le biais de remplacements de clusters ou de tâches seront facilement transférées vers le système de fichiers S3A sans nécessiter de configuration ou de modifications manuelles supplémentaires.
Par défaut, cette fonctionnalité de mappage de configuration est automatiquement activée. Les utilisateurs qui souhaitent désactiver cette traduction automatique peuvent le faire en ajoutant la propriété suivante au fichier de configuration core-site.xml.
```
fs.s3a.emrfs.compatibility.enable
false
```
**Note**
Le mappage des clés de chiffrement depuis EMRFS (fs.s3. serverSideEncryption.kms.keyID ou fs.s3.cse.kms.keyID) à S3A (fs.s3a.encryption.key) se produisent uniquement lorsque le chiffrement SSE-KMS ou CSE-KMS est activé sur l'un ou l'autre des systèmes de fichiers.
**Mappage de configuration EMRFS vers S3A**
| Nom de configuration EMRFS | Nom de configuration S3A |
| --- | --- |
| fs.s3.aimd.AdjustWindow | FS.S3A.AIMD.Régler la fenêtre |
| fs.s3.aimd.enabled | fs.s3a.aimd.enabled |
| fs.s3.aimd.IncreaseIncrement | fs.s3a.aimd.IncreaseIncrement |
| fs.s3.aimd.taux initial | fs.s3a.aimd.taux initial |
| FS.S3.AIMD.Max Tentatives | FS.S3A.AIMD.Max Tentatives |
| Tarif fs.s3.aimd.min | Tarif fs.s3a.aimd.min |
| Facteur de réduction FS.S3.AIM. | FS.S3A.AIM D. Facteur de réduction |
| fs.s3.sts.endpoint | fs.s3a.assumed.role.sts.endpoint |
| fs.s3.sts. sessionDurationSeconds | fs.s3a.assumed.role.session.duration |
| FS.S3. Autorisation. Cartographie des rôles | FS.S3A. Autorisation. Cartographie des rôles |
| fs.s3.authorization.ugi.groupName.Enabled | fs.s3a.Authorization.UGI.GroupName.Enabled |
| fs.s3. credentialsResolverClass | fs.s3a.credentials.resolver |
| fs.s3n.multipart.uploads.enabled | fs.s3a.multipart.uploads.enabled |
| fs.s3n.multipart.uploads.split.size | fs.s3a.multipart.size |
| fs.s3. serverSideEncryption.km. customEncryptionContext | fs.s3a.encryption.context |
| fs.s3. enableServerSideChiffrement | fs.s3a.encryption.algorithm |
| fs.s3. serverSideEncryption.kms.keyId/fs.s3.cse.kms.keyID | fs.s3a.encryption.key |
| fs.s3.cse.kms.region | fs.s3a.encryption.cse.kms.region |
| fs.s3.authorization.audit.enabled | fs.s3a.authorization.audit.enabled |
| fs.s3.buckets.create.enabled | fs.s3a.bucket.probe |
| fs.s3.delete. maxBatchSize | fs.s3a.bulk.delete.page.size |
| fs.s3.filestatus.metadata.enabled | fs.s3a.metadata.cache.enabled |
| Connexions FS.S3.max | fs.s3a.connection.maximum |
| FS.S3.max Réessaie | fs.s3a.retry.limit |
| fs.s3.metadata.cache.expiration.seconds | fs.s3a.metadata.cache.expiration.seconds |
| fs.s3.buffer.dir | fs.s3a.buffer.dir |
| fs.s3.cand.acl | fs.s3a.acl.default |
| FS.S3.PositionedRead.Optimization.Activé | FS.S3A.PositionedRead.Optimization.Activé |
| fs.s3. readFullyIntoBuffers.Optimization.Activé | fs.3a. readFullyIntoBuffers.Optimization.Activé |
| FS.S3. Type de signature | algorithme de signature fs.s3a |
| Classe de stockage FS.S3 | fs.s3a.create.storage.class |
| fs.s3.threadpool.maxSize | fs.s3a.threads.max |
| fs.s3. useRequesterPaysEn-tête | fs.s3a.requester.pays.enabled |
| fs.s3n.block.size | fs.s3a .block.size |
| fs.s3n.endpoint | point de terminaison fs.s3a. |
| fs.s3n.ssl.enabled | fs.s3a.connection.ssl.enabled |
| fs.s3.open. acceptsFileStatus | fs.s3a.open. acceptsFileStatus |
| connexion fs.s3. maxIdleMilliSecondes | fs.s3a.connection.idle.time |
| fs.s3.s3 .enabled AccessGrants | fs.s3a.access.grants.enabled |
| fs.s3.s3AccessGrants. Retournez à IAM | fs.s3a.access.grants.fallback.to.iam |
### Considérations et restrictions
+ Tous les moteurs EMR (Spark, Flink, Tez MapReduce, Hive, etc.) utiliseront le S3A comme connecteur S3 par défaut, à l'exception des moteurs Trino et Presto.
+ L'EMR S3A ne prend pas en charge l'intégration avec EMR Ranger. Envisagez de migrer vers AWS Lake Formation.
+ AWS Lake Formation Support with RecordServer For EMR Spark with S3A n'est pas pris en charge. Pensez à utiliser Spark Native FGAC.
+ AWS S3 Select n'est pas pris en charge.
+ L'option de nettoyage périodique en cas de téléchargement partiel (MPU) incomplet n'est pas disponible avec S3A. Envisagez de configurer la [politique de cycle de vie des compartiments S3](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html) pour éliminer les éléments pendants MPUs.
+ [Afin de migrer d'EMRFS vers S3A tout en utilisant le chiffrement S3 CSE-CUSTOM, le fournisseur de clés personnalisées doit être réécrit d'une interface à l'autre. [EMRFSRSAEncryptionMaterialsProvider](https://github.com/awslabs/emr-sample-apps/tree/master/emrfs-plugins/EMRFSRSAEncryptionMaterialsProvider)](https://docs.aws.amazon.com/encryption-sdk/latest/developer-guide/choose-keyring.html) Reportez-vous à la section Configuration de S3A [CSE-CUSTOM](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-s3a-cse-custom.html) pour plus d'informations.
+ Les répertoires Amazon S3 créés à l'aide d'EMRFS sont marqués d'un suffixe « \$1\$1folder\$1 », tandis que les répertoires créés à l'aide du système de fichiers S3A se terminent par un suffixe «/», ce qui est cohérent avec les répertoires créés via la console S3. AWS
+ Pour utiliser un fournisseur d'informations d'identification S3 personnalisé, définissez la propriété de configuration S3A `fs.s3a.aws.credentials.provider` avec la même classe de fournisseur d'informations d'identification que celle utilisée précédemment dans la configuration EMRFS. `fs.s3.customAWSCredentialsProvider`
### Configurations EMRFS non prises en charge
Les configurations EMRFS suivantes ont été identifiées comme non prises en charge ou obsolètes et, par conséquent, aucun mappage direct ne sera fourni à leurs homologues de configuration S3A. Ces configurations spécifiques ne seront pas automatiquement traduites ou reportées lors de la migration vers le système de fichiers S3A.
**Configurations EMRFS non prises en charge et raisons**
[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/emr/latest/ReleaseGuide/emr-s3a-migrate.html)