Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Afficher l'historique des applications Amazon EMR
Vous pouvez consulter les détails d'application du serveur d'historique Spark et du service de chronologie YARN sur la page de détails du cluster dans la console. L'historique d'application Amazon EMR facilite la résolution des problèmes et l'analyse des travaux actifs et de l'historique des travaux.
**Note**
Pour renforcer la sécurité des applications hors console que vous pouvez utiliser avec Amazon EMR, les domaines hébergeant les applications sont enregistrés dans la liste des suffixes publics (PSL). Voici des exemples de ces domaines d’hébergement : `emrstudio-prod.us-east-1.amazonaws.com`, `emrnotebooks-prod.us-east-1.amazonaws.com`, `emrappui-prod.us-east-1.amazonaws.com`. Pour plus de sécurité, si vous avez besoin de définir des cookies sensibles dans le nom de domaine par défaut, nous vous recommandons d’utiliser des cookies avec un préfixe `__Host-`. Cela vous permettra de protéger votre domaine contre les tentatives de falsification de requêtes intersites (CSRF). Pour plus d’informations, voir la page [https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Set-Cookie#cookie_prefixes](https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Set-Cookie#cookie_prefixes) du *Mozilla Developer Network*.
La section **Interfaces utilisateur des applications** de l'onglet **Applications** propose plusieurs options d'affichage, en fonction de l'état du cluster et des applications que vous avez installées sur le cluster.
+ [Accès hors cluster aux interfaces utilisateur d'application persistante](https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html) : À partir de la version 5.25.0 d'Amazon EMR, des liens d'interface utilisateur d'application persistante sont disponibles pour l'interface utilisateur Spark et le serveur d'historique Spark. Avec la version 5.30.1 et ultérieure d'Amazon EMR, l'interface utilisateur Tez et le serveur de chronologie YARN disposent également des interfaces utilisateur d'application persistante. Le serveur de chronologie YARN et l'interface utilisateur Tez sont des applications open source qui fournissent des métriques pour les clusters actifs et hors service. L'interface utilisateur Spark fournit des détails sur les étapes et les tâches du planificateur, les tailles de RDD et l'utilisation de la mémoire, des informations sur l'environnement et des informations sur les programmes d'exécution en cours. UIs Les applications persistantes sont exécutées hors cluster, de sorte que les informations et les journaux du cluster sont disponibles pendant 30 jours après la fermeture d'une application. Contrairement aux interfaces utilisateur des applications en cluster, les applications persistantes UIs ne vous obligent pas à configurer un proxy Web via une connexion SSH.
+ [Interfaces utilisateur d'application en cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html) : Il existe une variété d'interfaces utilisateur d'historique d'application qui peuvent être exécutées sur un cluster. Les interfaces utilisateur en cluster sont hébergées sur le nœud principal et nécessitent que vous configuriez une connexion SSH au serveur Web. Les interfaces utilisateur d'application en cluster conservent l'historique d'application pendant une semaine après la mise hors service d'une application. Pour plus d'informations et d'instructions sur la configuration d'un tunnel SSH, consultez [Affichage des interfaces Web hébergées sur des clusters Amazon EMR](emr-web-interfaces.md).
À l'exception du serveur d'historique Spark, du serveur de chronologie YARN et des applications Hive, l'historique d'application sur cluster ne peut être affiché que pendant l'exécution du cluster.
# Afficher les interfaces utilisateur persistantes des applications dans Amazon EMR
À partir de la version 5.25.0 d'Amazon EMR, vous pouvez vous connecter aux détails de l'application persistante de serveur d'historique Spark hébergée hors cluster à l'aide de la page **Récapitulatif** du cluster ou de l'onglet **Interfaces utilisateur d'application** de la console. Les interfaces d'application persistante de l'interface utilisateur Tez et du serveur de chronologie YARN sont disponibles à partir de la version 5.30.1 d'Amazon EMR. L'accès en un clic à un lien vers l'historique d'application persistante offre les avantages suivants :
+ Vous pouvez rapidement analyser et dépanner les tâches actives et l'historique des tâches sans configurer de proxy Web via une connexion SSH.
+ Vous pouvez accéder à l'historique de l'application et aux fichiers journaux pertinents pour les clusters actifs et hors service. Les journaux sont disponibles pendant 30 jours après la mise hors service de l'application.
Accédez aux détails de votre cluster dans la console, puis sélectionnez l’onglet **Applications**. Sélectionnez l’interface utilisateur de l’application souhaitée une fois votre cluster lancé. L’interface utilisateur de l’application s’ouvre dans un nouvel onglet de navigateur. Pour plus d'informations, consultez [Surveillance et instrumentation](https://spark.apache.org/docs/latest/monitoring.html).
Vous pouvez afficher les journaux de conteneur YARN via les liens sur le serveur d'historique Spark, le serveur de chronologie YARN et l'interface utilisateur Tez.
**Note**
Pour accéder aux journaux du conteneur YARN à partir du serveur d'historique Spark, du serveur de chronologie YARN et de l'interface utilisateur Tez, vous devez activer la journalisation sur Amazon S3 pour votre cluster. Si vous n’activez pas la journalisation, les liens vers les journaux de conteneur YARN ne fonctionneront pas.
## Collecte des journaux
Pour activer l'accès en un clic aux interfaces utilisateur d'application persistante, Amazon EMR collecte deux types de journaux :
+ Les **journaux d'événements d'application**, collectés dans un compartiment système EMR. Les journaux d'événements sont chiffrés au repos à l'aide du chiffrement côté serveur avec des clés gérées Amazon S3 (SSE-S3). Si vous utilisez un sous-réseau privé pour votre cluster, assurez-vous d'inclure le compartiment système approprié ARNs dans la liste des ressources de la politique Amazon S3 pour le sous-réseau privé. Pour plus d'informations, consultez [Politique Amazon S3 minimale pour un sous-réseau privé](https://docs.aws.amazon.com/emr/latest/ManagementGuide/private-subnet-iampolicy.html).
+ Les **journaux de conteneur YARN** sont collectés dans un compartiment Amazon S3 que vous possédez. Vous devez activer la journalisation pour votre cluster pour accéder aux journaux de conteneur YARN. Pour plus d'informations, consultez [Configuration de la journalisation et du débogage de cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html).
Si vous devez désactiver cette fonctionnalité pour des raisons de confidentialité, vous pouvez arrêter le démon à l'aide d'un script d'amorçage lorsque vous créez un cluster, comme l'illustre l'exemple suivant.
```
aws emr create-cluster --name "Stop Application UI Support" --release-label emr-7.12.0 \
--applications Name=Hadoop Name=Spark --ec2-attributes KeyName= \
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=TASK,InstanceCount=1,InstanceType=m3.xlarge \
--use-default-roles --bootstrap-actions Path=s3://region.elasticmapreduce/bootstrap-actions/run-if,Args=["instance.isMaster=true","echo Stop Application UI | sudo tee /etc/apppusher/run-apppusher; sudo systemctl stop apppusher || exit 0"]
```
Après l'exécution de ce script d'amorçage, Amazon EMR ne collectera pas de journaux d'événements de serveur d'historique Spark ou de serveur de chronologie YARN dans le compartiment système EMR. Aucune information sur l'historique d'application ne sera disponible dans l'onglet **Application user interfaces (Interfaces utilisateur d'application)** et vous perdrez l'accès à toutes les interfaces utilisateur d'application à partir de la console.
## Fichiers journaux d'événements Spark volumineux
Dans certains cas, les tâches Spark de longue durée, telles que le streaming Spark, et les tâches volumineuses, telles que les requêtes SQL Spark, peuvent générer des journaux d'événements volumineux. Les journaux d'événements volumineux vous permettent d'utiliser rapidement de l'espace disque sur les instances de calcul et de rencontrer `OutOfMemory` des erreurs lorsque vous chargez Persistent UIs. Pour éviter ces problèmes, nous vous recommandons d'activer la fonctionnalité de roulement et de compactage du journal des événements de Spark. Cette fonctionnalité est disponible sur Amazon EMR versions emr-6.1.0 et ultérieures. Pour plus de détails sur le laminage et le compactage, consultez [Appliquer le compactage aux fichiers journaux des événements de propagation](https://spark.apache.org/docs/latest/monitoring.html#applying-compaction-on-rolling-event-log-files) dans la documentation de Spark.
Pour activer la fonctionnalité de propagation et de compactage du journal des événements Spark, activez les paramètres de configuration Spark suivants.
+ `spark.eventLog.rolling.enabled` : Active la propagation du journal des événements en fonction de la taille. Ce paramètre est désactivé par défaut.
+ `spark.eventLog.rolling.maxFileSize` : Lorsque la propagation est activée, spécifie la taille maximale du fichier journal des événements avant qu'il ne soit reporté. La valeur par défaut est 128 Mo.
+ `spark.history.fs.eventLog.rolling.maxFilesToRetain` : Spécifie le nombre maximal de fichiers journaux d'événements non compactés à retenir. Par défaut, tous les fichiers journaux d'événements sont retenus. Réglez sur une valeur inférieure pour compacter les anciens journaux d'événements. La valeur la plus faible est 1.
Notez que le compactage tente d'exclure les événements dont les fichiers journaux d'événements sont obsolètes, tels que les suivants. S'il supprime des événements, vous ne les verrez plus dans l'interface utilisateur du serveur d'historique Spark.
+ Événements relatifs aux tâches terminées et événements liés à une étape ou à une tâche.
+ Événements pour les exécuteurs suspendus.
+ Événements relatifs aux requêtes SQL terminées et aux événements relatifs aux tâches, aux étapes et aux tâches connexes.
**Lancer un cluster avec la propagation et le compactage activés**
1. Créez un fichier `spark-configuration.json` avec la configuration suivante.
```
[
{
"Classification": "spark-defaults",
"Properties": {
"spark.eventLog.rolling.enabled": true,
"spark.history.fs.eventLog.rolling.maxFilesToRetain": 1
}
}
]
```
1. Créez votre cluster avec la configuration de compactage par propagation de Spark comme suit.
```
aws emr create-cluster \
--release-label emr-6.6.0 \
--instance-type m4.large \
--instance-count 2 \
--use-default-roles \
--configurations file://spark-configuration.json
```
## Autorisations d'affichage des interfaces utilisateur persistantes des applications
L'exemple suivant montre les autorisations de rôle requises pour accéder aux interfaces utilisateur persistantes des applications. Pour les clusters dont le rôle d'exécution est activé, cela permettra uniquement aux utilisateurs d'accéder aux applications soumises par la même identité d'utilisateur et le même rôle d'exécution.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:CreatePersistentAppUI",
"elasticmapreduce:DescribePersistentAppUI"
],
"Resource": [
"arn:aws:elasticmapreduce:*:123456789012:cluster/clusterId"
],
"Sid": "AllowELASTICMAPREDUCECreatepersistentappui"
},
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:GetPersistentAppUIPresignedURL"
],
"Resource": [
"arn:aws:elasticmapreduce:*:123456789012:cluster/clusterId",
"arn:aws:elasticmapreduce:*:123456789012:persistent-app-ui/*"
],
"Condition": {
"StringEqualsIfExists": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::123456789012:role/executionRoleArn"
]
}
},
"Sid": "AllowELASTICMAPREDUCEGetpersistentappuipresignedurl"
}
]
}
```
------
L'exemple suivant montre les autorisations de rôle requises pour supprimer les restrictions relatives à l'affichage des applications dans les interfaces utilisateur persistantes des applications pour les clusters dotés de rôles d'exécution.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:CreatePersistentAppUI",
"elasticmapreduce:DescribePersistentAppUI",
"elasticmapreduce:AccessAllEventLogs"
],
"Resource": [
"arn:aws:elasticmapreduce:us-east-1:123456789012:cluster/j-XXXXXXXXXXXXX"
],
"Sid": "AllowELASTICMAPREDUCECreatepersistentappui"
},
{
"Effect": "Allow",
"Action": [
"elasticmapreduce:GetPersistentAppUIPresignedURL"
],
"Resource": [
"arn:aws:elasticmapreduce:us-east-1:123456789012:cluster/j-XXXXXXXXXXXXX",
"arn:aws:elasticmapreduce:us-east-1:123456789012:persistent-app-ui/*"
],
"Condition": {
"StringEqualsIfExists": {
"elasticmapreduce:ExecutionRoleArn": [
"arn:aws:iam::123456789012:role/YourExecutionRoleName"
]
}
},
"Sid": "AllowELASTICMAPREDUCEGetpersistentappuipresignedurl"
}
]
}
```
------
## Considérations et restrictions
L'accès en un clic aux interfaces utilisateur d'application persistante présente actuellement les limitations suivantes :
+ Il y aura un délai d'au moins deux minutes lorsque les détails de l'application apparaîtront dans l'interface utilisateur du serveur d'historique Spark.
+ Cette fonction est opérationnelle uniquement lorsque le répertoire de journal d'événements pour l'application est dans le système de fichiers HDFS. Par défaut, Amazon EMR stocke les journaux d'événements dans un répertoire du système de fichiers HDFS. Si vous modifiez le répertoire par défaut en un système de fichiers différent, par exemple Amazon S3, cette fonctionnalité ne fonctionnera pas.
+ Cette fonction n'est actuellement pas disponible pour les clusters EMR avec plusieurs nœuds principaux ou pour les clusters EMR intégrés à AWS Lake Formation.
+ Pour permettre l'accès en un clic aux interfaces utilisateur persistantes des applications, vous devez avoir l'autorisation `DescribePersistentAppUI` et `CreatePersistentAppUI` les `GetPersistentAppUIPresignedURL` actions relatives à Amazon EMR. Si vous refusez à un directeur IAM l'autorisation d'effectuer ces actions, il faut environ cinq minutes pour que le changement d'autorisation se propage.
+ Si un cluster est un cluster activé par le rôle d'exécution, lorsqu'il accède au serveur d'historique Spark depuis l'interface utilisateur de l'application persistante, l'utilisateur ne pourra accéder à une tâche Spark que si la tâche Spark est soumise par un rôle d'exécution.
+ Si un cluster est un cluster activé par le rôle d'exécution, chaque utilisateur ne peut accéder qu'à une application soumise par la même identité d'utilisateur et le même rôle d'exécution.
+ L'`AccessAllEventLogs`action pour Amazon EMR est nécessaire pour afficher toutes les applications dans des interfaces utilisateur d'applications persistantes pour les clusters dotés de rôles d'exécution.
+ Si vous reconfigurez des applications dans un cluster en cours d'exécution, l'historique de l'application ne sera pas disponible via l'interface utilisateur de l'application.
+ Pour chaque application Compte AWS, la limite par défaut pour les applications actives UIs est de 200.
+ Dans ce qui suit Régions AWS, vous pouvez accéder à l'application UIs depuis la console avec Amazon EMR 6.14.0 ou version ultérieure :
+ Asie-Pacifique (Jakarta) (ap-southeast-3)
+ Europe (Espagne) (eu-south-2)
+ Asie-Pacifique (Melbourne) (ap-southeast-4)
+ Israël (Tel Aviv) (il-central-1)
+ Moyen-Orient (Émirats arabes unis) (me-central-1)
+ Dans ce qui suit Régions AWS, vous pouvez accéder à l'application UIs depuis la console avec Amazon EMR 5.25.0 ou version ultérieure :
+ USA Est (Virginie du Nord) (us-east-1)
+ USA Ouest (Oregon) (us-west-2)
+ Asie-Pacifique (Mumbai) (ap-south-1)
+ Asie-Pacifique (Séoul) (ap-northeast-2)
+ Asie-Pacifique (Singapour) (ap-southeast-1)
+ Asie-Pacifique (Sydney) (ap-southeast-2)
+ Asie-Pacifique (Tokyo) (ap-northeast-1)
+ Canada (Centre) (ca-central-1)
+ Amérique du Sud (São Paulo) (sa-east-1)
+ Europe (Francfort) (eu-central-1)
+ Europe (Irlande) (eu-west-1)
+ Europe (Londres) (eu-west-2)
+ Europe (Paris) (eu-west-3)
+ Europe (Stockholm) (eu-north-1)
+ Chine (Beijing) cn-north-1
+ Chine (Ningxia) cn-northwest-1
# Afficher un historique détaillé des applications dans Amazon EMR
**Note**
Pour une expérience utilisateur améliorée qui conserve l'historique pendant 30 jours maximum, nous vous recommandons d'utiliser l'interface de l'application persistante. L'historique détaillé des applications décrit sur cette page n'est pas disponible dans la nouvelle console Amazon EMR ([https://console.aws.amazon.com/emr](https://console.aws.amazon.com/emr)). Pour de plus amples informations, veuillez consulter [Afficher les interfaces utilisateur persistantes des applications dans Amazon EMR](app-history-spark-UI.md).
Avec les versions 5.8.0 à 5.36.0 d'Amazon EMR et les versions 6.x jusqu'à 6.8.0, vous pouvez consulter un historique détaillé des applications depuis l'onglet **Interfaces utilisateur des applications** de l'ancienne console Amazon EMR. L'**interface utilisateur des applications** Amazon EMR conserve le récapitulatif de l'historique des applications pendant 7 jours après leur finalisation.
## Considérations et restrictions
Tenez compte des limites suivantes lorsque vous utilisez l'onglet **Interfaces utilisateur d'application** dans l'ancienne console Amazon EMR.
+ Vous ne pouvez accéder à la fonctionnalité d'historique des applications de haut niveau que lorsque vous utilisez les versions 5.8.0 à 5.36.0 d'Amazon EMR et les versions 6.x jusqu'à 6.8.0. À compter du 23 janvier 2023, Amazon EMR mettra fin à l'historique détaillé des applications pour toutes les versions. Si vous utilisez Amazon EMR version 5.25.0 ou supérieure, nous vous recommandons d'utiliser plutôt l'interface utilisateur d'application persistante.
+ La fonctionnalité d'historique des applications de haut niveau ne prend pas en charge les applications Spark Streaming.
+ L'accès en un clic aux interfaces utilisateur d'application persistante n'est actuellement pas disponible pour les clusters Amazon EMR dotés de plusieurs nœuds principaux ou pour les clusters Amazon EMR intégrés à AWS Lake Formation.
## Exemple : Afficher un historique détaillé des applications
La séquence suivante illustre l'exploration des détails des tâches d'une application Spark ou YARN via l'onglet **Interfaces utilisateur des applications** sur la page de détails du cluster de l'ancienne console.
Pour afficher les détails d'un cluster, sélectionnez un **nom** de cluster dans la liste **Clusters**. Pour afficher des informations sur les journaux de conteneur YARN, vous devez activer la journalisation pour votre cluster. Pour plus d'informations, consultez [Configuration de la journalisation et du débogage de cluster](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html). Pour l'historique de l'application Spark, les informations fournies dans le tableau récapitulatif ne sont qu'un sous-ensemble des informations disponibles via l'interface utilisateur du serveur d'historique Spark.
Dans l'onglet **Interfaces utilisateur des applications**, sous **Historique des applications de haut niveau**, vous pouvez développer une ligne pour afficher le récapitulatif des diagnostics d'une application Spark ou sélectionner un lien d'**ID d'application** pour afficher les détails d'une autre application.
![\[Application user interfaces tab showing persistent and on-cluster UIs, with YARN application history.\]](http://docs.aws.amazon.com/fr_fr/emr/latest/ManagementGuide/images/app-history-app.png)
Lorsque vous sélectionnez un lien d'**ID d'application**, l'interface utilisateur change pour afficher les détails de **l'application YARN** pour cette application. Dans l'onglet **Tâches** des détails de **l'application YARN**, vous pouvez choisir le lien **Description** d'une tâche pour afficher les détails de cette tâche.
![\[YARN application details showing job history with completed Spark tasks and their statuses.\]](http://docs.aws.amazon.com/fr_fr/emr/latest/ManagementGuide/images/app-history-job-1.png)
Sur la page des détails de la tâche, vous pouvez développer des informations sur les différentes étapes de la tâche, puis sélectionner le lien **Description** pour voir les détails de l'étape.
![\[EMR cluster interface showing persistent and on-cluster application UIs, with job details and stages.\]](http://docs.aws.amazon.com/fr_fr/emr/latest/ManagementGuide/images/app-history-job-2.png)
Sur la page des détails de l'étape, vous pouvez consulter les indicateurs clés des tâches de l'étape et des exécuteurs. Vous pouvez également consulter les journaux des tâches et des exécuteurs à l'aide des liens **Afficher les journaux**.
![\[Application history page showing task metrics, executor details, and log access links for a Spark job.\]](http://docs.aws.amazon.com/fr_fr/emr/latest/ManagementGuide/images/app-history-job-3.png)