Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Journaux et métriques des pipelines d’inférence
La surveillance est importante pour garantir la fiabilité, la disponibilité et les performances des ressources Amazon SageMaker AI. Pour surveiller et résoudre les problèmes liés aux performances du pipeline d'inférence, utilisez les CloudWatch journaux et les messages d'erreur Amazon. Pour plus d'informations sur les outils de surveillance fournis par l' SageMaker IA, consultez[Contrôle AWS ressources dans Amazon SageMaker AI](monitoring-overview.md).
## Utiliser les métriques pour surveiller les Multi-container modèles
Pour surveiller les modèles à conteneurs multiples dans Inference Pipelines, utilisez Amazon. CloudWatch CloudWatchcollecte des données brutes et les transforme en indicateurs lisibles en temps quasi réel. SageMaker Les tâches de formation et les points de terminaison liés à l'IA écrivent CloudWatch des métriques et des journaux dans l'espace de `AWS/SageMaker` noms.
Les tableaux suivants répertorient les métriques et les dimensions pour les éléments suivants :
+ Appels de point de terminaison
+ Tâches d'entraînement, tâches de transformation par lots et instances de point de terminaison
Une *dimension* est une name/value paire qui identifie une métrique de manière unique. Vous pouvez associer jusqu'à 10 dimensions à une métrique. Pour plus d'informations sur la surveillance avec CloudWatch, voir[Métriques Amazon SageMaker AI sur Amazon CloudWatch](monitoring-cloudwatch.md).
**Endpoint Invocation Metrics (Métriques d'appel de point de terminaison)**
L'espace de noms `AWS/SageMaker` inclut les métriques de demandes suivantes depuis les appels vers [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_InvokeEndpoint.html) .
Les métriques sont présentées à des intervalles d'une minute.
| Métrique | Description |
| --- | --- |
| Invocation4XXErrors | Nombre de demandes `InvokeEndpoint` pour lesquelles le modèle a retourné un code de réponse HTTP `4xx`. Pour chaque `4xx` réponse, l' SageMaker IA envoie un`1`.
Unités : aucune
Statistiques valides : `Average`, `Sum` |
| Invocation5XXErrors | Nombre de demandes `InvokeEndpoint` pour lesquelles le modèle a retourné un code de réponse HTTP `5xx`. Pour chaque `5xx` réponse, l' SageMaker IA envoie un`1`.
Unités : aucune
Statistiques valides : `Average`, `Sum` |
| Invocations | Les requêtes `number of InvokeEndpoint` envoyées à un point de terminaison de modèle.
Pour obtenir le nombre total de demandes envoyées à un point de terminaison de modèle, utilisez la statistique `Sum`.
Unités : aucune
Statistiques valides : `Sum`, `Sample Count` |
| InvocationsPerInstance | Nombre d'appels de point de terminaison envoyés à un modèle, normalisé par `InstanceCount` in. `ProductionVariant` SageMaker L'IA envoie 1/ `numberOfInstances` comme valeur pour chaque demande, où `numberOfInstances` est le nombre d'instances actives pour le ProductionVariant au point de terminaison au moment de la demande.
Unités : aucune
Statistiques valides : `Sum` |
| ModelLatency | Temps qu'il a fallu au(x) modèle(s) pour répondre. Cela inclut le temps qu'il a fallu pour envoyer la demande, pour récupérer la réponse à partir du conteneur de modèles et pour terminer l'inférence dans le conteneur. ModelLatency est le temps total qu'il a fallu à tous les conteneurs dans un pipeline d'inférence.Unités : microsecondes
Statistiques valides : `Average`, `Sum`, `Min`, `Max`, Nombre d'échantillons |
| OverheadLatency | Le temps ajouté au temps nécessaire pour répondre à une demande d'un client par l' SageMaker IA concernant les frais généraux. `OverheadLatency`est mesuré à partir du moment où l' SageMaker IA reçoit la demande jusqu'à ce qu'elle renvoie une réponse au client, moins le`ModelLatency`. La latence de surcharge peut varier en fonction de différents facteurs, dont les tailles des données utiles de demande et de réponse, la fréquence des demandes, ainsi que l’authentification ou l’autorisation de la demande.
Unités : microsecondes
Statistiques valides : `Average`, `Sum`, `Min`, `Max`, `Sample Count` |
| ContainerLatency | Le temps qu'il a fallu à un conteneur Inference Pipelines pour répondre, vu par l' SageMaker IA. ContainerLatencyinclut le temps nécessaire pour envoyer la demande, récupérer la réponse dans le conteneur du modèle et terminer l'inférence dans le conteneur.Unités : microsecondes
Statistiques valides : `Average`, `Sum`, `Min`, `Max`, `Sample Count` |
**Dimensions for Endpoint Invocation Metrics (Dimensions des métriques d'appel de point de terminaison)**
| Dimension | Description |
| --- | --- |
| EndpointName, VariantName, ContainerName | Filtres des métriques d'appel de point de terminaison pour un objet `ProductionVariant` au point de terminaison spécifié et pour la variante spécifiée. |
Pour un point de terminaison de pipeline d'inférence, CloudWatch répertorie les mesures de latence par conteneur de votre compte sous forme de métriques de **conteneur de point de terminaison et de mesures** de **variantes de point de terminaison** dans l'espace de noms **SageMaker AI**, comme suit. La métrique `ContainerLatency` apparaît uniquement pour les pipelines d'inférence.
Pour chaque point de terminaison et chaque conteneur, les métriques de latence affichent les noms du conteneur, du point de terminaison, de la variante et de la métrique.
**Métriques de tâches d'entraînement, de tâches de transformation par lots et d'instances de point de terminaison**
Les espaces de noms `/aws/sagemaker/TrainingJobs`, `/aws/sagemaker/TransformJobs` et `/aws/sagemaker/Endpoints` incluent les métriques suivantes pour les tâches d'entraînement et les instances de point de terminaison.
Les métriques sont présentées à des intervalles d'une minute.
| Métrique | Description |
| --- | --- |
| CPUUtilization | Pourcentage d'unités UC utilisées par les conteneurs qui s'exécutent sur une instance. La valeur s’étend de 0 % à 100 % et elle est multipliée par le nombre de processeurs. Par exemple, s’il y a quatre processeurs, `CPUUtilization` peut varier de 0 % à 400 %.
Pour des tâches d'entraînement, `CPUUtilization` correspond à l'utilisation d'UC du conteneur d'algorithme en cours d'exécution sur l'instance.
Pour les tâches de transformation par lots, `CPUUtilization` correspond à l'utilisation d'UC du conteneur de transformation en cours d'exécution sur l'instance.
Pour les modèles à plusieurs conteneurs, `CPUUtilization` est la somme de l'utilisation d'UC de tous les conteneurs en cours d'exécution sur l'instance.
Pour les variantes de point de terminaison, `CPUUtilization` est la somme de l'utilisation d'UC de tous les conteneurs en cours d'exécution sur l'instance.
Unités : pourcentage |
| MemoryUtilization | Pourcentage de mémoire utilisée par les conteneurs en cours d'exécution sur une instance. Cette valeur est comprise entre 0 % et 100 %.
Pour les tâches d'entraînement, `MemoryUtilization` correspond à la mémoire utilisée par le conteneur d'algorithme en cours d'exécution sur l'instance.
Pour les tâches de transformation par lots, `MemoryUtilization` correspond à la mémoire utilisée par le conteneur de transformation en cours d'exécution sur l'instance.Pour les modèles à plusieurs conteneurs, MemoryUtilization est la somme de la mémoire utilisée par tous les conteneurs en cours d'exécution sur l'instance.
Pour les variantes de point de terminaison, `MemoryUtilization` est la somme de la mémoire utilisée par tous les conteneurs en cours d'exécution sur l'instance.
Unités : pourcentage |
| GPUUtilization | Pourcentage d'unités GPU qui sont utilisées par les conteneurs en cours d'exécution sur une instance. `GPUUtilization` s'étend de 0 % à 100 % et est multiplié par le nombre de processeurs graphiques. Par exemple, s'il y a quatre unités GPU, `GPUUtilization` peut varier de 0 % à 400 %.
Pour les tâches d'entraînement, `GPUUtilization` correspond à l'utilisation de processeur graphique par le conteneur d'algorithme qui s'exécute sur l'instance.
Pour les tâches de transformation par lots, `GPUUtilization` correspond à l'utilisation de processeur graphique par le conteneur de transformation en cours d'exécution sur l'instance.
Pour les modèles à plusieurs conteneurs, `GPUUtilization` est la somme de l'utilisation de processeur graphique par tous les conteneurs en cours d'exécution sur l'instance.
Pour les variantes de point de terminaison, `GPUUtilization` est la somme de l'utilisation de processeur graphique par tous les conteneurs en cours d'exécution sur l'instance.
Unités : pourcentage |
| GPUMemoryUtilization | Pourcentage de mémoire GPU utilisé par les conteneurs exécutés sur une instance. GPUMemoryUtilization varie de 0 % à 100 % et est multiplié par le nombre de GPU. Par exemple, s'il y a quatre unités GPU, `GPUMemoryUtilization` peut varier de 0 % à 400 %.
Pour les tâches d'entraînement, `GPUMemoryUtilization` correspond à la mémoire GPU utilisée par le conteneur d'algorithme en cours d'exécution sur l'instance.
Pour les tâches de transformation par lots, `GPUMemoryUtilization` correspond à la mémoire GPU utilisée par le conteneur de transformation en cours d'exécution sur l'instance.
Pour les modèles à plusieurs conteneurs, `GPUMemoryUtilization` est la somme de l'utilisation de processeur graphique par tous les conteneurs en cours d'exécution sur l'instance.
Pour les variantes de point de terminaison, `GPUMemoryUtilization` est la somme de la mémoire GPU utilisée par tous les conteneurs en cours d'exécution sur l'instance.
Unités : pourcentage |
| DiskUtilization | Pourcentage d'espace disque utilisé par les conteneurs exécutés sur une instance. DiskUtilization varie de 0 % à 100 %. Cette métrique n'est pas prise en charge pour les tâches de transformation par lots.
Pour les tâches d'entraînement, `DiskUtilization` correspond à l'espace disque utilisé par le conteneur d'algorithme en cours d'exécution sur l'instance.
Pour les variantes de point de terminaison, `DiskUtilization` est la somme de l'espace disque utilisé par tous les conteneurs fournis en cours d'exécution sur l'instance.
Unités : pourcentage |
**Dimensions des métriques de tâches d'entraînement, de tâches de transformation par lots et d'instances de point de terminaison**
| Dimension | Description |
| --- | --- |
| Host | Pour les tâches d'entraînement, `Host` a le format `[training-job-name]/algo-[instance-number-in-cluster]`. Utilisez cette dimension pour filtrer les métriques d'instance pour la tâche d'entraînement et l'instance spécifiées. Ce format de dimension est présent uniquement dans l'espace de noms `/aws/sagemaker/TrainingJobs`.
Pour les tâches de transformation par lots, `Host` a le format `[transform-job-name]/[instance-id]`. Utilisez cette dimension pour filtrer les métriques d'instance pour la tâche de transformation par lots et l'instance spécifiées. Ce format de dimension est présent uniquement dans l'espace de noms `/aws/sagemaker/TransformJobs`.
Pour les points de terminaison, `Host` a le format `[endpoint-name]/[ production-variant-name ]/[instance-id]`. Utilisez cette dimension pour filtrer les métriques d'instance pour le point de terminaison, la variante et l'instance spécifiés. Ce format de dimension est présent uniquement dans l'espace de noms `/aws/sagemaker/Endpoints`. |
Pour vous aider à déboguer vos tâches de formation, vos points de terminaison et les configurations du cycle de vie de vos instances de bloc-notes, l' SageMaker IA envoie également tout ce qu'un conteneur d'algorithmes, un conteneur de modèles ou une configuration du cycle de vie d'une instance de bloc-notes envoie à `stdout` ou vers `stderr` Amazon CloudWatch Logs. Vous pouvez utiliser ces informations pour le débogage et pour analyser la progression.
## Utilisation des journaux pour contrôler un pipeline d'inférence
Le tableau suivant répertorie les groupes de journaux et les flux de journaux qu' SageMaker AI envoie à Amazon. CloudWatch
Un *flux de journaux* est une séquence d'événements de journaux qui partagent la même source. Chaque source distincte de connexions CloudWatch constitue un flux de journaux distinct. Un *groupe de journaux* est un groupe de flux de journaux qui partagent les mêmes paramètres de conservation, de surveillance et de contrôle d’accès.
**Journaux**
- **`/aws/sagemaker/TrainingJobs`**
- `[training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp]`
- **`/aws/sagemaker/Endpoints/[EndpointName]`**
- `[production-variant-name]/[instance-id]`
- `[production-variant-name]/[instance-id]`
- `[production-variant-name]/[instance-id]/[container-name provided in the SageMaker AI model] (For Inference Pipelines)`Pour les journaux Inference Pipelines, si vous ne fournissez pas de noms de conteneurs, CloudWatch utilisez \*\*container-1, container-2\*\*, etc., dans l'ordre dans lequel les conteneurs sont fournis dans le modèle.
- **`/aws/sagemaker/NotebookInstances`**
- `[notebook-instance-name]/[LifecycleConfigHook]`
- **`/aws/sagemaker/TransformJobs`**
- `[transform-job-name]/[instance-id]-[epoch_timestamp]`
- `[transform-job-name]/[instance-id]-[epoch_timestamp]/data-log`
- `[transform-job-name]/[instance-id]-[epoch_timestamp]/[container-name provided in the SageMaker AI model] (For Inference Pipelines)`Pour les journaux Inference Pipelines, si vous ne fournissez pas de noms de conteneurs, CloudWatch utilisez \*\*container-1, container-2\*\*, etc., dans l'ordre dans lequel les conteneurs sont fournis dans le modèle.
**Note**
SageMaker L'IA crée le groupe de `/aws/sagemaker/NotebookInstances` journaux lorsque vous créez une instance de bloc-notes avec une configuration de cycle de vie. Pour de plus amples informations, veuillez consulter [Personnalisation d'une instance de SageMaker bloc-notes à l'aide d'un script LCC](notebook-lifecycle-config.md).
Pour plus d'informations sur la journalisation par SageMaker IA, consultez[CloudWatch Journaux pour Amazon SageMaker AI](logging-cloudwatch.md).