Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Mesures améliorées d'Amazon SageMaker AI pour les points de terminaison d'inférence
Les métriques améliorées fournissent des données de surveillance au niveau de l'instance et au niveau du conteneur pour les points de terminaison en temps réel Amazon AI SageMaker . Lorsque vous activez les métriques améliorées, les CloudWatch métriques Amazon peuvent inclure `InstanceId``ContainerId`, et des `AcceleratorId` dimensions (la disponibilité varie en fonction de l'espace de noms) pour une visibilité granulaire par instance, par conteneur et par GPU. Des métriques améliorées sont disponibles pour les points de terminaison et les composants d'inférence à modèle unique. Multi-Container Les points de terminaison (MCE) prennent en charge les métriques améliorées au niveau de l'instance, mais pas les métriques au niveau du conteneur.
Principales caractéristiques des indicateurs améliorés :
+ **Instance-level granularité.** Les métriques d'utilisation et d'invocation incluent une `InstanceId` dimension qui identifie l'instance spécifique hébergeant le point de terminaison. Ceci est disponible pour tous les points de terminaison en temps réel.
+ **Container-level granularité.** Pour les points de terminaison qui utilisent des composants d'inférence, les métriques incluent une `ContainerId` dimension qui identifie le conteneur spécifique exécutant le modèle. Container-level les dimensions apparaissent à la fois dans l'espace de `AWS/SageMaker` noms (métriques d'appel) et dans l'espace de `/aws/sagemaker/InferenceComponents` noms (métriques d'utilisation).
+ **Per-GPU granularité.** Les métriques d'utilisation du GPU incluent une `AcceleratorId` dimension qui identifie le GPU spécifique d'une instance.
+ **Fréquence de publication configurable**. Vous pouvez configurer l'intervalle de publication des mesures sur 10, 30, 60, 120, 180, 240 ou 300 secondes. Le durée par défaut est de 60 secondes. Cet intervalle s'applique aux métriques d'utilisation, que les métriques améliorées soient activées ou non. Lorsque les métriques améliorées sont activées, cela s'applique également aux métriques d'invocation.
## Permettre des métriques améliorées
Pour activer les métriques améliorées, définissez `EnableEnhancedMetrics` `True` le [MetricsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricsConfig.html)paramètre sur lorsque vous appelez l'[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API.
Le `MetricsConfig` paramètre comporte les champs suivants :
**MetricsConfig paramètres**
| Paramètre | Type | Obligatoire | Par défaut | Description |
| --- | --- | --- | --- | --- |
| EnableEnhancedMetrics | Booléen | Non | False | Active les dimensions métriques au niveau de l'instance et au niveau du conteneur. |
| MetricPublishFrequencyInSeconds | Entier | Non | 60 | Intervalle, en secondes, auquel les métriques sont publiées sur Amazon CloudWatch. La valeur par défaut est `60` . Valeurs valides :`10`,`30`,`60`,`120`,`180`,`240`,`300`. Lorsqu'il `EnableEnhancedMetrics` est défini sur`False`, cet intervalle s'applique uniquement aux métriques d'utilisation ; les métriques d'invocation continuent d'être publiées à l'intervalle par défaut de 60 secondes. Lorsqu'il est défini sur`True`, cet intervalle s'applique à la fois aux mesures d'utilisation et d'appel. |
**Note**
`MetricsConfig`est défini au niveau de la configuration du point de terminaison. Vous ne pouvez pas configurer des paramètres différents pour des composants d'inférence individuels sur le même point de terminaison.
Pour activer des métriques améliorées sur un point de terminaison existant, créez une nouvelle configuration de point de terminaison avec les `MetricsConfig` paramètres souhaités, puis appelez [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)avec le nouveau nom de configuration de point de terminaison. Cela déclenche un blue/green ou plusieurs déploiements progressifs. Les métriques améliorées n'apparaissent pas tant que le déploiement n'est pas terminé. Le même processus s'applique lors de la modification des `MetricsConfig` paramètres d'un point de terminaison déjà configuré.
Lorsque vous configurez`MetricsConfig`, les deux [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)et [DescribeEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)`MetricsConfig`renvoyez la réponse.
Lorsque vous activez les métriques améliorées, l' SageMaker IA ajoute des dimensions supplémentaires aux métriques dans trois CloudWatch espaces de noms : `/aws/sagemaker/Endpoints` pour les métriques d'utilisation, pour les métriques d'invocation et `AWS/SageMaker` `/aws/sagemaker/InferenceComponents` pour les métriques d'utilisation des composants d'inférence.
## Instance-level métriques d'utilisation
L'espace de `/aws/sagemaker/Endpoints` noms inclut les métriques d'utilisation pour tous les points de terminaison en temps réel, y compris ceux qui utilisent des composants d'inférence. Lorsque vous activez les métriques améliorées, les dimensions `InstanceId` et `AcceleratorId` (métriques GPU uniquement) deviennent disponibles aux côtés des dimensions d'espace de noms existantes. Pour une liste complète des mesures et des dimensions, voir[SageMaker Mesures relatives aux terminaux de l'IA](monitoring-cloudwatch.md#cloudwatch-metrics-endpoints).
Lorsque vous activez les métriques améliorées, les dimensions supplémentaires suivantes sont disponibles :
**Dimensions supplémentaires pour les mesures d'utilisation au niveau de l'instance**
| Dimension | Description |
| --- | --- |
| InstanceId | Filtre les métriques d'utilisation pour une instance spécifique. |
| AcceleratorId | (Mesures du GPU uniquement) Filtre les métriques d'utilisation pour un GPU spécifique. |
## Métriques d'appel au niveau de l'instance et du conteneur
L'espace de `AWS/SageMaker` noms inclut des métriques d'invocation. Lorsque vous activez les métriques améliorées, les dimensions `InstanceId` et `ContainerId` (composants d'inférence uniquement) deviennent disponibles aux côtés des dimensions d'espace de noms existantes. Pour une liste complète des mesures et des dimensions, voir[SageMaker Métriques d'invocation des terminaux AI](monitoring-cloudwatch.md#cloudwatch-metrics-endpoint-invocation).
Lorsque vous activez les métriques améliorées, les dimensions supplémentaires suivantes sont disponibles :
**Dimensions supplémentaires pour les métriques d'invocation**
| Dimension | Description |
| --- | --- |
| InstanceId | Filtre les métriques d'appel pour une instance spécifique. |
| ContainerId | (Composants d'inférence uniquement) Filtre les métriques d'appel pour un conteneur spécifique. |
## Container-level métriques d'utilisation
L'espace de `/aws/sagemaker/InferenceComponents` noms inclut les métriques d'utilisation pour les points de terminaison qui utilisent des composants d'inférence. Lorsque vous activez les métriques améliorées, les dimensions `InstanceId``ContainerId`, et `AcceleratorId` (métriques GPU uniquement) sont disponibles aux côtés des dimensions d'espace de noms existantes. Pour une liste complète des mesures et des dimensions, voir[SageMaker Métriques des composants d'inférence de l'IA](monitoring-cloudwatch.md#cloudwatch-metrics-inference-component).
Lorsque vous activez les métriques améliorées, les dimensions supplémentaires suivantes sont disponibles :
**Dimensions supplémentaires pour les mesures d'utilisation au niveau du conteneur**
| Dimension | Description |
| --- | --- |
| InstanceId | Filtre les métriques d'utilisation pour une instance spécifique. |
| ContainerId | Filtre les métriques d'utilisation pour un conteneur spécifique. |
| AcceleratorId | (Mesures du GPU uniquement) Filtre les métriques d'utilisation pour un GPU spécifique. |
## Fréquence métrique configurable
Vous pouvez configurer l'intervalle auquel les métriques sont publiées CloudWatch. La fréquence par défaut est de 60 secondes.
**Valeurs valides :** 10, 30, 60, 120, 180, 240 ou 300 secondes.
Lorsqu'elle `EnableEnhancedMetrics` est définie sur`False`, cette fréquence s'applique uniquement aux métriques d'utilisation ; les métriques d'invocation continuent d'être publiées à l'intervalle par défaut de 60 secondes. Lorsqu'elle est définie sur`True`, cette fréquence s'applique à la fois aux métriques d'utilisation et d'invocation.
**Note**
Les métriques publiées à des intervalles inférieurs à 60 secondes (haute résolution) sont conservées pendant 3 heures.
La CloudWatch tarification standard s'applique par métrique et par combinaison de dimensions unique. Les métriques améliorées augmentent le nombre de flux de métriques car chaque instance, conteneur et GPU crée des combinaisons de dimensions supplémentaires. Pour plus de détails sur les prix, consultez [ CloudWatch les tarifs Amazon](https://aws.amazon.com/cloudwatch/pricing/).
## Exemples de code : configuration de métriques améliorées
Les exemples suivants montrent comment créer une configuration de point de terminaison avec des métriques améliorées activées et comment vérifier la configuration.
### Créez une configuration de point de terminaison avec des métriques améliorées
------
#### [ AWS SDK for Python (Boto3) ]
**Example Créez une configuration de point de terminaison avec des métriques améliorées**
```
import boto3
sagemaker_client = boto3.client('sagemaker')
response = sagemaker_client.create_endpoint_config(
EndpointConfigName='{{my-enhanced-metrics-config}}',
ProductionVariants=[
{
'VariantName': '{{AllTraffic}}',
'ModelName': '{{my-model}}',
'InstanceType': '{{ml.m5.xlarge}}',
'InitialInstanceCount': {{2}},
}
],
MetricsConfig={
'EnableEnhancedMetrics': True,
'MetricPublishFrequencyInSeconds': {{60}}
}
)
```
------
#### [ AWS CLI ]
**Example Créez une configuration de point de terminaison avec des métriques améliorées**
```
aws sagemaker create-endpoint-config \
--endpoint-config-name {{my-enhanced-metrics-config}} \
--production-variants file://production-variants.json \
--metrics-config file://metrics-config.json
```
Où `metrics-config.json` contient :
```
{
"EnableEnhancedMetrics": true,
"MetricPublishFrequencyInSeconds": {{60}}
}
```
------
### Vérifier la configuration améliorée des métriques
------
#### [ AWS SDK for Python (Boto3) ]
**Example Vérifier la configuration améliorée des métriques**
```
response = sagemaker_client.describe_endpoint_config(
EndpointConfigName='{{my-enhanced-metrics-config}}'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}
response = sagemaker_client.describe_endpoint(
EndpointName='{{my-endpoint}}'
)
print(response['MetricsConfig'])
```
------
#### [ AWS CLI ]
**Example Vérifier la configuration améliorée des métriques**
```
aws sagemaker describe-endpoint-config \
--endpoint-config-name {{my-enhanced-metrics-config}} \
--query 'MetricsConfig'
```
```
aws sagemaker describe-endpoint \
--endpoint-name {{my-endpoint}} \
--query 'MetricsConfig'
```
------