Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Amazon SageMaker AI meningkatkan metrik untuk titik akhir inferensi
Metrik yang disempurnakan menyediakan data pemantauan tingkat instans dan tingkat kontainer untuk titik akhir real-time Amazon AI. SageMaker Saat Anda mengaktifkan metrik yang disempurnakan, CloudWatch metrik Amazon dapat menyertakan `InstanceId``ContainerId`, dan `AcceleratorId` dimensi (ketersediaan bervariasi menurut namespace) untuk visibilitas granular per instance, per-container, dan per-GPU. Metrik yang disempurnakan tersedia untuk titik akhir model tunggal dan komponen inferensi. Multi-Container Endpoints (MCE) mendukung metrik yang ditingkatkan tingkat instans tetapi bukan metrik tingkat kontainer.
Karakteristik utama dari metrik yang ditingkatkan:
+ **Instance-level granularitas**. Metrik pemanfaatan dan pemanggilan mencakup `InstanceId` dimensi yang mengidentifikasi instance spesifik yang menghosting titik akhir. Ini tersedia untuk semua titik akhir real-time.
+ **Container-level granularitas**. Untuk titik akhir yang menggunakan komponen inferensi, metrik menyertakan `ContainerId` dimensi yang mengidentifikasi wadah tertentu yang menjalankan model. Container-level dimensi muncul di `AWS/SageMaker` namespace (metrik pemanggilan) dan `/aws/sagemaker/InferenceComponents` namespace (metrik pemanfaatan).
+ **Per-GPU granularitas**. Metrik pemanfaatan GPU mencakup `AcceleratorId` dimensi yang mengidentifikasi GPU tertentu pada sebuah instance.
+ **Frekuensi penerbitan yang dapat dikonfigurasi**. Anda dapat mengonfigurasi interval penerbitan metrik menjadi 10, 30, 60, 120, 180, 240, atau 300 detik. Bawaannya adalah 60 detik. Interval ini berlaku untuk metrik pemanfaatan terlepas dari apakah metrik yang ditingkatkan diaktifkan. Dengan metrik yang disempurnakan diaktifkan, ini juga berlaku untuk metrik pemanggilan.
## Mengaktifkan metrik yang disempurnakan
Anda mengaktifkan metrik yang disempurnakan dengan `EnableEnhancedMetrics` menyetel ke `True` dalam [MetricsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricsConfig.html)parameter saat Anda memanggil [CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html)API.
`MetricsConfig`Parameter memiliki bidang berikut:
**MetricsConfig parameter**
| Parameter | Tipe | Diperlukan | Default | Deskripsi |
| --- | --- | --- | --- | --- |
| EnableEnhancedMetrics | Boolean | Tidak | False | Mengaktifkan dimensi metrik tingkat instans dan tingkat kontainer. |
| MetricPublishFrequencyInSeconds | Bilangan Bulat | Tidak | 60 | Interval, dalam hitungan detik, di mana metrik diterbitkan ke Amazon CloudWatch. Default ke `60`. Nilai yang valid:`10`,`30`,`60`,`120`,`180`,`240`,`300`. Ketika `EnableEnhancedMetrics` diatur ke`False`, interval ini hanya berlaku untuk metrik pemanfaatan; metrik pemanggilan terus dipublikasikan pada interval default 60 detik. Saat disetel ke`True`, interval ini berlaku untuk metrik pemanfaatan dan pemanggilan. |
**catatan**
`MetricsConfig`diatur pada tingkat konfigurasi titik akhir. Anda tidak dapat mengonfigurasi pengaturan berbeda untuk komponen inferensi individual pada titik akhir yang sama.
Untuk mengaktifkan metrik yang disempurnakan pada titik akhir yang ada, buat konfigurasi titik akhir baru dengan `MetricsConfig` pengaturan yang diinginkan, lalu panggil [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)dengan nama konfigurasi titik akhir yang baru. Ini memicu penerapan blue/green atau bergulir. Metrik yang disempurnakan tidak muncul sampai penerapan selesai. Proses yang sama berlaku saat mengubah `MetricsConfig` pengaturan pada titik akhir yang sudah dikonfigurasi.
Saat Anda mengonfigurasi`MetricsConfig`, keduanya [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)dan [DescribeEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)kembali `MetricsConfig` dalam respons.
Saat Anda mengaktifkan metrik yang disempurnakan, SageMaker AI menambahkan dimensi tambahan ke metrik di tiga CloudWatch ruang nama: untuk metrik pemanfaatan, `/aws/sagemaker/Endpoints` untuk metrik pemanggilan, dan `AWS/SageMaker` untuk metrik pemanfaatan komponen inferensi. `/aws/sagemaker/InferenceComponents`
## Instance-level metrik pemanfaatan
`/aws/sagemaker/Endpoints`Namespace mencakup metrik pemanfaatan untuk semua titik akhir real-time, termasuk yang menggunakan komponen inferensi. Saat Anda mengaktifkan metrik yang disempurnakan, dimensi `InstanceId` dan `AcceleratorId` (hanya metrik GPU) tersedia bersama dimensi namespace yang ada. Untuk daftar lengkap metrik dan dimensi, lihat[SageMaker Metrik titik akhir AI](monitoring-cloudwatch.md#cloudwatch-metrics-endpoints).
Saat Anda mengaktifkan metrik yang disempurnakan, dimensi tambahan berikut tersedia:
**Dimensi tambahan untuk metrik pemanfaatan tingkat instans**
| Dimensi | Deskripsi |
| --- | --- |
| InstanceId | Filter metrik pemanfaatan untuk contoh tertentu. |
| AcceleratorId | (Hanya metrik GPU) Filter metrik pemanfaatan untuk GPU tertentu. |
## Metrik pemanggilan tingkat instans dan kontainer
`AWS/SageMaker`Namespace menyertakan metrik pemanggilan. Saat Anda mengaktifkan metrik yang disempurnakan, dimensi `InstanceId` dan `ContainerId` (hanya komponen inferensi) tersedia bersama dimensi namespace yang ada. Untuk daftar lengkap metrik dan dimensi, lihat[SageMaker Metrik pemanggilan titik akhir AI](monitoring-cloudwatch.md#cloudwatch-metrics-endpoint-invocation).
Saat Anda mengaktifkan metrik yang disempurnakan, dimensi tambahan berikut tersedia:
**Dimensi tambahan untuk metrik pemanggilan**
| Dimensi | Deskripsi |
| --- | --- |
| InstanceId | Memfilter metrik pemanggilan untuk instance tertentu. |
| ContainerId | (Hanya komponen inferensi) Memfilter metrik pemanggilan untuk wadah tertentu. |
## Container-level metrik pemanfaatan
`/aws/sagemaker/InferenceComponents`Namespace mencakup metrik pemanfaatan untuk titik akhir yang menggunakan komponen inferensi. Saat Anda mengaktifkan metrik yang disempurnakan`InstanceId`, dimensi`ContainerId`,, dan `AcceleratorId` (hanya metrik GPU) tersedia bersama dimensi namespace yang ada. Untuk daftar lengkap metrik dan dimensi, lihat[SageMaker Metrik komponen inferensi AI](monitoring-cloudwatch.md#cloudwatch-metrics-inference-component).
Saat Anda mengaktifkan metrik yang disempurnakan, dimensi tambahan berikut tersedia:
**Dimensi tambahan untuk metrik pemanfaatan tingkat kontainer**
| Dimensi | Deskripsi |
| --- | --- |
| InstanceId | Filter metrik pemanfaatan untuk contoh tertentu. |
| ContainerId | Filter metrik pemanfaatan untuk wadah tertentu. |
| AcceleratorId | (Hanya metrik GPU) Filter metrik pemanfaatan untuk GPU tertentu. |
## Frekuensi metrik yang dapat dikonfigurasi
Anda dapat mengonfigurasi interval di mana metrik dipublikasikan. CloudWatch Frekuensi default adalah 60 detik.
**Nilai yang valid:** 10, 30, 60, 120, 180, 240, atau 300 detik.
Ketika `EnableEnhancedMetrics` disetel ke`False`, frekuensi ini hanya berlaku untuk metrik pemanfaatan; metrik pemanggilan terus dipublikasikan pada interval default 60 detik. Ketika disetel ke`True`, frekuensi ini berlaku untuk metrik pemanfaatan dan pemanggilan.
**catatan**
Metrik yang diterbitkan pada interval kurang dari 60 detik (resolusi tinggi) dipertahankan selama 3 jam.
CloudWatch Harga standar berlaku per metrik per kombinasi dimensi unik. Metrik yang disempurnakan meningkatkan jumlah aliran metrik karena setiap instance, container, dan GPU menciptakan kombinasi dimensi tambahan. Untuk detail harga, lihat [ CloudWatch harga Amazon](https://aws.amazon.com/cloudwatch/pricing/).
## Contoh kode: konfigurasikan metrik yang disempurnakan
Contoh berikut menunjukkan cara membuat konfigurasi titik akhir dengan metrik yang disempurnakan diaktifkan dan cara memverifikasi konfigurasi.
### Buat konfigurasi titik akhir dengan metrik yang disempurnakan
------
#### [ AWS SDK for Python (Boto3) ]
**Example Buat konfigurasi titik akhir dengan metrik yang disempurnakan**
```
import boto3
sagemaker_client = boto3.client('sagemaker')
response = sagemaker_client.create_endpoint_config(
EndpointConfigName='{{my-enhanced-metrics-config}}',
ProductionVariants=[
{
'VariantName': '{{AllTraffic}}',
'ModelName': '{{my-model}}',
'InstanceType': '{{ml.m5.xlarge}}',
'InitialInstanceCount': {{2}},
}
],
MetricsConfig={
'EnableEnhancedMetrics': True,
'MetricPublishFrequencyInSeconds': {{60}}
}
)
```
------
#### [ AWS CLI ]
**Example Buat konfigurasi titik akhir dengan metrik yang disempurnakan**
```
aws sagemaker create-endpoint-config \
--endpoint-config-name {{my-enhanced-metrics-config}} \
--production-variants file://production-variants.json \
--metrics-config file://metrics-config.json
```
Di mana `metrics-config.json` berisi:
```
{
"EnableEnhancedMetrics": true,
"MetricPublishFrequencyInSeconds": {{60}}
}
```
------
### Verifikasi konfigurasi metrik yang disempurnakan
------
#### [ AWS SDK for Python (Boto3) ]
**Example Verifikasi konfigurasi metrik yang disempurnakan**
```
response = sagemaker_client.describe_endpoint_config(
EndpointConfigName='{{my-enhanced-metrics-config}}'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}
response = sagemaker_client.describe_endpoint(
EndpointName='{{my-endpoint}}'
)
print(response['MetricsConfig'])
```
------
#### [ AWS CLI ]
**Example Verifikasi konfigurasi metrik yang disempurnakan**
```
aws sagemaker describe-endpoint-config \
--endpoint-config-name {{my-enhanced-metrics-config}} \
--query 'MetricsConfig'
```
```
aws sagemaker describe-endpoint \
--endpoint-name {{my-endpoint}} \
--query 'MetricsConfig'
```
------