Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Alarme und Protokolle zur Verfolgung von Metriken von asynchronen Endpunkten
<a name="async-inference-monitor"></a>

Sie können SageMaker AI mit Amazon CloudWatch überwachen, wobei Rohdaten erfasst und in lesbare, nahezu Echtzeit-Metriken verarbeitet werden. Mit Amazon CloudWatch können Sie auf historische Informationen zugreifen und sich einen besseren Überblick über die Leistung Ihrer Webanwendung oder Ihres Services verschaffen. Weitere Informationen zu Amazon CloudWatch finden Sie unter [Was ist Amazon CloudWatch?](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/WhatIsCloudWatch.html)

## Überwachung mit CloudWatch
<a name="async-inference-monitor-cloudwatch"></a>

Die folgenden Metriken sind eine vollständige Liste von Metriken für asynchrone Endpunkte und befinden sich im `AWS/SageMaker` Namespace. Jede Metrik, die unten nicht aufgeführt ist, wird nicht veröffentlicht, wenn der Endpunkt für asynchrone Inferenz aktiviert ist. Zu diesen Metriken gehören u. a.:
+ Overhead/Latenz
+ Aufrufe
+ InvocationsPerInstance

### Allgemeine Endpunktmetriken
<a name="async-inference-monitor-cloudwatch-common"></a>

Diese Metriken entsprechen den Metriken, die heute für Echtzeit-Endpunkte veröffentlicht wurden. Für weitere Informationen zu anderen Metriken in Amazon CloudWatch siehe [Überwachen von SageMaker AI mit Amazon CloudWatch](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html).


| Metrikname | Beschreibung | Einheit/Statistik | 
| --- | --- | --- | 
| `Invocation4XXErrors` | Die Anzahl der -Anforderungen, bei denen das Modell den HTTP-Antwortcode 4xx zurückgegeben hat. Für jede 4xx-Antwort wird der Wert 1 gesendet, andernfalls 0. | Einheiten: keineGültige Statistiken: Durchschnitt, Summe | 
| `Invocation5XXErrors` | Die Anzahl der InvokeEndpoint-Anforderungen, bei denen das Modell den HTTP-Antwortcode 5xx zurückgegeben hat. Für jede 5xx-Antwort wird der Wert 1 gesendet, andernfalls 0. | Einheiten: keineGültige Statistiken: Durchschnitt, Summe | 
| `ModelLatency` | Das Zeitintervall bis zur Reaktion eines Modells, von SageMaker AI aus gesehen. Dieses Intervall enthält die lokale Kommunikationszeitspanne für das Senden der Anforderung und Abrufen der Antwort vom Container eines Modells sowie die Zeitspanne für das Abschließen der Inferenz im Container. | Einheiten: Mikrosekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl | 

### Asynchrone Inferenz-Endpunkt-Metriken
<a name="async-inference-monitor-cloudwatch-async"></a>

Diese Metriken werden für Endpunkte veröffentlicht, für die asynchrone Inferenz aktiviert ist. Die folgenden Metriken werden mit einer `EndpointName`-Dimension veröffentlicht:


| Metrikname | Beschreibung | Einheit/Statistik | 
| --- | --- | --- | 
| `ApproximateBacklogSize` | Die Anzahl der Elemente in der Warteschlange für einen Endpunkt, die gerade verarbeitet werden oder noch verarbeitet werden müssen. | Einheiten: Anzahl Gültige Statistiken: Durchschnitt, Maximum und Minimum  | 
| `ApproximateBacklogSizePerInstance` | Anzahl der Elemente in der Warteschlange geteilt durch die Anzahl der Instances hinter einem Endpunkt. Diese Metrik wird hauptsächlich für die Einrichtung der automatischen Anwendungsskalierung für einen asynchronen Endpunkt verwendet. | Einheiten: AnzahlGültige Statistiken: Durchschnitt, Maximum und Minimum | 
| `ApproximateAgeOfOldestRequest` | Alter der ältesten Anfrage in der Warteschlange. | Einheiten: SekundenGültige Statistiken: Durchschnitt, Maximum und Minimum | 
| `HasBacklogWithoutCapacity` | Der Wert dieser Metrik ist `1`, wenn sich Anfragen in der Warteschlange befinden, aber keine Instances hinter dem Endpunkt liegen. Der Wert ist `0` zu allen anderen Zeiten. Sie können diese Metrik für die automatische Skalierung Ihres Endpunkts verwenden, wenn Sie eine neue Anfrage in der Warteschlange erhalten. | Einheiten: AnzahlGültige Statistiken: Durchschnitt | 

Die folgenden Metriken werden mit einer `EndpointName` und `VariantName`-Dimension veröffentlicht.


| Metrikname | Beschreibung | Einheit/Statistik | 
| --- | --- | --- | 
| `RequestDownloadFailures` | Wenn aufgrund eines Problems beim Herunterladen der Anfrage von Amazon S3 ein Inferenzfehler auftritt. | Einheiten: AnzahlGültige Statistiken: Summe | 
| `ResponseUploadFailures` | Wenn aufgrund eines Problems beim Hochladen der Antwort auf Amazon S3 ein Inferenzfehler auftritt. | Einheiten: AnzahlGültige Statistiken: Summe | 
| `NotificationFailures` | Wenn ein Problem beim Veröffentlichen von Benachrichtigungen auftritt. | Einheiten: AnzahlGültige Statistiken: Summe | 
| `RequestDownloadLatency` | Gesamtzeit für das Herunterladen der Anforderungsnutzlast. | Einheiten: MikrosekundenGültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl | 
| `ResponseUploadLatency` | Gesamtzeit für das Hochladen der Antwortnutzlast. | Einheiten: Mikrosekunden Gültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl | 
| `ExpiredRequests` | Anzahl der Anfragen in der Warteschlange, die aufgrund des Erreichens der angegebenen Anfrage-TTL fehlschlagen. | Einheiten: AnzahlGültige Statistiken: Summe | 
| `InvocationFailures` | Wenn ein Aufruf aus irgendeinem Grund fehlschlägt. | Einheiten: AnzahlGültige Statistiken: Summe | 
| `InvocationsProcesssed` | Anzahl der vom Endpunkt verarbeiteten asynchronen Aufrufe. | Einheiten: AnzahlGültige Statistiken: Summe | 
| `TimeInBacklog` | Gesamtzeit, in der die Anfrage vor der Verarbeitung in die Warteschlange gestellt wurde. Dies beinhaltet nicht die tatsächliche Verarbeitungszeit (d. h. Downloadzeit, Uploadzeit, Modelllatenz). | Einheiten: MillisekundenGültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl | 
| `TotalProcessingTime` | Uhrzeit, zu der die Inferenzanforderung von SageMaker AI empfangen wurde, bis zu dem Zeitpunkt, zu dem die Verarbeitung der Anfrage abgeschlossen wurde. Dies beinhaltet die Zeit im Backlog und die Zeit zum Hochladen und Senden von Antwortbenachrichtigungen, falls vorhanden. | Einheiten: MillisekundenGültige Statistiken: Durchschnitt, Minimum, Maximum, Stichprobenanzahl | 

Amazon SageMaker Asynchronous Inference umfasst auch Metriken auf Host-Ebene. Informationen zu Metriken auf Host-Ebene finden Sie unter [SageMaker-AI-Jobs und Endpunktmetriken](https://docs.aws.amazon.com/sagemaker/latest/dg/monitoring-cloudwatch.html#cloudwatch-metrics-jobs).

## Logs (Protokolle)
<a name="async-inference-monitor-logs"></a>

Zusätzlich zu den [Model-Container-Protokollen](https://docs.aws.amazon.com/sagemaker/latest/dg/logging-cloudwatch.html), die in Ihrem Konto in Amazon CloudWatch veröffentlicht werden, erhalten Sie auch ein neues Plattformprotokoll für die Verfolgung und das Debuggen von Inferenzanfragen.

Die neuen Protokolle werden unter der Endpoint Log Group veröffentlicht:

```
/aws/sagemaker/Endpoints/[EndpointName]
```

Der Name des Protokollstreams besteht aus: 

```
[production-variant-name]/[instance-id]/data-log.
```

Protokollzeilen enthalten die Inferenz-ID der Anfrage, sodass Fehler leicht einer bestimmten Anfrage zugeordnet werden können.