View a markdown version of this page

Bereitstellen eines Modells - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen eines Modells

Um ein SageMaker Neo-compiled Amazon-Modell auf einem HTTPS-Endpunkt bereitzustellen, müssen Sie den Endpunkt für das Modell mithilfe der Amazon SageMaker AI-Hosting-Services konfigurieren und erstellen. Derzeit können Entwickler SageMaker Amazon-APIs verwenden, um Module auf ml.c5-, ml.c4-, ml.m5-, ml.m4-, ml.p3-, ml.p2- und ml.inf1-Instances bereitzustellen.

Für Inferentia- und Trainium-Instances müssen die Modelle speziell für diese Instances kompiliert werden. Modelle, die für andere Instance-Typen kompiliert wurden, funktionieren nicht garantiert mit Inferentia- oder Trainium-Instances.

Wenn Sie ein kompiliertes Modell bereitstellen, müssen Sie für das Ziel die gleiche Instance verwenden, die Sie auch für die Kompilierung verwendet haben. Dadurch wird ein KI-Endpunkt erstellt, den Sie verwenden SageMaker können, um Schlussfolgerungen zu ziehen. Sie können ein Neo-compiled Modell mit einer der folgenden Optionen bereitstellen: Amazon SageMaker AI SDK für Python, SDK for Python (Boto3) und die SageMaker AI-Konsole. AWS Command Line Interface

Anmerkung

Informationen zur Bereitstellung eines Modells mithilfe AWS CLI der Konsole oder Boto3 finden Sie unter Neo Inference Container Images, um den Inferenz-Image-URI für Ihren primären Container auszuwählen.

Themen