Menerapkan Model

Untuk menerapkan SageMaker Neo-compiled model Amazon ke titik akhir HTTPS, Anda harus mengonfigurasi dan membuat titik akhir untuk model menggunakan layanan hosting Amazon SageMaker AI. Saat ini, pengembang dapat menggunakan Amazon SageMaker API untuk menyebarkan modul ke instans ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2, dan ml.inf1.

Untuk instance Inferentia dan Trainium, model perlu dikompilasi secara khusus untuk instance tersebut. Model yang dikompilasi untuk jenis instance lain tidak dijamin berfungsi dengan instans Inferentia atau Trainium.

Saat menerapkan model yang dikompilasi, Anda perlu menggunakan instance yang sama untuk target yang Anda gunakan untuk kompilasi. Ini menciptakan titik akhir SageMaker AI yang dapat Anda gunakan untuk melakukan inferensi. Anda dapat menerapkan Neo-compiled model menggunakan salah satu dari berikut ini: Amazon SageMaker AI SDK untuk Python, SDK for Python(Boto3), dan konsol AI. AWS Command Line InterfaceSageMaker