View a markdown version of this page

Bereitstellen eines Modells - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bereitstellen eines Modells

Nachdem Sie ein Modell abonniert haben, stellen Sie es auf einem SageMaker KI-Endpunkt bereit. Sie senden Inferenzrufe an den Endpunkt. Das Modell wird von SageMaker KI gehostet. Während der Bereitstellung müssen Sie folgende Informationen angeben:

  • Der Name des SageMaker KI-Endpunkts

  • Die Anzahl der Instances, die Inferenzrufe an den Endpunkt entgegennehmen

  • Der Instance-Typ des Endpunkts

Sie können auch optionale erweiterte Optionen wie Tags konfigurieren.

Es wird automatisch eine SageMaker KI-Servicerolle erstellt, damit SageMaker KI in Ihrem Namen Aktionen übernimmt und ausführt. Weitere Informationen zu Amazon SageMaker AI-Berechtigungen finden Sie unter So verwenden Sie SageMaker KI-Ausführungsrollen.

Sie können eine vorhandene Rolle auswählen oder eine neue erstellen. Um zu erfahren, wie Sie ein Modell für Amazon Bedrock Marketplace bereitstellen, wählen Sie die Registerkarte, die Ihrer bevorzugten Methode entspricht, und befolgen Sie die aufgeführten Schritte.

So stellen Sie ein Modell bereit

  1. Melden Sie sich bei der Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen an.

  2. Geben Sie in der Suchleiste „Amazon Bedrock“ ein und wählen Sie aus der Dropdown-Liste den Eintrag Amazon Bedrock aus.

  3. Wählen Sie im Navigationsbereich Modellkatalog aus.

  4. Wählen Sie die Modellkarte für das Modell aus, das Sie bereitstellen.

  5. Wählen Sie Bereitstellen.

  6. Geben Sie unter Endpunktname den Namen des Endpunkts an.

  7. Wählen Sie die Anzahl der Instances sowie einen Instance-Typ aus.

  8. Unter Erweiterte Einstellungen haben Sie folgende Optionen:

    1. Einrichten Ihrer VPC

    2. Konfigurieren der Servicezugriffsrolle

    3. Anpassen der Verschlüsselungseinstellungen

    4. Hinzufügen von Tags

  9. Wählen Sie Deploy, um Ihr Amazon Bedrock Marketplace-Modell auf einem SageMaker KI-Endpunkt bereitzustellen. Dieser Vorgang dauert in der Regel 10 bis 15 Minuten.

Verwenden Sie zum Erstellen eines Endpunkts die CreateMarketplaceModelEndpoint-Operation. Einige Modelle verfügen über eine Endbenutzer-Lizenzvereinbarung (EULA). Um die EULA zu akzeptieren, setzen Sie den Wert für AcceptEula auf True.

Im folgenden Beispiel wird ein AWS Command Line Interface Beispielbefehl verwendet, um einen Endpunkt zu erstellen:

aws bedrock create-marketplace-model-endpoint --model-source-identifier HubContentArn --endpoint-config "{\"sageMaker\":{\"initialInstanceCount\":1,\"instanceType\":\"ml.g5.xlarge\",\"executionRole\":\"arn:aws:iam::111122223333:role/example-IAM-role\"}}" --endpoint-name "example-endpoint-name"
Anmerkung

Die Antworten für die Operationen CreateMarketplaceModelEndpoint, UpdateMarketplaceModelEndpoint und RegisterMarketplaceModelEndpoint sind identisch.

{"marketplaceModelEndpoint":{"createdAt":"2024-11-12T02:31:58.201474085Z","endpoint":{"sageMaker":{"executionRole":"arn:aws:iam::111122223333:role/service-role/amazon-sagemaker-execution-role","initialInstanceCount":1,"instanceType":"ml.g5.2xlarge","kmsEncryptionKey":null,"vpc":null}},"endpointArn":"arn:aws:sagemaker:region:555555555555:endpoint/example-endpoint-name","endpointStatus":"Creating","endpointStatusMessage":"","modelSourceIdentifier":"arn:aws:sagemaker:region:aws:hub-content/SageMakerPublicHub/Model/example-model-name/1.2.2","status":"ACTIVE","statusMessage":"","updatedAt":"2024-11-12T02:31:58.201474085Z"}}

Sie können den Endpunkt sowohl in Amazon Bedrock Marketplace als auch in Amazon SageMaker AI ändern. Wir empfehlen, den Endpunkt nur in Amazon Bedrock zu ändern. Wenn Sie den Endpunkt in SageMaker AI ändern, können Sie den Endpunkt möglicherweise nicht in Amazon Bedrock verwenden. Die folgenden Änderungen können dazu führen, dass der Endpunkt in Amazon Bedrock ausfällt:

Damit der Endpunkt funktionsfähig ist, muss er registriert und in Betrieb sein. Sie können den folgenden AWS Command Line Interface Befehl verwenden, um den Status des Endpunkts zu überprüfen.


aws bedrock get-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name

Der Endpunkt muss den folgenden Status aufweisen, damit Sie ihn mit Amazon Bedrock verwenden können:


endpointStatus: InService
status: REGISTERED

Wenn Sie eine Änderung vorgenommen haben, die zum Ausfall des Endpunkts geführt hat, können Sie den Endpunkt abmelden und erneut registrieren. Mit der Operation DeregisterEndpoint melden Sie den Endpunkt ab. Mit der Operation RegisterEndpoint registrieren Sie ihn erneut.


aws bedrock deregister-marketplace-model-endpoint --endpoint-arn arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name
    

aws bedrock register-marketplace-model-endpoint --endpoint-identifier arn:aws:sagemaker:region:111122223333:endpoint/example-endpoint-name --model-source-identifier
         HubContentArn