Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Amazon-Bedrock-Inferenz
Sobald Sie Ihr Amazon Nova-Modell trainiert und getestet haben, können Sie es auf Amazon Bedrock bereitstellen, um Inferenzen im Produktionsmaßstab zu erhalten. Der Bereitstellungsprozess umfasst die Erstellung eines Amazon Bedrock-Modells mit der CreateCustomModel API, den Export Ihrer Modellartefakte aus einem verwalteten Amazon S3 S3-Bucket in dieses Modell und die Konfiguration eines Endpunkts mit On-Demand-Inferenz oder bereitgestelltem Durchsatz, sobald das Modell AKTIV ist.
Nachdem Sie ein benutzerdefiniertes Modell erstellt haben SageMaker, können Sie es mithilfe der CreateCustomModel API vom SageMaker Treuhandkonto auf Amazon Bedrock bereitstellen, um die Inferenz auszuführen. Sie können es dann verwenden CreateCustomModelDeployment , um einen OD-Inferenzendpunkt zu erstellen oder eine bereitgestellte Durchsatzinferenz für ein PEFT-Modell (Parameter Efficient Fine Tuned) einzurichten. Sie können die bereitgestellte Durchsatzinferenz für ein benutzerdefiniertes Full-Rank-Modell einrichten.
Sie können auch das Amazon Nova Forge SDK verwenden, um maßgeschneiderte Amazon Nova-Modelle bereitzustellen. Das Amazon Nova Forge SDK bietet eine optimierte Erfahrung beim Extrahieren der relevanten Informationen aus einem Schulungsjob oder einem S3-Modell-Checkpoint und deren Veröffentlichung in Amazon Bedrock. Weitere Informationen finden Sie unter [Amazon Nova Forge SDK](nova-forge-sdk.md).
Ausführliche Schritte zur Einrichtung der Amazon Bedrock-Inferenz für ein benutzerdefiniertes Modell finden Sie unter [Bereitstellen von benutzerdefinierten Amazon Nova-Modellen in Amazon](deploy-custom-model.md) Bedrock.
Der folgende Abschnitt enthält weitere Informationen zur On-Demand-Inferenz für benutzerdefinierte Modelle.
# Ein benutzerdefiniertes Modell für On-Demand-Inferenz bereitstellen
Nachdem Sie erfolgreich ein benutzerdefiniertes Modell mit einem Modellanpassungsauftrag (Feinabstimmung, Destillation oder fortgesetztes Vortraining) erstellt haben, können Sie eine On-Demand-Inferenz für das Modell einrichten.
Um On-Demand-Inferenz für ein benutzerdefiniertes Modell einzurichten, stellen Sie das Modell mit einer benutzerdefinierten Modellbereitstellung bereit. Nachdem Sie Ihr benutzerdefiniertes Modell bereitgestellt haben, verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als `modelId`-Parameter in Ihren `InvokeModel`- oder `Converse`-API-Vorgängen. Sie können das bereitgestellte Modell für On-Demand-Inferenzen mit Amazon-Bedrock-Features wie Playgrounds, Agents und Wissensdatenbanken verwenden.
**Topics**
+ [
## Unterstützte Modelle
](#custom-model-inference-supported-models)
+ [
# Bereitstellen eines benutzerdefinierten Modells
](deploying-custom-model.md)
+ [
# Verwenden einer Bereitstellung für die On-Demand-Inferenz
](use-custom-model-on-demand.md)
+ [
# Eine benutzerdefinierte Modellbereitstellung löschen
](delete-custom-model-deployment.md)
## Unterstützte Modelle
Sie können On-Demand-Inferenz für die folgenden Modelle einrichten:
+ Amazon Nova Canvas
+ Amazon Nova Lite
+ Amazon Nova Micro
+ Amazon Nova Pro
# Bereitstellen eines benutzerdefinierten Modells
Sie können ein benutzerdefiniertes Modell mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs bereitstellen. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
**Topics**
+ [
## Bereitstellen eines benutzerdefinierten Modells (Konsole)
](#deploy-custom-model-console)
+ [
## Bereitstellen eines benutzerdefinierten Modells (AWS Command Line Interface)
](#deploy-custom-model-cli)
+ [
## Bereitstellen eines benutzerdefinierten Modells (AWS SDKs)
](#deploy-custom-model-sdk)
## Bereitstellen eines benutzerdefinierten Modells (Konsole)
Sie stellen ein benutzerdefiniertes Modell auf der Seite **Benutzerdefinierte Modelle** wie folgt bereit. Sie können ein Modell auch über die Seite **Benutzerdefiniertes On-Demand-Modell** mit denselben Feldern bereitstellen. Sie finden diese Seite, indem Sie im Navigationsbereich unter **Inferenz und Bewertung** die Option **Benutzerdefiniertes On-Demand-Modell** auswählen.
**So stellen Sie ein benutzerdefinierten Modell bereit**
1. Melden Sie sich bei der [Rolle AWS-Managementkonsole Using an IAM mit Amazon Bedrock-Berechtigungen](https://docs.aws.amazon.com//bedrock/latest/userguide/getting-started.html) an und öffnen Sie die Amazon Bedrock-Konsole unter. [https://console.aws.amazon.com/nova/](https://console.aws.amazon.com/nova/)
1. Wählen Sie im linken Navigationsbereich unter **Grundlagenmodelle** die Option **Benutzerdefinierte Modelle** aus.
1. Wählen Sie auf der Registerkarte **Modelle** das Optionsfeld für das Modell aus, das Sie bereitstellen möchten.
1. Wählen Sie **Inferenz einrichten** und anschließend **Auf Abruf bereitstellen** aus.
1. Geben Sie unter **Einzelheiten zur Bereitstellung** die folgenden Informationen an:
+ **Name der Bereitstellung** (erforderlich) – Geben Sie einen eindeutigen Namen für die Bereitstellung ein.
+ **Beschreibung** (optional) – Geben Sie eine Beschreibung der Bereitstellung ein.
+ **Tags** (optional) – Fügen Sie Tags für die Kostenzuordnung und das Ressourcenmanagement hinzu.
1. Wählen Sie **Erstellen** aus. Wenn der Status der Bereitstellung `Completed` lautet, ist das benutzerdefinierte Modell bereit für On-Demand-Inferenz. Weitere Informationen zur Verwendung des benutzerdefinierten Modells finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
## Bereitstellen eines benutzerdefinierten Modells (AWS Command Line Interface)
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen mithilfe von bereitzustellen AWS Command Line Interface, verwenden Sie den `create-custom-model-deployment` Befehl mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Dieser Befehl verwendet die [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Operation. Gibt den ARN der Bereitstellung zurück, den Sie als `modelId` bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
```
aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
{
"key": "Environment",
"value": "Production"
},
{
"key": "Team",
"value": "ML-Engineering"
},
{
"key": "Project",
"value": "CustomerSupport"
}
]' \
--client-request-token "unique-deployment-token" \
--region region
```
## Bereitstellen eines benutzerdefinierten Modells (AWS SDKs)
Um ein benutzerdefiniertes Modell für On-Demand-Inferenzen bereitzustellen, verwenden Sie den [CreateCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) Ihres benutzerdefinierten Modells. Die Antwort gibt den ARN der Bereitstellung zurück, den Sie als `modelId` bei Inferenzanfragen verwenden können. Informationen zur Verwendung der Bereitstellung für die Inferenz finden Sie unter [Verwenden einer Bereitstellung für die On-Demand-Inferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/use-custom-model-on-demand.html).
Der folgende Code zeigt, wie Sie das SDK für Python (Boto3) verwenden, um ein benutzerdefiniertes Modell bereitzustellen.
```
def create_custom_model_deployment(bedrock_client):
"""Create a custom model deployment
Args:
bedrock_client: A boto3 Bedrock client for making API calls
Returns:
str: The ARN of the created custom model deployment
Raises:
Exception: If there is an error creating the deployment
"""
try:
response = bedrock_client.create_custom_model_deployment(
modelDeploymentName="Unique deployment name",
modelArn="Custom Model ARN",
description="Deployment description",
tags=[
{'key': 'Environment', 'value': 'Production'},
{'key': 'Team', 'value': 'ML-Engineering'},
{'key': 'Project', 'value': 'CustomerSupport'}
],
clientRequestToken=f"deployment-{uuid.uuid4()}"
)
deployment_arn = response['customModelDeploymentArn']
print(f"Deployment created: {deployment_arn}")
return deployment_arn
except Exception as e:
print(f"Error creating deployment: {str(e)}")
raise
```
# Verwenden einer Bereitstellung für die On-Demand-Inferenz
Nachdem Sie Ihr benutzerdefiniertes Modell für On-Demand-Inferenz bereitgestellt haben, können Sie es verwenden, um Antworten zu generieren, indem Sie Inferenzanfragen stellen. Für `InvokeModel`- oder `Converse`-Vorgänge verwenden Sie den Amazon-Ressourcennamen (ARN) der Bereitstellung als `modelId`.
Informationen zum Anfordern von Inferenzen finden Sie in den folgenden Themen:
+ [Prompts senden und Antworten mit Modellinferenz generieren](https://docs.aws.amazon.com/bedrock/latest/userguide/inference.html)
+ [Voraussetzungen für die Ausführung der Modellinferenz](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-prereq.html)
+ [Mithilfe der API Prompts einreichen und Antworten generieren](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-api.html)
# Eine benutzerdefinierte Modellbereitstellung löschen
Wenn Sie Ihr Modell nicht mehr für On-Demand-Inferenz verwenden, können Sie die Bereitstellung löschen. Nachdem Sie die Bereitstellung gelöscht haben, können Sie sie nicht für On-Demand-Inferenz verwenden, dadurch wird das zugrunde liegende benutzerdefinierte Modell jedoch nicht gelöscht.
Sie können eine benutzerdefinierte Modellbereitstellung mit der Amazon Bedrock-Konsole, AWS Command Line Interface, oder AWS SDKs löschen.
**Wichtig**
Das Löschen einer Bereitstellung eines benutzerdefinierten Modells kann nicht rückgängig gemacht werden. Stellen Sie sicher, dass Sie die Bereitstellung nicht mehr benötigen, bevor Sie mit dem Löschen fortfahren. Wenn Sie das benutzerdefinierte Modell erneut für On-Demand-Inferenz verwenden müssen, müssen Sie eine neue Bereitstellung erstellen.
**Topics**
+ [
## Löschen einer benutzerdefinierten Modellbereitstellung (Konsole)
](#delete-deployment-console)
+ [
## Eine benutzerdefinierte Modellbereitstellung löschen (AWS Command Line Interface)
](#delete-deployment-cli)
+ [
## Löschen einer benutzerdefinierten Modellbereitstellung (AWS SDKs)
](#delete-deployment-sdk)
## Löschen einer benutzerdefinierten Modellbereitstellung (Konsole)
**So löschen Sie eine benutzerdefinierte Modellbereitstellung**
1. Wählen Sie im Navigationsbereich unter **Inferenz und Bewertung** die Option **Benutzerdefiniertes On-Demand-Modell** aus.
1. Wählen Sie die benutzerdefinierte Modellbereitstellung aus, die Sie löschen möchten.
1. Wählen Sie **Löschen** aus.
1. Geben Sie in das Bestätigungsfeld den Bereitstellungsnamen ein, um das Löschen zu bestätigen.
1. Wählen Sie zur Bestätigung **Delete**.
Der Bereitstellungsstatus ändert sich während des Löschvorgangs zu `Deleting`. Nach Abschluss wird die Bereitstellung aus der Liste entfernt.
## Eine benutzerdefinierte Modellbereitstellung löschen (AWS Command Line Interface)
Um eine benutzerdefinierte Modellbereitstellung mithilfe von zu löschen AWS Command Line Interface, verwenden Sie den `delete-custom-model-deployment` Befehl mit Ihrer Bereitstellungs-ID.
```
aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region
```
## Löschen einer benutzerdefinierten Modellbereitstellung (AWS SDKs)
Um eine benutzerdefinierte Modellbereitstellung programmgesteuert zu löschen, verwenden Sie den [DeleteCustomModelDeployment](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteCustomModelDeployment.html)API-Vorgang mit dem Amazon-Ressourcennamen (ARN) oder Namen der Bereitstellung. Der folgende Code zeigt, wie Sie das SDK for Python (Boto3) einsetzen, um eine benutzerdefinierte Modellbereitstellung zu löschen.
```
def delete_custom_model_deployment(bedrock_client):
"""Delete a custom model deployment
Args:
bedrock_client: A boto3 Bedrock client for making API calls
Returns:
dict: The response from the delete operation
Raises:
Exception: If there is an error deleting the deployment
"""
try:
response = bedrock_client.delete_custom_model_deployment(
customModelDeploymentIdentifier="Deployment identifier"
)
print(f"Deployment deletion initiated")
return response
except Exception as e:
print(f"Error deleting deployment: {str(e)}")
raise
```
## On-Demand-Inferenz für benutzerdefinierte Modelle
On-Demand-Inferenz (OD) ermöglicht es Ihnen, Inferenzen für Ihre benutzerdefinierten Amazon-Nova-Modelle auszuführen, ohne die bereitgestellten Durchsatzendpunkte aufrechtzuerhalten. Dies unterstützt Sie bei der Kostenoptimierung und ermöglicht eine effiziente Skalierung. Bei der On-Demand-Inferenz werden Ihnen die Kosten auf Basis der Nutzung berechnet, gemessen in Token, sowohl für eingehende als auch für ausgehende Daten.
### Kompatibilitätsanforderungen
Es gelten die folgenden Kompatibilitätsanforderungen:
+ Die OD-Inferenz wird für Amazon Nova Pro, Lite und Micro Custom Understanding Modelle unterstützt. OD-Inferenz wird für Nova-Modelle zur benutzerdefinierten Inhaltsgenerierung nicht unterstützt.
+ OD-Inferenz wird für benutzerdefinierte Understanding-Modelle von Amazon Nova unterstützt, die nach dem 16. Juli 2025 trainiert wurden. Benutzerdefinierte Modelle, die vor dem 16. Juli 2025 trainiert wurden, sind nicht mit OD-Inferenz kompatibel.
+ Amazon-Bedrock-Anpassung: OD-Inferenz wird für Modelle unterstützt, die mit Amazon Bedrock angepasst wurden, sowie für Schülermodelle, die mit Amazon Bedrock aus einem Lehrermodell destilliert wurden.
+ SageMaker KI-Anpassung: Für in SageMaker KI angepasste Modelle wird die OD-Inferenz nur für Parameter-Efficient Fine-Tuned (PEFT) -Modelle unterstützt, wenn das Modell auf Amazon Bedrock gehostet wird. Dazu gehören Direkte Präferenzoptimierung und PEFT. Die OD-Inferenz wird für Full-Rank-optimierte Modelle nicht unterstützt.
### Modelltraining und Inferenz
Wenn Sie nach dem 16. Juli 2025 ein neues benutzerdefiniertes Amazon Nova Pro-, Lite- oder Micro-Modell auf Amazon Bedrock oder SageMaker AI mit PEFT trainieren, ist das Modell automatisch sowohl mit bereitgestellten als auch mit On-Demand-Inferenzoptionen kompatibel. Sie können bei der Bereitstellung Ihres Modells Ihre bevorzugte Inferenzmethode auswählen.
Um die OD-Inferenz mit einem nach dem 16. Juli 2025 trainierten Modell zu verwenden, führen Sie bitte die folgenden Schritte aus:
1. Erstellen Sie einen neuen Feinabstimmungsauftrag entweder mit der [Amazon Bedrock Customization API](https://docs.aws.amazon.com/nova/latest/userguide/customize-fine-tune-bedrock.html) oder der [SageMaker AI Customization](https://docs.aws.amazon.com/nova/latest/userguide/custom-fine-tune-models-sagemaker-tj.html) API.
1. Stellen Sie das neu trainierte Modell mithilfe der [CreateCustomModel API](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateCustomModel.html) auf Amazon Bedrock bereit.
1. Stellen Sie es mithilfe der API für On-Demand-Inferenzen bereit. CustomModelDeployment
### Ratenbegrenzungen
Die folgenden Begrenzungen für Anfragen pro Minute (RPM) und Token pro Minute (TPM) gelten für On-Demand-Inferenzanfragen:
| Basismodell für benutzerdefiniertes Modell | Bereitstellung pro Minute pro benutzerdefiniertem Modell | TPM pro Bereitstellung eines benutzerdefinierten Modells |
| --- |--- |--- |
| Nova 2 Lite | 2.000 | 4.000.000 |
Weitere Informationen zu den für Amazon Nova verfügbaren Kontingenten finden Sie unter [Kontingente für Amazon Nova](quotas.md).
### Latenz
Sie können mit einem end-to-end Latenzunterschied (d. h. Time To First Token (TTFT)) von 20-55% zwischen dem Aufruf des Basismodells und dem Adapter rechnen. Der genaue Latenzwert variiert je nach Modellgröße und entspricht den Branchenstandards.