Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
So verwenden Sie ein Inferenzprofil beim Modellaufruf
Sie können anstelle eines Basismodells ein regionsübergreifendes Inferenzprofil verwenden, um Anforderungen an mehrere Regionen zu übermitteln. Sie können ein Anwendungsinferenzprofil verwenden, um Kosten und Nutzung eines Modells in einer oder mehreren Regionen nachzuverfolgen. Um zu erfahren, wie Sie ein Inferenzprofil bei der Ausführung von Modellinferenzen verwenden, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und gehen dann wie folgt vor:
- Console
-
Um ein Inferenzprofil mit einem Feature zu verwenden, das es unterstützt, gehen Sie wie folgt vor:
-
Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock
. -
Navigieren Sie zu der Seite für das Feature, für das Sie ein Inferenzprofil verwenden möchten. Wählen Sie beispielsweise im linken Navigationsbereich Chat /Text Playground aus.
-
Klicken Sie auf Modell auswählen und wählen Sie dann das Modell aus. Wählen Sie beispielsweise Amazon und dann Nova Premier aus.
-
Wählen Sie unter Inferenz die Option Inferenzprofile im Dropdownmenü aus.
-
Wählen Sie das zu verwendende Inferenzprofil aus (z. B. US Nova Premier) und klicken Sie dann auf Anwenden.
-
- API
-
Sie können ein Inferenzprofil verwenden, wenn Sie Inferenz aus einer beliebigen Region ausführen, die darin enthalten ist, und zwar mit den folgenden API-Operationen:
-
InvokeModeloder InvokeModelWithResponseStream— Um ein Inferenzprofil beim Modellaufruf zu verwenden, folgen Sie den Schritten unter Senden Sie eine einzelne Aufforderung mit InvokeModel und geben Sie den Amazon-Ressourcennamen (ARN) des Inferenzprofils in das Feld ein.
modelIdEin Beispiel finden Sie unter Verwenden eines Inferenzprofils beim Modellaufruf. -
Umgekehrt oder ConverseStream— Um ein Inferenzprofil beim Modellaufruf mit der Converse API zu verwenden, folgen Sie den Schritten unter Inferenz mithilfe der Converse-API und geben Sie den ARN des Inferenzprofils in das Feld ein.
modelIdEin Beispiel finden Sie unter Verwenden eines Inferenzprofils in einer Konversation. -
RetrieveAndGenerate – Um ein Inferenzprofil beim Generieren von Antworten aus den Ergebnissen der Abfrage einer Wissensdatenbank zu verwenden, folgen Sie den Schritten auf der Registerkarte API unter Testen Ihrer Wissensdatenbank mit Abfragen und Antworten und geben den ARN des Inferenzprofils im Feld
modelArnan. Weitere Informationen finden Sie unter Verwenden eines Inferenzprofils zum Generieren einer Antwort. -
CreateEvaluationJob— Um ein Inferenzprofil zur Modellevaluierung einzureichen, folgen Sie den Schritten auf der Registerkarte API unter Starten eines automatischen Auftrags zur Modellbewertung in Amazon Bedrock und geben Sie den ARN des Inferenzprofils in das
modelIdentifierFeld ein. -
CreatePrompt— Um ein Inferenzprofil beim Generieren einer Antwort für eine Aufforderung zu verwenden, die Sie in der Prompt-Verwaltung erstellen, folgen Sie den Schritten auf der Registerkarte API unter Erstellen eines Prompts mithilfe des Prompt-Managements und geben Sie den ARN des Inferenzprofils im
modelIdFeld an. -
CreateFlow— Um ein Inferenzprofil beim Generieren einer Antwort für eine Inline-Aufforderung zu verwenden, die Sie innerhalb eines Aufforderungsknotens in einem Flow definieren, folgen Sie den Schritten auf der Registerkarte API unter. Einen Flow in Amazon Bedrock erstellen und gestalten Geben Sie bei der Definition des Prompt-Knotens den ARN des Inferenzprofils im Feld
modelIdan. -
CreateDataSource— Um ein Inferenzprofil beim Parsen von nicht-textuellen Informationen in einer Datenquelle zu verwenden, folgen Sie den Schritten im API-Abschnitt unter Parsing-Optionen für Ihre Datenquelle und geben Sie den ARN des Inferenzprofils im Feld an.
modelArn
Anmerkung
Wenn Sie ein regionsübergreifendes (systemdefiniertes) Inferenzprofil verwenden, können Sie entweder den ARN oder die ID des Inferenzprofils verwenden.
-
