So reichen Sie mithilfe der API Prompts ein und generieren Antworten - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So reichen Sie mithilfe der API Prompts ein und generieren Antworten

Amazon Bedrock bietet die folgenden API-Operationen für die Ausführung von Modellinferenzen:

  • InvokeModel— Senden Sie eine Aufforderung und generieren Sie eine Antwort. Der Anfragetext ist modellspezifisch. Um Streaming-Antworten zu generieren, verwenden Sie InvokeModelWithResponseStream.

  • Converse – Sie senden einen Prompt und generieren Antworten mit einer für alle Modelle einheitlichen Struktur. Modellspezifische Anforderungsfelder können im Feld additionalModelRequestFields angegeben werden. Sie können auch System-Prompts und frühere Konversationen als Kontext einbeziehen. Um Streaming-Antworten zu generieren, verwenden Sie ConverseStream.

  • StartAsyncInvoke— Senden Sie eine Aufforderung und generieren Sie asynchron eine Antwort, die später abgerufen werden kann. Wird zum Generieren von Videos verwendet.

  • InvokeModelWithBidirectionalStream –

  • OpenAI-API für Chat-Abschlüsse – Verwenden Sie die OpenAI-Chat-Completions-API mit Modellen, die von Amazon Bedrock unterstützt werden, um eine Antwort zu generieren.

Anmerkung

Einschränkungen gelten für die folgenden Operationen:InvokeModel, InvokeModelWithResponseStreamConverse, undConverseStream. Einzelheiten finden Sie unter API-Einschränkungen.

Für die Modellinferenz müssen Sie die folgenden Parameter bestimmen:

  • Modell-ID – Die ID oder der Amazon-Ressourcenname (ARN) des Modells oder Inferenzprofils zur Verwendung im modelId-Inferenzfeld. In der folgenden Tabelle wird beschrieben, wie Sie IDs nach verschiedenen Ressourcentypen suchen können:

    Modelltyp Description ID in der Konsole finden ID in der API finden Relevante Dokumentation
    Basismodell Ein Basismodell eines Anbieters. Wählen Sie im linken Navigationsbereich die Option Basismodelle aus, suchen Sie nach einem Modell und suchen Sie nach der Modell-ID. Senden Sie eine GetFoundationModelListFoundationModelsOder-Anfrage und finden Sie sie modelId in der Antwort. Eine Liste von finden Sie IDs unterUnterstützte Basismodelle in Amazon Bedrock.
    Inferenzprofil Erhöht den Durchsatz, indem der Aufruf eines Modells in mehreren Regionen ermöglicht wird. Wählen Sie im linken Navigationsbereich die Option Regionsübergreifende Inferenz aus und suchen Sie nach einer Inferenzprofil-ID. Senden Sie eine GetInferenceProfileListInferenceProfilesOder-Anfrage und finden Sie sie inferenceProfileId in der Antwort. Eine Liste von finden Sie IDs unterUnterstützte Regionen und Modelle für Inferenzprofile.
    Prompt Ein Prompt, der mithilfe des Prompt-Managements konstruiert wurde. Wählen Sie im linken Navigationsbereich die Option Prompt-Management aus, wählen Sie dann im Bereich Prompts einen Prompt aus und suchen Sie nach dem Prompt-ARN. Senden Sie eine GetPromptListPromptsOder-Anfrage und finden Sie sie promptArn in der Antwort. Informationen zum Erstellen eines Prompts im Prompt-Management finden Sie unter Erstellen und Speichern wiederverwendbarer Prompts mit dem Prompt-Management in Amazon Bedrock.
    Bereitgestellter Durchsatz Bietet einen höheren Durchsatz für ein Modell zu festen Kosten. Wählen Sie im linken Navigationsbereich Bereitgestellter Durchsatz aus, wählen Sie einen bereitgestellten Durchsatz aus und suchen Sie nach dem ARN. Senden Sie eine GetProvisionedModelThroughputListProvisionedModelThroughputsOder-Anfrage und finden Sie sie provisionedModelArn in der Antwort. Hier erfahren Sie, wie Sie einen bereitgestellten Durchsatz für ein Modell unter Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock erwerben können.
    Benutzerdefiniertes Modell Ein Modell, dessen Parameter basierend auf Trainingsdaten von einem Basismodell angepasst wurden. Nachdem Sie einen bereitgestellten Durchsatz für ein benutzerdefiniertes Modell erworben haben, folgen Sie den Schritten, um die ID für den bereitgestellten Durchsatz zu finden. Nachdem Sie einen bereitgestellten Durchsatz für ein benutzerdefiniertes Modell erworben haben, folgen Sie den Schritten, um die ID für den bereitgestellten Durchsatz zu finden. Erfahren Sie, wie Sie ein Modell bei Anpassen des Modells für eine bessere Leistung im jeweiligen Anwendungsfall anpassen können. Nach der Anpassung müssen Sie einen bereitgestellten Durchsatz dafür erwerben und die ID des bereitgestellten Durchsatzes verwenden.

  • Anforderungstext – Enthält die Inferenzparameter für ein Modell und andere Konfigurationen. Jedes Modell hat seine eigenen Inferenzparameter. Die Inferenzparameter für ein benutzerdefiniertes oder bereitgestelltes Modell hängen vom Basismodell ab, auf deren Basis sie erstellt wurden. Weitere Informationen finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Basismodelle.

Wählen Sie ein Thema aus, um zu erfahren, wie Sie den Modellaufruf APIs verwenden.

Themen