View a markdown version of this page

Inferenz mithilfe der Responses API - Amazon Bedrock
Unterstützte Regionen und EndpunkteVoraussetzungenModelle-APIAntworten-API

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Inferenz mithilfe der Responses API

Amazon Bedrock stellt die OpenAI Responses API über den bedrock-mantle Endpunkt bereit, unterstützt von Mantle, einer verteilten Inferenz-Engine für die Bereitstellung von Modellen im großen Maßstab für maschinelles Lernen. Dieser Endpunkt ermöglicht es Ihnen, vertraute OpenAI SDKs und Tools mit Amazon Bedrock-Modellen zu verwenden, sodass Sie bestehende Anwendungen mit minimalen Codeänderungen migrieren können — aktualisieren Sie einfach Ihre Basis-URL und Ihren API-Schlüssel.

Wichtig

Wenn Sie das OpenAI SDK mit Amazon Bedrock verwenden, müssen Sie es auf den Amazon Bedrock-Endpunkt verweisen, nicht auf den OpenAI Endpunkt. Legen Sie die folgenden Umgebungsvariablen fest:

OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"
OPENAI_API_KEY="<your Bedrock API key>"

Verwenden Sie nicht Ihren OpenAI API-Schlüssel oder die OpenAI Basis-URL (https://api.openai.com/v1). Diese stellen eine OpenAI direkte Verbindung zu Amazon Bedrock her, nicht zu Amazon Bedrock. Informationen zum Erstellen eines Amazon Bedrock API-Schlüssels finden Sie unterAPI-Schlüssel.

Zu den wichtigsten Vorteilen gehören:

  • Asynchrone Inferenz — Support für Inferenz-Workloads mit langer Laufzeit über die Responses API

  • Statusorientiertes Konversationsmanagement — Der Kontext wird automatisch neu erstellt, ohne den Konversationsverlauf bei jeder Anfrage manuell weiterzugeben

  • Vereinfachter Einsatz von Tools — Optimierte Integration für behördliche Arbeitsabläufe

  • Flexible Antwortmodi — Support für Streaming- und Nicht-Streaming-Antworten

  • Einfache Migration — Kompatibel mit bestehenden OpenAI SDK-Codebasen

Unterstützte Regionen und Endpunkte

Der bedrock-mantle Endpunkt ist in den folgenden AWS Regionen verfügbar:

Name der Region Region Endpoint
USA Ost (Ohio) us-east-2 bedrock-mantle.us-east-2.api.aws
USA Ost (Nord-Virginia) us-east-1 bedrock-mantle.us-east-1.api.aws
USA West (Oregon) us-west-2 bedrock-mantle.us-west-2.api.aws
Asien-Pazifik (Jakarta) ap-southeast-3 bedrock-mantle.ap-southeast-3.api.aws
Asien-Pazifik (Mumbai) ap-south-1 grundsteinmantel.ap-south-1.api.aws
Asien-Pazifik (Sydney) ap-southeast-2 bedrock-mantle.ap-southeast-2.api.aws
Asien-Pazifik (Tokio) ap-northeast-1 grundsteinmantel.ap-northeast-1.api.aws
Europa (Frankfurt) eu-central-1 bedrock-mantle.eu-central-1.api.aws
Europa (Irland) eu-west-1 bedrock-mantle.eu-west-1.api.aws
Europa (London) eu-west-2 bedrock-mantle.eu-west-2.api.aws
Europa (Milan) eu-south-1 bedrock-mantle.eu-sued-1.api.aws
Europa (Stockholm) eu-north-1 bedrock-mantle.eu-nord-1.api.aws
Südamerika (São Paulo) sa-east-1 bedrock-mantle.sa-east-1.api.aws

Voraussetzungen

Bevor Sie APIs verwenden, stellen Sie sicher, dass Sie über Folgendes verfügen: OpenAI

  • Authentifizierung — Sie können sich authentifizieren mit:

    • Amazon Bedrock API-Schlüssel (für OpenAI SDK erforderlich)

    • AWS Anmeldeinformationen (unterstützt für HTTP-Anfragen)

  • OpenAISDK (optional) — Installieren Sie das OpenAI Python-SDK, wenn Sie SDK-based Anfragen verwenden.

  • Umgebungsvariablen — Legen Sie die folgenden Umgebungsvariablen fest:

    • OPENAI_API_KEY— Stellen Sie Ihren Amazon Bedrock API-Schlüssel ein

    • OPENAI_BASE_URL— Stellen Sie den Amazon Bedrock-Endpunkt für Ihre Region ein (z. B. https://bedrock-mantle.us-east-1.api.aws/v1)

Modelle-API

Die Models-API ermöglicht es Ihnen, verfügbare Modelle in Amazon Bedrock powered by Mantle zu entdecken. Verwenden Sie diese API, um eine Liste von Modellen abzurufen, die Sie mit der Responses API verwenden können. Vollständige API-Details finden Sie in der OpenAIModelldokumentation.

Verfügbare Modelle auflisten

Um die verfügbaren Modelle aufzulisten, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Stellen Sie eine GET-Anfrage an/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

Antworten-API

Die Responses API bietet zustandsorientiertes Konversationsmanagement mit Unterstützung für Streaming, Hintergrundverarbeitung und Multi-Turn-Interaktionen. Vollständige API-Details finden Sie in der OpenAIResponse-Dokumentation.

Anmerkung

Nicht alle Modelle unterstützen die Responses API. Informationen darüber, welche Modelle die Responses API unterstützen, finden Sie unterAPI-Kompatibilität.

Wie die Responses API den Konversationsstatus speichert

Die Responses API kann den gespeicherten Status verwenden, um Multi-Turn-Konversationen zu ermöglichen und es Ihnen zu ermöglichen, über den previous_response_id Parameter auf vorherige Runden zu verweisen. Der Speicher ist standardmäßig aktiviert, kann aber pro Anfrage über den store Parameter deaktiviert werden. Gespeicherte Antworten werden vom Projekt abgegrenzt. Eine Antwort aus einem Projekt kann nicht als vorherige Antwort verwendet oder in einem zweiten Projekt gelesen werden. Weitere Informationen zu Projekten finden Sie unterProjekte (OpenAI-compatible).

  • Wenn store dies der Fall ist true (Standardeinstellung), speichert Amazon Bedrock die Antwort, einschließlich der Eingabe und Ausgabe, 30 Tage lang in der Quellregion der Anfrage. Während dieses Zeitfensters können Sie Folgeanfragen verketten, indem Sie die Antwort mit GET /v1/responses/{id} weiterleiten previous_response_id und abrufen. Nach 30 Tagen wird die Antwort automatisch gelöscht und ist nicht mehr abrufbar.

  • Wenn store jafalse, speichert Amazon Bedrock keine Daten aus der Anfrage oder Antwort. Der previous_response_id Parameter kann nicht verwendet werden, um die Konversation fortzusetzen.

Der Standardwert true entspricht der OpenAI Response-API-Spezifikation. Kunden, die nicht möchten, dass Amazon Bedrock Gesprächsdaten speichert, sollten dies false bei jeder Anfrage ausdrücklich angeben. store Gespeicherte Daten werden in der Quellregion der Anfrage gespeichert, im Ruhezustand verschlüsselt und der Projektressource des anrufenden AWS Accounts zugeordnet. Die Daten werden ausschließlich zur Bearbeitung Ihrer Anfragen gespeichert und nicht für andere Zwecke verwendet oder aufbewahrt.

Grundlegende Anfrage

Um eine Antwort zu erstellen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Stellen Sie eine POST-Anfrage an/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Antworten streamen

Um schrittweise Antwortereignisse zu empfangen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Stellen Sie eine POST-Anfrage an /v1/responses mit stream folgender Einstellung: true

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'