View a markdown version of this page

Inferencia mediante la API de respuestas - Amazon Bedrock
Regiones y puntos finales compatiblesRequisitos previosAPI de modelosAPI de respuestas

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Inferencia mediante la API de respuestas

Amazon Bedrock proporciona la API de OpenAI respuestas a través del bedrock-mantle punto final, con la tecnología de Mantle, un motor de inferencia distribuido para el servicio de modelos de aprendizaje automático a gran escala. Este punto de conexión le permite utilizar OpenAI SDK y herramientas conocidas con los modelos de Amazon Bedrock, lo que le permite migrar las aplicaciones existentes con cambios de código mínimos; basta con actualizar la URL base y la clave de API.

importante

Cuando utilice el OpenAI SDK con Amazon Bedrock, debe apuntarlo al punto final de Amazon Bedrock, no al OpenAI punto final. Establezca las siguientes variables de entorno:

OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"
OPENAI_API_KEY="<your Bedrock API key>"

No utilices tu clave de OpenAI API ni la URL OpenAI base (https://api.openai.com/v1). Se conectan OpenAI directamente a Amazon Bedrock, no a Amazon. Para crear una clave de API de Amazon Bedrock, consulteClaves de API.

También ofrece otras ventajas como las siguientes:

  • Inferencia asíncrona: Support para cargas de trabajo de inferencia de larga duración a través de la API de respuestas

  • Gestión de conversaciones avanzada: reconstruye automáticamente el contexto sin pasar manualmente el historial de conversaciones con cada solicitud

  • Uso simplificado de herramientas: integración optimizada para los flujos de trabajo de los agentes

  • Modos de respuesta flexibles: Support para respuestas de streaming y no streaming

  • Migración sencilla: compatible con las bases de código OpenAI del SDK existentes

Regiones y puntos finales compatibles

El bedrock-mantle punto final está disponible en las siguientes AWS regiones:

Nombre de la región Región Punto de conexión
Este de EE. UU. (Ohio) us-east-2 bedrock-mantle.us-east-2.api.aws
Este de EE. UU. (Norte de Virginia) us-east-1 bedrock-mantle.us-east-1.api.aws
Oeste de EE. UU. (Oregón) us-west-2 bedrock-mantle.us-west-2.api.aws
Asia-Pacífico (Yakarta) ap-southeast-3 bedrock-mantle.ap-southeast-3.api.aws
Asia-Pacífico (Mumbai) ap-south-1 bedrock-mantle.ap-south-1.api.aws
Asia-Pacífico (Sídney) ap-southeast-2 bedrock-mantle.ap-southeast-2.api.aws
Asia-Pacífico (Tokio) ap-northeast-1 bedrock-mantle.ap-northeast-1.api.aws
Europa (Fráncfort) eu-central-1 bedrock-mantle.eu-central-1.api.aws
Europa (Irlanda) eu-west-1 bedrock-mantle.eu-west-1.api.aws
Europa (Londres) eu-west-2 bedrock-mantle.eu-west-2.api.aws
Europa (Milán) eu-south-1 bedrock-mantle.eu-south-1.api.aws
Europa (Estocolmo) eu-north-1 bedrock-mantle.eu-north-1.api.aws
América del Sur (São Paulo) sa-east-1 bedrock-mantle.sa-east-1.api.aws

Requisitos previos

Antes de usar las API, asegúrese de tener lo siguiente: OpenAI

  • Autenticación: puede autenticarse mediante:

    • Clave de API de Amazon Bedrock (necesaria para el OpenAI SDK)

    • AWS credenciales (compatibles con las solicitudes HTTP)

  • OpenAISDK (opcional): instala el SDK de OpenAI Python si utilizas SDK-based solicitudes.

  • Variables de entorno: establece las siguientes variables de entorno:

    • OPENAI_API_KEY— Configúrelo en su clave de API de Amazon Bedrock

    • OPENAI_BASE_URL— Configúrelo en el punto final de Amazon Bedrock de su región (por ejemplo, https://bedrock-mantle.us-east-1.api.aws/v1)

API de modelos

La API de modelos te permite descubrir los modelos disponibles en Amazon Bedrock con tecnología Mantle. Use esta API para recuperar una lista de modelos que puede usar con la API de respuestas. Para obtener información completa sobre la API, consulta la documentación de OpenAI los modelos.

Enumere los modelos disponibles

Para ver una lista de los modelos disponibles, selecciona la pestaña del método que prefieras y, a continuación, sigue los pasos:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Realiza una solicitud GET a/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

API de respuestas

La API de respuestas proporciona una gestión de conversaciones con estado y admite la transmisión, el procesamiento en segundo plano y las interacciones en varios turnos. Para obtener información completa sobre la API, consulta la documentación de OpenAIRespuestas.

nota

No todos los modelos admiten la API de respuestas. Para ver qué modelos son compatibles con la API de respuestas, consulteCompatibilidad de API.

Cómo almacena la API de respuestas el estado de la conversación

La API de respuestas puede usar el estado almacenado para habilitar las conversaciones en varios turnos y te permite hacer referencia a los turnos anteriores a través del previous_response_id parámetro. El almacenamiento está habilitado de forma predeterminada, pero se puede deshabilitar por solicitud mediante el store parámetro. El ámbito de las respuestas almacenadas depende del proyecto. La respuesta de un proyecto no puede usarse como respuesta anterior ni leerse en un segundo proyecto. Para obtener más información sobre los proyectos, consulteProyectos (OpenAI-compatible).

  • Cuando store es true (el valor predeterminado), Amazon Bedrock conserva la respuesta, incluidas las entradas y salidas, durante 30 días en la región de origen de la solicitud. Durante este período, puede encadenar las solicitudes de seguimiento pasando previous_response_id y recuperando la respuesta. GET /v1/responses/{id} Transcurridos 30 días, la respuesta se elimina automáticamente y ya no se puede recuperar.

  • Cuando store es false así, Amazon Bedrock no conserva ningún dato de la solicitud o respuesta. El previous_response_id parámetro no se puede utilizar para continuar la conversación.

El valor predeterminado debe coincidir con true la especificación de la API de OpenAI respuestas. Los clientes que no deseen que Amazon Bedrock conserve los datos de las conversaciones deben store configurarlo de forma explícita false en cada solicitud. Los datos almacenados se guardan en la región de origen de la solicitud, se cifran en reposo y se asignan al recurso de proyecto de la AWS cuenta que realiza la llamada. Los datos se almacenan únicamente para atender sus solicitudes y no se utilizan ni conservan para ningún otro propósito.

Solicitud básica

Para crear una respuesta, selecciona la pestaña del método que prefieras y, a continuación, sigue estos pasos:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Realiza una solicitud POST a/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Transmita las respuestas

Para recibir los eventos de respuesta de forma incremental, elige la pestaña del método que prefieras y, a continuación, sigue estos pasos:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Realiza una solicitud POST /v1/responses con el siguiente stream valor: true

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'