View a markdown version of this page

Inferensi menggunakan Responses API - Amazon Bedrock
Wilayah dan Titik Akhir yang DidukungPrasyaratModel APIRespons API

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Inferensi menggunakan Responses API

Amazon Bedrock menyediakan OpenAI Responses API melalui bedrock-mantle endpoint, didukung oleh Mantle, mesin inferensi terdistribusi untuk penyajian model pembelajaran mesin skala besar. Titik akhir ini memungkinkan Anda menggunakan OpenAI SDK dan alat yang sudah dikenal dengan model Amazon Bedrock, memungkinkan Anda memigrasi aplikasi yang ada dengan perubahan kode minimal — cukup perbarui URL dasar dan kunci API Anda.

penting

Saat menggunakan OpenAI SDK dengan Amazon Bedrock, Anda harus mengarahkannya ke titik akhir Amazon Bedrock, bukan titik akhir. OpenAI Mengatur variabel lingkungan berikut:

OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"
OPENAI_API_KEY="<your Bedrock API key>"

Jangan gunakan kunci OpenAI API atau URL OpenAI dasar (https://api.openai.com/v1). Mereka terhubung OpenAI langsung, bukan ke Amazon Bedrock. Untuk membuat kunci Amazon Bedrock API, lihatKunci API.

Manfaat utama meliputi:

  • Inferensi asinkron — Dukungan untuk beban kerja inferensi yang berjalan lama melalui API Responses

  • Manajemen percakapan stateful - Membangun kembali konteks secara otomatis tanpa meneruskan riwayat percakapan secara manual dengan setiap permintaan

  • Penggunaan alat yang disederhanakan - Integrasi yang disederhanakan untuk alur kerja agen

  • Mode respons fleksibel - Dukungan untuk respons streaming dan non-streaming

  • Migrasi mudah - Kompatibel dengan basis kode OpenAI SDK yang ada

Wilayah dan Titik Akhir yang Didukung

bedrock-mantleTitik akhir tersedia di AWS Wilayah berikut:

Nama Wilayah Wilayah Titik akhir
AS Timur (Ohio) us-east-2 batuan-mantle.us-east-2.api.aws
US East (Northern Virginia) us-east-1 batuan-mantle.us-east-1.api.aws
AS Barat (Oregon) us-west-2 batuan-mantle.us-west-2.api.aws
Asia Pasifik (Jakarta) ap-southeast-3 batuan-mantle.ap-southeast-3.api.aws
Asia Pasifik (Mumbai) ap-south-1 batuan-mantle.ap-selatan-1.api.aws
Asia Pasifik (Sydney) ap-southeast-2 batuan-mantle.ap-southeast-2.api.aws
Asia Pasifik (Tokyo) ap-northeast-1 batuan-mantle.ap-northeast-1.api.aws
Eropa (Frankfurt) eu-central-1 batuan-mantle.eu-central-1.api.aws
Eropa (Irlandia) eu-west-1 batuan-mantle.eu-west-1.api.aws
Eropa (London) eu-west-2 batuan-mantle.eu-west-2.api.aws
Europe (Milan) eu-south-1 batuan-mantle.eu-south-1.api.aws
Eropa (Stockholm) eu-north-1 batuan-mantle.eu-utara-1.api.aws
Amerika Selatan (Sao Paulo) sa-east-1 batuan-mantle.sa-east-1.api.aws

Prasyarat

Sebelum menggunakan OpenAI API, pastikan Anda memiliki yang berikut:

  • Otentikasi - Anda dapat mengautentikasi menggunakan:

    • Kunci Amazon Bedrock API (diperlukan untuk OpenAI SDK)

    • AWS kredensil (didukung untuk permintaan HTTP)

  • OpenAISDK (opsional) - Instal SDK OpenAI Python jika menggunakan permintaan. SDK-based

  • Variabel lingkungan - Mengatur variabel lingkungan berikut:

    • OPENAI_API_KEY— Setel ke kunci API Amazon Bedrock Anda

    • OPENAI_BASE_URL— Setel ke titik akhir Amazon Bedrock untuk wilayah Anda (misalnya,) https://bedrock-mantle.us-east-1.api.aws/v1

Model API

Models API memungkinkan Anda menemukan model yang tersedia di Amazon Bedrock yang didukung oleh Mantle. Gunakan API ini untuk mengambil daftar model yang dapat Anda gunakan dengan API Responses. Untuk detail API selengkapnya, lihat dokumentasi OpenAI Model.

Daftar model yang tersedia

Untuk membuat daftar model yang tersedia, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)
# List all available models using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

models = client.models.list()

for model in models.data:
    print(model.id)
HTTP request

Buat permintaan GET untuk/v1/models:

# List all available models
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X GET $OPENAI_BASE_URL/models \
   -H "Authorization: Bearer $OPENAI_API_KEY"

Respons API

Responses API menyediakan manajemen percakapan stateful dengan dukungan untuk streaming, pemrosesan latar belakang, dan interaksi multi-putaran. Untuk detail API selengkapnya, lihat dokumentasi OpenAI Responses.

catatan

Tidak semua model mendukung API Responses. Untuk melihat model mana yang mendukung API Responses, lihatKompatibilitas API.

Bagaimana API Responses menyimpan status percakapan

Responses API dapat menggunakan status tersimpan untuk mengaktifkan percakapan multi-putaran dan memungkinkan Anda mereferensikan putaran sebelumnya melalui previous_response_id parameter. Penyimpanan diaktifkan secara default tetapi dapat dinonaktifkan per permintaan melalui store parameter. Respons yang disimpan dicakup oleh Proyek. Tanggapan dari satu Proyek tidak dapat digunakan sebagai tanggapan sebelumnya atau dibaca dalam Proyek kedua. Untuk informasi selengkapnya tentang Proyek, lihatProyek (OpenAI-compatible).

  • storeKapan true (default), Amazon Bedrock mempertahankan respons, termasuk input dan output, selama 30 hari di wilayah sumber permintaan. Selama jendela ini Anda dapat merantai permintaan tindak lanjut dengan meneruskan previous_response_id dan mengambil respons dengan. GET /v1/responses/{id} Setelah 30 hari, respons akan dihapus secara otomatis dan tidak lagi dapat diambil kembali.

  • storeKapanfalse, Amazon Bedrock tidak menyimpan data apa pun dari permintaan atau tanggapan. previous_response_idParameter tidak dapat digunakan untuk melanjutkan percakapan.

Nilai defaultnya adalah true untuk mencocokkan spesifikasi API OpenAI Responses. Pelanggan yang tidak ingin Amazon Bedrock menyimpan data percakapan harus secara eksplisit disetel false pada setiap store permintaan. Data yang disimpan disimpan di wilayah sumber permintaan, dienkripsi saat istirahat, dan dicakup ke sumber daya Proyek AWS akun panggilan. Data disimpan semata-mata untuk melayani permintaan Anda dan tidak digunakan atau disimpan untuk tujuan lain apa pun.

Permintaan dasar

Untuk membuat respons, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)
# Create a basic response using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
)

print(response)
HTTP request

Buat permintaan POST untuk/v1/responses:

# Create a basic response
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Hello! How can you help me today?"}
    ]
}'

Tanggapan Streaming

Untuk menerima peristiwa respons secara bertahap, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya:

OpenAI SDK (Python)
# Stream response events incrementally using the OpenAI SDK
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

from openai import OpenAI

client = OpenAI()

stream = client.responses.create(
    model="openai.gpt-oss-120b",
    input=[{"role": "user", "content": "Tell me a story"}],
    stream=True
)

for event in stream:
    print(event)
HTTP request

Buat permintaan POST /v1/responses dengan stream set ketrue:

# Stream response events incrementally
# Requires OPENAI_API_KEY and OPENAI_BASE_URL environment variables

curl -X POST $OPENAI_BASE_URL/responses \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer $OPENAI_API_KEY" \
   -d '{
    "model": "openai.gpt-oss-120b",
    "input": [
        {"role": "user", "content": "Tell me a story"}
    ],
    "stream": true
}'