Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Kirim sejumlah petunjuk dengan OpenAI Batch API Anda dapat menjalankan tugas inferensi batch menggunakan [OpenAICreate batch API dengan model](https://platform.openai.com/docs/api-reference/batch) Amazon BedrockOpenAI. Anda dapat memanggil OpenAI Create batch API dengan cara berikut: + Buat permintaan HTTP dengan endpoint Amazon Bedrock Runtime. + Gunakan permintaan OpenAI SDK dengan titik akhir Amazon Bedrock Runtime. Pilih topik untuk mempelajari lebih lanjut: **Topics** + [Model dan Wilayah yang didukung untuk OpenAI API batch](#inference-openai-batch-supported) + [Prasyarat untuk menggunakan OpenAI API batch](#inference-openai-batch-prereq) + [Buat sebuah OpenAI tugas batch](#inference-openai-batch-create) + [Ambil sebuah OpenAI tugas batch](#inference-openai-batch-retrieve) + [Daftar OpenAI pekerjaan batch](#inference-openai-batch-list) + [Membatalkan OpenAI tugas batch](#inference-openai-batch-cancel) ## Model dan Wilayah yang didukung untuk OpenAI API batch Anda dapat menggunakan OpenAI Create batch API dengan semua OpenAI model yang didukung di Amazon Bedrock dan di AWS Wilayah yang mendukung model ini. Untuk informasi selengkapnya tentang model dan wilayah yang didukung, lihat[Model pondasi yang didukung di Amazon Bedrock](models-supported.md). ## Prasyarat untuk menggunakan OpenAI API batch Untuk melihat prasyarat untuk menggunakan operasi API OpenAI batch, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya: ------ #### [ OpenAI SDK ] + **Otentikasi** — OpenAI SDK hanya mendukung otentikasi dengan kunci Amazon Bedrock API. Buat kunci Amazon Bedrock API untuk mengautentikasi permintaan Anda. Untuk mempelajari kunci Amazon Bedrock API dan cara membuatnya, lihat bagian Kunci API di chapter Build. + **Endpoint** — Temukan titik akhir yang sesuai dengan AWS Wilayah yang akan digunakan di titik akhir dan kuota [Amazon Bedrock Runtime](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Jika Anda menggunakan AWS SDK, Anda mungkin hanya perlu menentukan kode wilayah dan bukan seluruh titik akhir saat menyiapkan klien. + **Akses model** — Minta akses ke model Amazon Bedrock yang mendukung fitur ini. Untuk informasi selengkapnya, lihat [Kelola akses model menggunakan SDK dan CLI](model-access.md#model-access-modify). + **Menginstal OpenAI SDK** — Untuk informasi selengkapnya, lihat [Pustaka](https://platform.openai.com/docs/libraries) dalam dokumentasi. OpenAI + **Batch JSONL file yang diunggah ke S3** - Ikuti langkah-langkah di [Siapkan file batch Anda](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) dalam OpenAI dokumentasi untuk menyiapkan file batch Anda dengan format yang benar. Kemudian unggah ke bucket Amazon S3. + **Izin IAM** - Pastikan Anda memiliki identitas IAM berikut dengan izin yang tepat: + Identitas IAM yang Anda autentikasi dapat menjalankan operasi API terkait inferensi batch. Untuk informasi selengkapnya, lihat [Izin yang diperlukan untuk identitas IAM untuk mengirimkan dan mengelola pekerjaan inferensi batch](batch-inference-permissions.md). + Peran layanan inferensi batch yang Anda gunakan dapat mengasumsikan identitas Anda, memanggil OpenAI model yang Anda gunakan, dan memiliki akses ke file JSONL batch Anda di S3. Untuk informasi selengkapnya, lihat [Peran layanan](security-iam-sr.md). ------ #### [ HTTP request ] + **Otentikasi** - Anda dapat mengautentikasi dengan AWS kredensi Anda atau dengan kunci Amazon Bedrock API. Siapkan AWS kredensi Anda atau buat kunci Amazon Bedrock API untuk mengautentikasi permintaan Anda. + Untuk mempelajari cara menyiapkan AWS kredensil Anda, lihat [Akses terprogram dengan AWS](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds-programmatic-access.html) kredensial keamanan. + Untuk mempelajari kunci Amazon Bedrock API dan cara membuatnya, lihat bagian Kunci API di chapter Build. + **Endpoint** — Temukan titik akhir yang sesuai dengan AWS Wilayah yang akan digunakan di titik akhir dan kuota [Amazon Bedrock Runtime](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Jika Anda menggunakan AWS SDK, Anda mungkin hanya perlu menentukan kode wilayah dan bukan seluruh titik akhir saat menyiapkan klien. + **Akses model** — Minta akses ke model Amazon Bedrock yang mendukung fitur ini. Untuk informasi selengkapnya, lihat [Kelola akses model menggunakan SDK dan CLI](model-access.md#model-access-modify). + **Batch JSONL file yang diunggah ke S3** - Ikuti langkah-langkah di [Siapkan file batch Anda](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) dalam OpenAI dokumentasi untuk menyiapkan file batch Anda dengan format yang benar. Kemudian unggah ke bucket Amazon S3. + **Izin IAM** - Pastikan Anda memiliki identitas IAM berikut dengan izin yang tepat: + Identitas IAM yang Anda autentikasi dapat menjalankan operasi API terkait inferensi batch. Untuk informasi selengkapnya, lihat [Izin yang diperlukan untuk identitas IAM untuk mengirimkan dan mengelola pekerjaan inferensi batch](batch-inference-permissions.md). + Peran layanan inferensi batch yang Anda gunakan dapat mengasumsikan identitas Anda, memanggil OpenAI model yang Anda gunakan, dan memiliki akses ke file JSONL batch Anda di S3. Untuk informasi selengkapnya, lihat [Peran layanan](security-iam-sr.md). ------ ## Buat sebuah OpenAI tugas batch Untuk detail tentang OpenAI Create batch API, lihat sumber daya berikut dalam OpenAI dokumentasi: + [Buat batch](https://platform.openai.com/docs/api-reference/batch/create) - Detail permintaan dan respons. + [Objek keluaran permintaan](https://platform.openai.com/docs/api-reference/batch/request-output) - Merinci bidang output yang dihasilkan dari pekerjaan batch. Lihat dokumentasi ini saat menafsirkan hasil di bucket S3 Anda. **Bentuk permintaan** Saat membentuk permintaan inferensi batch, perhatikan Bedrock-specific bidang dan nilai Amazon berikut: **Minta header** + X-Amzn-Bedrock-RoleArn (wajib) — Nama Sumber Daya Amazon (ARN) dari peran layanan inferensi batch. Untuk informasi selengkapnya, lihat [Buat peran layanan kustom untuk inferensi batch](batch-iam-sr.md) + X-Amzn-Bedrock-ModelId (wajib) — ID model pondasi untuk digunakan dalam inferensi. Untuk informasi selengkapnya, lihat [Model pondasi yang didukung di Amazon Bedrock](models-supported.md). + X-Amzn-Bedrock-OutputEncryptionKeyId (opsional) - ID kunci KMS yang ingin Anda gunakan untuk mengenkripsi file output S3. Untuk informasi selengkapnya, lihat [Menentukan enkripsi sisi server](https://docs.aws.amazon.com/AmazonS3/latest/userguide/specifying-kms-encryption.html) dengan (). AWS KMS SSE-KMS + X-Amzn-Bedrock-Tags (opsional) — Kamus kunci dan nilai yang menunjukkan tag untuk dilampirkan ke output. Untuk informasi selengkapnya, lihat [Menandai sumber daya Amazon Bedrock](tagging.md). **Permintaan parameter tubuh:** + Endpoint — Harus. `v1/chat/completions` + input\_file\_id - Tentukan URI S3 dari file JSONL batch Anda. **Temukan hasil yang dihasilkan** Respons pembuatan menyertakan ID batch. Hasil dan pencatatan kesalahan pekerjaan inferensi batch ditulis ke folder S3 yang berisi file input. Hasilnya akan berada di folder dengan nama yang sama dengan ID batch, seperti pada struktur folder berikut: ``` ---- {batch_input_folder} |---- {batch_input}.jsonl |---- {batch_id} |---- {batch_input}.jsonl.out |---- {batch_input}.jsonl.err ``` Untuk melihat contoh penggunaan OpenAI Create batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya: ------ #### [ OpenAI SDK (Python) ] Untuk membuat pekerjaan batch dengan OpenAI SDK, lakukan hal berikut: 1. Impor OpenAI SDK dan atur klien dengan bidang berikut: + `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut: ``` https://{{${bedrock-runtime-endpoint}}}/openai/v1 ``` + `api_key`— Tentukan kunci API Amazon Bedrock. + `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu. 1. Gunakan metode [batches.create ()](https://platform.openai.com/docs/api-reference/batch/create) dengan klien. Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut: + api\_key - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. + X-Amzn-BedrockRoleArn — Ganti {{arn:aws:iam::123456789012:role/BatchServiceRole}} dengan peran layanan inferensi batch aktual yang Anda siapkan. + input\_file\_id - Ganti {{s3://amzn-s3-demo-bucket/openai-input.jsonl}} dengan URI S3 aktual tempat Anda mengunggah file JSONL batch Anda. Contoh ini memanggil OpenAI Create batch job API `us-west-2` dan menyertakan satu bagian dari metadata. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key default_headers={ "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN } ) job = client.batches.create( input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI endpoint="/v1/chat/completions", completion_window="24h", metadata={ "description": "test input" }, extra_headers={ "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0", } ) print(job) ``` ------ #### [ HTTP request ] Untuk membuat penyelesaian obrolan dengan permintaan HTTP langsung, lakukan hal berikut: 1. Gunakan metode POST dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches`, seperti dalam format berikut: ``` {{https://${bedrock-runtime-endpoint}}}/openai/v1/batches ``` 1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization` Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut: + Otorisasi - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. + X-Amzn-BedrockRoleArn — Ganti {{arn:aws:iam::123456789012:role/BatchServiceRole}} dengan peran layanan inferensi batch aktual yang Anda siapkan. + input\_file\_id - Ganti {{s3://amzn-s3-demo-bucket/openai-input.jsonl}} dengan URI S3 aktual tempat Anda mengunggah file JSONL batch Anda. Contoh berikut memanggil Create chat completion API `us-west-2` dan menyertakan satu bagian dari metadata: ``` curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \ -H 'Content-Type: application/json' \ -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \ -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \ -d '{ "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl", "endpoint": "/v1/chat/completions", "completion_window": "24h", "metadata": {"description": "test input"} }' ``` ------ ## Ambil sebuah OpenAI tugas batch Untuk detail tentang permintaan dan respons OpenAI Retrieve batch API, lihat [Ambil](https://platform.openai.com/docs/api-reference/batch/retrieve) batch. Saat Anda membuat permintaan, Anda menentukan ID pekerjaan batch untuk mendapatkan informasi. Respons mengembalikan informasi tentang pekerjaan batch, termasuk nama file keluaran dan kesalahan yang dapat Anda cari di bucket S3 Anda. Untuk melihat contoh penggunaan OpenAI Retrieve batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya: ------ #### [ OpenAI SDK (Python) ] Untuk mengambil pekerjaan batch dengan OpenAI SDK, lakukan hal berikut: 1. Impor OpenAI SDK dan atur klien dengan bidang berikut: + `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut: ``` https://{{${bedrock-runtime-endpoint}}}/openai/v1 ``` + `api_key`— Tentukan kunci API Amazon Bedrock. + `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu. 1. Gunakan metode [batches.retrieve ()](https://platform.openai.com/docs/api-reference/batch/create) dengan klien dan tentukan ID batch untuk mengambil informasi. Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut: + api\_key - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. + batch\_id — Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. Contoh ini memanggil OpenAI Retrieve batch job API `us-west-2` pada pekerjaan batch yang ID-nya{{batch\_abc123}}. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID print(job) ``` ------ #### [ HTTP request ] Untuk mengambil pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut: 1. Gunakan metode GET dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches/{{${batch_id}}}`, seperti dalam format berikut: ``` {{https://${bedrock-runtime-endpoint}}}/openai/v1/batches/{{batch_abc123}} ``` 1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization` Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut: + Otorisasi - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. + batch\_abc123 — Di jalur, ganti nilai ini dengan ID sebenarnya dari pekerjaan batch Anda. Contoh berikut memanggil OpenAI Retrieve batch API `us-west-2` pada pekerjaan batch yang ID-nya{{batch\_abc123}}. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' ``` ------ ## Daftar OpenAI pekerjaan batch Untuk detail tentang permintaan dan respons API kumpulan OpenAI Daftar, lihat [daftar kumpulan](https://platform.openai.com/docs/api-reference/batch/list). Respons mengembalikan array informasi tentang pekerjaan batch Anda. Saat Anda membuat permintaan, Anda dapat menyertakan parameter kueri untuk memfilter hasil. Respons mengembalikan informasi tentang pekerjaan batch, termasuk nama file keluaran dan kesalahan yang dapat Anda cari di bucket S3 Anda. Untuk melihat contoh penggunaan API OpenAI daftar batch dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya: ------ #### [ OpenAI SDK (Python) ] Untuk membuat daftar pekerjaan batch dengan OpenAI SDK, lakukan hal berikut: 1. Impor OpenAI SDK dan atur klien dengan bidang berikut: + `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut: ``` https://{{${bedrock-runtime-endpoint}}}/openai/v1 ``` + `api_key`— Tentukan kunci API Amazon Bedrock. + `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu. 1. Gunakan metode [batches.list ()](https://platform.openai.com/docs/api-reference/batch/list) dengan klien. Anda dapat menyertakan salah satu parameter opsional. Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut: + api\_key - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. Contoh ini memanggil API OpenAI List batch jobs `us-west-2` dan menentukan batas 2 hasil yang akan dikembalikan. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.list(limit=2) print(job) ``` ------ #### [ HTTP request ] Untuk membuat daftar pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut: 1. Gunakan metode GET dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches`, seperti dalam format berikut: ``` {{https://${bedrock-runtime-endpoint}}}/openai/v1/batches ``` Anda dapat menyertakan salah satu parameter kueri opsional. 1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization` Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut: + Otorisasi - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. Contoh berikut memanggil OpenAI List batch API `us-west-2` dan menentukan batas 2 hasil untuk kembali. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches?limit=2' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \ ``` ------ ## Membatalkan OpenAI tugas batch Untuk detail tentang permintaan dan respons OpenAI Batalkan batch API, lihat [Batalkan batch](https://platform.openai.com/docs/api-reference/batch/cancel). Respons mengembalikan informasi tentang pekerjaan batch yang dibatalkan. Saat Anda membuat permintaan, Anda menentukan ID pekerjaan batch yang ingin Anda batalkan. Untuk melihat contoh penggunaan OpenAI Batalkan batch API dengan metode yang berbeda, pilih tab untuk metode pilihan Anda, lalu ikuti langkah-langkahnya: ------ #### [ OpenAI SDK (Python) ] Untuk membatalkan pekerjaan batch dengan OpenAI SDK, lakukan hal berikut: 1. Impor OpenAI SDK dan atur klien dengan bidang berikut: + `base_url`— Awali titik akhir Amazon Bedrock Runtime ke`/openai/v1`, seperti dalam format berikut: ``` https://{{${bedrock-runtime-endpoint}}}/openai/v1 ``` + `api_key`— Tentukan kunci API Amazon Bedrock. + `default_headers`— Jika Anda perlu menyertakan header apa pun, Anda dapat memasukkannya sebagai pasangan kunci-nilai dalam objek ini. Anda juga dapat menentukan header di `extra_headers` saat melakukan panggilan API tertentu. 1. Gunakan metode [batches.cancel ()](https://platform.openai.com/docs/api-reference/batch/cancel) dengan klien dan tentukan ID batch untuk mengambil informasi. Sebelum menjalankan contoh berikut, ganti placeholder di bidang berikut: + api\_key - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. + batch\_id — Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. Contoh ini memanggil OpenAI Cancel batch job API `us-west-2` pada pekerjaan batch yang ID-nya{{batch\_abc123}}. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID print(job) ``` ------ #### [ HTTP request ] Untuk membatalkan pekerjaan batch dengan permintaan HTTP langsung, lakukan hal berikut: 1. Gunakan metode POST dan tentukan URL dengan mengawali titik akhir Amazon Bedrock Runtime ke`/openai/v1/batches/{{${batch_id}}}/cancel`, seperti dalam format berikut: ``` {{https://${bedrock-runtime-endpoint}}}/openai/v1/batches/{{batch_abc123}}/cancel ``` 1. Tentukan AWS kredensional Anda atau kunci Amazon Bedrock API di header. `Authorization` Sebelum menjalankan contoh berikut, pertama-tama ganti placeholder di bidang berikut: + Otorisasi - Ganti {{$AWS\_BEARER\_TOKEN\_BEDROCK}} dengan kunci API Anda yang sebenarnya. + batch\_abc123 — Di jalur, ganti nilai ini dengan ID sebenarnya dari pekerjaan batch Anda. Contoh berikut memanggil OpenAI Cancel batch API `us-west-2` pada pekerjaan batch yang ID-nya{{batch\_abc123}}. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' ``` ------