View a markdown version of this page

Per-request penandaan metadata - Amazon Bedrock
Cara kerja metadata permintaanBatasDi mana metadata permintaan munculPertimbangan-pertimbangan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Per-request penandaan metadata

Metadata permintaan memungkinkan Anda melampirkan tag nilai kunci ke panggilan inferensi Amazon Bedrock individual di titik akhir. bedrock-runtime Tag direkam dengan permintaan di log pemanggilan model Anda, sehingga Anda dapat mengatribusikan penggunaan ke tim, aplikasi, lingkungan, eksperimen, atau dimensi lain yang bervariasi per panggilan. Tidak ada sumber daya untuk membuat atau mengkonfigurasi sebelumnya - setiap panggilan dapat membawa set tag yang berbeda.

Metadata permintaan didukung pada API berikut: bedrock-runtime

catatan

Metadata permintaan tidak didukung pada titik akhir. bedrock-mantle Untuk atribusi yang mengalir langsung ke AWS Cost Explorer dan Laporan AWS Biaya dan Penggunaan sebagai tag alokasi biaya, lihat Profil inferensi aplikasiProyek, atau. Workspace

Cara kerja metadata permintaan

Anda melampirkan metadata ke permintaan secara berbeda tergantung pada API yang Anda panggil:

  • InvokeModel dan InvokeModelWithResponseStream — Mengatur header X-Amzn-Bedrock-Request-Metadata HTTP pada permintaan. Nilainya adalah objek JSON yang kunci dan nilainya adalah string yang Anda pilih.

  • Converse dan ConverseStream — Atur requestMetadata bidang di badan permintaan. Untuk informasi selengkapnya, lihat PermintaMetadata.

Metadata permintaan direkam dalam log pemanggilan model Anda hanya saat logging diaktifkan di AWS Region tempat panggilan dilakukan. Untuk petunjuk penyiapan, lihatMemantau pemanggilan model menggunakan CloudWatch Log dan Amazon S3.

Contoh berikut menunjukkan InvokeModel permintaan yang menandai panggilan dengan nama tim, lingkungan, dan pengidentifikasi kasus uji:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_sync"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}

Header yang sama didukung pada InvokeModelWithResponseStream:

POST /model/anthropic.claude-3-haiku-20240307-v1:0/invoke-with-response-stream HTTP/1.1
Content-Type: application/json
X-Amzn-Bedrock-Request-Metadata: {"team": "orchestrator", "environment": "preview-test", "test_case": "invoke_model_stream"}

{
  "anthropic_version": "bedrock-2023-05-31",
  "max_tokens": 50,
  "messages": [{"role": "user", "content": "Say hello in one word."}]
}
penting

Saat Anda menandatangani permintaan dengan AWS Signature Version 4 (SigV4), sertakan X-Amzn-Bedrock-Request-Metadata dalam daftar. SignedHeaders Permintaan yang menghilangkan header dari daftar yang ditandatangani ditolak dengan fileInvalidSignatureException. AWS SDK yang mengekspos metadata permintaan sebagai parameter menangani ini secara otomatis.

Batas

Metadata permintaan memiliki batasan berikut, yang berlaku untuk X-Amzn-Bedrock-Request-Metadata header (InvokeModel, InvokeModelWithResponseStream) dan bidang requestMetadata tubuh (Converse,): ConverseStream

  • Maksimal 16 entri metadata per permintaan.

  • Tombol: maksimal 256 karakter.

  • Nilai: maksimum 256 karakter.

  • Karakter yang diizinkan: satu set karakter alfanumerik dan tanda baca terbatas.

Permintaan yang melebihi batas ini ditolak dengan kesalahan validasi.

Di mana metadata permintaan muncul

Metadata permintaan muncul di log pemanggilan model Amazon Bedrock Anda di bawah bidang tingkat atas. requestMetadata Entri log disingkat berikut menunjukkan bidang untuk InvokeModel panggilan:

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2024-01-15T12:00:00Z",
    "accountId": "123456789012",
    "region": "us-east-1",
    "requestId": "abcd1234-5678-efgh-ijkl-mnopqrstuvwx",
    "operation": "InvokeModel",
    "modelId": "anthropic.claude-3-haiku-20240307-v1:0",
    "requestMetadata": {
        "team": "orchestrator",
        "environment": "preview-test",
        "test_case": "invoke_model_sync"
    },
    "input":  { "...": "..." },
    "output": { "...": "..." }
}

Anda dapat memfilter dan menggabungkan log berdasarkan bidang metadata di Amazon CloudWatch Logs Insights, alat kueri Amazon S3 seperti Amazon Athena, atau sistem lain yang membaca log pemanggilan.

Pertimbangan-pertimbangan