Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pantau penggunaan token Anda dengan menghitung token sebelum menjalankan inferensi

Saat Anda menjalankan inferensi model, jumlah token yang Anda kirim dalam input berkontribusi pada biaya permintaan dan terhadap kuota token yang dapat Anda gunakan per menit dan per hari. CountTokensAPI membantu Anda memperkirakan penggunaan token sebelum mengirim permintaan ke model foundation dengan mengembalikan jumlah token yang akan digunakan jika input yang sama dikirim ke model dalam permintaan inferensi.

Penghitungan token adalah model khusus karena model yang berbeda menggunakan strategi tokenisasi yang berbeda. Jumlah token yang dikembalikan oleh operasi ini akan cocok dengan jumlah token yang akan dibebankan jika input yang sama dikirim ke model untuk menjalankan inferensi.

Anda dapat menggunakan CountTokens API untuk melakukan hal berikut:

Model dan Wilayah yang didukung untuk penghitungan token

Untuk melihat model mana yang mendukung penghitungan token, silakan kunjungi model sekilas dan pilih model yang Anda minati.

Hitung token menggunakan endpoint bedrock-runtime

Untuk menghitung jumlah token masukan dalam permintaan inferensi, kirim CountTokenspermintaan dengan titik akhir runtime Amazon Bedrock, Tentukan model di header dan input untuk menghitung token di bidang. body Nilai body bidang tergantung pada apakah Anda menghitung token input untuk permintaan InvokeModelatau Converse:

Contoh: hitung token untuk permintaan bedrock-runtime

Contoh di bagian ini memungkinkan Anda menghitung token untuk Converse permintaan InvokeModel dan permintaan AnthropicClaude 3 Haiku.

Untuk mencoba menghitung token untuk InvokeModelpermintaan, jalankan kode Python berikut:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Untuk mencoba menghitung token untuk permintaan Converse, jalankan kode Python berikut:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Hitung token menggunakan endpoint batuan dasar mantel

bedrock-mantleTitik akhir mengekspos API Anthropic di. count_tokens /anthropic/v1/messages/count_tokens Gunakan untuk menghitung token input untuk model Anthropic Claude yang tidak mendukung CountTokensbedrock-runtime— misalnya, ketika model ditawarkan hanya melalui inferensi lintas wilayah (CRIS) bedrock-runtime dan karenanya tidak memiliki titik akhir untuk ditargetkan. Region-specific CountTokens /anthropic/v1/messagesJalannya adalah Claude-specific; Model non-antropik saat bedrock-mantle kembali. The model 'X' does not support the '/anthropic/v1/messages' API

Contoh berikut menggunakan curl kunci Amazon Bedrock API untuk menghitung token pada titik bedrock-mantle akhir:

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

Respons berisi input_tokens bidang yang nilainya adalah jumlah token untuk input yang disediakan.