As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Monitorar o uso de tokens contando os tokens antes de executar a inferência

Quando você executa inferência do modelo, o número de tokens enviados na entrada é computado no custo da solicitação e contabilizado na cota de tokens que é possível usar por minuto e por dia. A CountTokensAPI ajuda você a estimar o uso de tokens antes de enviar solicitações aos modelos básicos, retornando a contagem de tokens que seria usada se a mesma entrada fosse enviada ao modelo em uma solicitação de inferência.

A contagem de tokens é específica do modelo porque modelos diferentes usam estratégias de tokenização diferentes. A contagem de tokens exibida por essa operação corresponderá à contagem de tokens que seria cobrada se a mesma entrada fosse enviada ao modelo para executar a inferência.

É possível usar a API CountTokens para fazer o seguinte:

Modelos e regiões em que é possível usar contagem de tokens

Para ver quais modelos oferecem suporte à contagem de tokens, visite rapidamente os modelos e escolha o modelo em que você está interessado.

Conte tokens usando o endpoint bedrock-runtime

Para contar o número de tokens de entrada em uma solicitação de inferência, envie uma CountTokenssolicitação com um endpoint de tempo de execução do Amazon Bedrock, especifique o modelo no cabeçalho e a entrada para contar os tokens no campo. body O valor do body campo depende se você está contando os tokens de entrada para uma solicitação InvokeModelou para a Converse:

Exemplo: contar tokens para uma solicitação de tempo de execução fundamental

Os exemplos nesta seção permitem que você conte tokens para uma solicitação InvokeModel e Converse com o Claude 3 Haiku da Anthropic.

Para experimentar a contagem de tokens para uma InvokeModelsolicitação, execute o seguinte código Python:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Para experimentar a contagem de tokens para uma solicitação Converse, execute o seguinte código Python:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Conte os tokens usando o ponto final Bedrock-mantle

O bedrock-mantle endpoint expõe a API da Anthropic em. count_tokens /anthropic/v1/messages/count_tokens Use-o para contar tokens de entrada para modelos Anthropic Claude que não são compatíveis com CountTokenson bedrock-runtime — por exemplo, quando o modelo é oferecido somente por meio da inferência entre regiões (CRIS) ativada bedrock-runtime e, portanto, não Region-specific tem um endpoint para segmentar. CountTokens O /anthropic/v1/messages caminho é Claude-specific: modelos não antrópicos em retorno. bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

O exemplo a seguir é usado curl com uma chave de API Amazon Bedrock para contar tokens no bedrock-mantle endpoint:

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

A resposta contém um input_tokens campo cujo valor é a contagem de tokens para a entrada fornecida.