Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance de l’utilisation de vos jetons en comptant les jetons avant l’exécution de l’inférence

Lorsque vous exécutez une inférence de modèle, le nombre de jetons que vous envoyez dans l’entrée contribue au coût de la demande et au quota de jetons que vous pouvez utiliser par minute et par jour. L'CountTokensAPI vous aide à estimer l'utilisation des jetons avant d'envoyer des demandes aux modèles de base en renvoyant le nombre de jetons qui serait utilisé si la même entrée était envoyée au modèle dans une demande d'inférence.

Le comptage des jetons est spécifique au modèle, car les différents modèles utilisent des stratégies de création de jetons différentes. Le nombre de jetons renvoyé par cette opération correspondra au nombre de jetons qui serait facturé si la même entrée était envoyée au modèle pour exécuter l’inférence.

Vous pouvez utiliser l’API CountTokens pour effectuer les opérations suivantes :

Modèles et régions pris en charge pour le comptage des jetons

Pour savoir quels modèles prennent en charge le comptage de jetons, consultez la section Modèles en un coup d'œil et sélectionnez le modèle qui vous intéresse.

Comptez les jetons à l'aide du point de terminaison bedrock-runtime

Pour compter le nombre de jetons d'entrée dans une demande d'inférence, envoyez une CountTokensdemande avec un point de terminaison Amazon Bedrock, spécifiez le modèle dans l'en-tête et l'entrée pour laquelle compter les jetons dans le body champ. La valeur du body champ varie selon que vous comptez les jetons d'entrée pour une demande InvokeModelou pour une requête Converse :

Exemple : compter les jetons pour une requête bedrock-runtime

Les exemples de cette section vous permettent de compter les jetons pour une demande InvokeModel et Converse avec Anthropic Claude 3 Haiku.

Pour essayer de compter les jetons pour une InvokeModelrequête, exécutez le code Python suivant :

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Pour essayer de compter les jetons pour une demande Converse, exécutez le code Python suivant :

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Comptez les jetons en utilisant le point de terminaison Bedrock-Mantle

Le bedrock-mantle point de terminaison expose l'count_tokensAPI d'Anthropic à l'adresse. /anthropic/v1/messages/count_tokens Utilisez-le pour compter les jetons d'entrée pour les modèles Anthropic Claude qui ne sont pas CountTokenscompatiblesbedrock-runtime, par exemple, lorsque le modèle est proposé uniquement par inférence interrégionale (CRIS) activé bedrock-runtime et n'a donc aucun Region-specific point final à CountTokenscibler. La /anthropic/v1/messages voie à suivre est la Claude-specific suivante : modèles non anthropiques en bedrock-mantle retour. The model 'X' does not support the '/anthropic/v1/messages' API

L'exemple suivant utilise une clé curl d'API Amazon Bedrock pour compter les jetons sur le bedrock-mantle point de terminaison :

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

La réponse contient un input_tokens champ dont la valeur est le nombre de jetons pour l'entrée fournie.