Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen der Tokennutzung, indem die Token vor der Ausführung der Inferenz gezählt werden

Wenn Sie die Modellinferenz ausführen, trägt die Anzahl der Token, die Sie in der Eingabe senden, zu den Kosten der Anforderung und zum Kontingent der Token bei, die Sie pro Minute und pro Tag nutzen können. Die CountTokensAPI hilft Ihnen dabei, die Token-Nutzung abzuschätzen, bevor Sie Anfragen an Foundation-Modelle senden, indem sie die Token-Anzahl zurückgibt, die verwendet würde, wenn dieselbe Eingabe in einer Inferenzanforderung an das Modell gesendet würde.

Die Tokenzählung ist modellspezifisch, da verschiedene Modelle unterschiedliche Tokenisierungsstrategien verwenden. Die von diesem Vorgang zurückgegebene Tokenanzahl entspricht der Tokenanzahl, für die eine Gebühr berechnet würde, wenn dieselbe Eingabe an das Modell zum Ausführen der Inferenz gesendet würde.

Sie können die API CountTokens für Folgendes verwenden:

Unterstützte Modelle und Regionen für die Tokenzählung

Um zu sehen, welche Modelle das Zählen von Tokens unterstützen, besuchen Sie bitte Modelle auf einen Blick und wählen Sie das Modell aus, an dem Sie interessiert sind.

Zählen Sie Token mithilfe des Bedrock-Runtime-Endpunkts

Um die Anzahl der Eingabe-Token in einer Inferenzanforderung zu zählen, senden Sie eine CountTokensAnfrage mit einem Amazon Bedrock-Laufzeitendpunkt. Geben Sie das Modell im Header und die Eingabe, für die Token gezählt werden sollen, im body Feld an. Der Wert des body Felds hängt davon ab, ob Sie Eingabe-Token für eine InvokeModeloder eine Converse-Anfrage zählen:

Beispiel: Zählen Sie Token für eine Bedrock-Runtime-Anfrage

Anhand der Beispiele in diesem Abschnitt können Sie Token für die Anforderung InvokeModel und Converse mit Anthropic Claude 3 Haiku zählen.

Führen Sie den folgenden Python-Code aus, um das Zählen von Tokens für eine InvokeModelAnfrage auszuprobieren:

import boto3
import json

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = json.dumps({
    "anthropic_version": "bedrock-2023-05-31",
    "max_tokens": 500,
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ]
})

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "invokeModel": {
            "body": input_to_count
        }
    }
)

print(response["inputTokens"])

Führen Sie den folgenden Python-Code aus, um die Tokenzählung für die Anforderung Converse-Anfrage auszuprobieren:

import boto3
import json 

bedrock_runtime = boto3.client("bedrock-runtime")

input_to_count = {
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of France?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "The capital of France is Paris."
                }
            ]
        },
        {
            "role": "user",
            "content": [
                {
                    "text": "What is its population?"
                }
            ]
        }
    ],
    "system": [
        {
            "text": "You're an expert in geography."
        }
    ]
}

response = bedrock_runtime.count_tokens(
    modelId="anthropic.claude-3-5-haiku-20241022-v1:0",
    input={
        "converse": input_to_count
    }
)

print(response["inputTokens"])

Zählen Sie Token mithilfe des Bedrock-Mantle-Endpunkts

Der bedrock-mantle Endpunkt macht die count_tokens API von Anthropic unter verfügbar. /anthropic/v1/messages/count_tokens Verwenden Sie es, um Eingabe-Token für Anthropic-Claude-Modelle zu zählen, die CountTokensOn nicht unterstützen bedrock-runtime — zum Beispiel, wenn das Modell nur über Cross-Region Inference (CRIS) on angeboten wird bedrock-runtime und es daher keinen Endpunkt gibt, auf den man zielen könnte. Region-specific CountTokens Der /anthropic/v1/messages Weg ist: Nicht anthropische Claude-specific Modelle sind zurück. bedrock-mantle The model 'X' does not support the '/anthropic/v1/messages' API

Das folgende Beispiel verwendet curl einen Amazon Bedrock API-Schlüssel, um Token auf dem bedrock-mantle Endpunkt zu zählen:

curl -X POST https://bedrock-mantle.us-east-1.api.aws/anthropic/v1/messages/count_tokens \
  -H "x-api-key: $BEDROCK_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic.claude-opus-4-7",
    "messages": [
        {"role": "user", "content": "How many tokens is this prompt?"}
    ]
  }'

Die Antwort enthält ein input_tokens Feld, dessen Wert die Token-Anzahl für die angegebene Eingabe ist.