View a markdown version of this page

Anwendungsinferenzprofile - Amazon Bedrock
Wie funktioniert die KostenzuweisungDas Anzeigen des Profils kostetÜberlegungen zur Skalierung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Anwendungsinferenzprofile

Mit Anwendungsinferenzprofilen (APIs) können Sie die Amazon Bedrock-Kosten für die Amazon Bedrock- InvokeModelund Converse-APIs auf dem Endpunkt nach Anwendung, Team oder Arbeitslast zuordnen. bedrock-runtime Jede AIP ist modellspezifisch und enthält Kostenzuordnungs-Tags, die in den Cost Explorer und in die AWS AWS Kosten- und Nutzungsberichte (sowohl klassisches CUR als auch CUR 2.0) fließen.

Verwenden Sie für Workloads, die Antworten und Chat-Abschlüsse auf dem Endpunkt verwenden, stattdessen. bedrock-mantle Projekte

Wie funktioniert die Kostenzuweisung

Ein Anwendungs-Inferenzprofil ist eine Ressource, die auf ein bestimmtes Amazon Bedrock-Modell verweist. Sie erstellen das Profil, fügen Kostenzuweisungs-Tags hinzu und verwenden dann den Profil-ARN anstelle der Modell-ID in Ihren API-Aufrufen. Die Tags des Profils werden für jede Anfrage an den Rechnungsdatensatz angehängt.

Das folgende Beispiel zeigt, wie beim Aufrufen der Converse-API ein Anwendungs-Inferenzprofil-ARN anstelle einer Modell-ID verwendet wird:

import boto3

client = boto3.client("bedrock-runtime")

response = client.converse(
    modelId="arn:aws:bedrock:us-east-1:123456789012:inference-profile/my-team-profile",
    messages=[
        {"role": "user", "content": [{"text": "Hello"}]}
    ]
)

Weitere Informationen zum Erstellen von Profilen finden Sie unter. So erstellen Sie ein Anwendungsinferenzprofil

Anmerkung

Anwendungs-Inferenzprofile liefern aggregierte in Rechnung gestellte Dollar an AWS Cost Explorer und CUR (klassisch CUR und CUR 2.0). Das beste Getreide wird pro Verwendungsart und Tag berechnet. Es fallen keine Kosten pro Anfrage an. Verwenden Sie die Token-Logs für jedes Prompt Per-request Tagging von Metadaten zusammen mit Ihren Modellaufruf-Logs.

Das Anzeigen des Profils kostet

Nachdem Sie Ihre Profile erstellt und mit Tags versehen haben, aktivieren Sie die Tags als AWS Kostenverrechnungs-Tags in der Billing and Cost Management-Konsole:

  1. Öffnen Sie die AWS Billing and Cost Management-Konsole.

  2. Wählen Sie im Navigationsbereich die Option Cost Allocation Tags (Kostenzuordnungs-Tags) aus.

  3. Wählen Sie die Tags aus, die Sie auf Ihre Profile angewendet haben.

  4. Wählen Sie Aktivieren.

Es kann bis zu 24 Stunden dauern, bis Tags nach der Aktivierung in Cost Explorer und CUR angezeigt werden. Tags zur Kostenzuweisung gelten nicht rückwirkend. Nur Kosten, die nach der Aktivierung anfallen, werden gekennzeichnet. Weitere Informationen finden Sie unter Benutzerdefinierte Kostenverrechnungs-Tags aktivieren.

Nach der Tag-Aktivierung können Sie die Amazon Bedrock-Kosten anhand des Anwendungsinferenzprofils in den folgenden Tools analysieren:

  • AWSCost Explorer — Filtern Sie nach Profil-Tags, um Kostentrends im Zeitverlauf zu sehen. Gruppieren Sie nach Tag, um die Kosten profilübergreifend zu vergleichen.

  • AWSKosten- und Nutzungsberichte — Fragen Sie CUR-Daten nach Aufschlüsselungen der Einzelkosten nach Profiltag ab. Tags werden sowohl in klassischen CUR- als auch in CUR 2.0-Exporten angezeigt.

Überlegungen zur Skalierung

Jedes Anwendungs-Inferenzprofil ist an ein bestimmtes Modell gebunden. Das bedeutet, dass Sie für jede einzigartige Kombination aus Modell, Team und Tag-Set ein separates Profil benötigen. Wenn Unternehmen wachsen, kann die Anzahl der Profile schnell steigen, insbesondere wenn neue Modellversionen neue Profile erfordern.

Um die Verbreitung von Profilen zu reduzieren: