Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Kapazität, Grenzen und Kostenoptimierung Amazon Bedrock bietet flexible Kapazitätsoptionen, die Ihren Workload-Anforderungen und Ihrem Budget entsprechen. Wenn Sie die Unterschiede zwischen On-Demand-Stufen (Flex, Priority, Standard), reserviertem Tarif, Stapelverarbeitung und regionsübergreifender Inferenz verstehen, können Sie sowohl Leistung als auch Kosten optimieren. # Servicestufen zur Optimierung von Leistung und Kosten Amazon Bedrock bietet vier Servicestufen für Model-Inferenz: Reserved, Priority, Standard und Flex. Mit Servicestufen können Sie Verfügbarkeit, Kosten und Leistung optimieren. ## Reservierte Stufe Die reservierte Stufe bietet die Möglichkeit, priorisierte Rechenkapazität für Ihre geschäftskritischen Anwendungen zu reservieren, die keine Ausfallzeiten tolerieren können. Sie haben die Flexibilität, unterschiedliche Eingangs- und tokens-per-minute Ausgangskapazitäten zuzuweisen, um den genauen Anforderungen Ihrer Arbeitslast gerecht zu werden und die Kosten zu kontrollieren. Wenn Ihre Anwendung mehr tokens-per-minute Kapazität benötigt als die, die Sie reserviert haben, wird der Service automatisch in die Standard-Stufe übergeleitet, sodass ein unterbrechungsfreier Betrieb gewährleistet ist. Die Stufe Reserved zielt auf eine Verfügbarkeit von 99,5% für die Reaktionszeit des Modells ab. Kunden können Kapazität für einen oder drei Monate reservieren. Kunden zahlen einen Festpreis pro 1.000€ tokens-per-minute und erhalten eine monatliche Abrechnung. Um Zugriff auf das reservierte Kontingent zu erhalten, wenden Sie sich bitte an Ihr AWS-Kundenbetreuungsteam. **Anmerkung** Die Abrechnung wird fortgesetzt, bis Sie mit Hilfe Ihres AWS-Konto Managers die Reservierung für das reservierte Kontingent löschen. ## Prioritätsstufe Die Prioritätsstufe bietet die schnellsten Reaktionszeiten zu einem höheren Preis als die Standardpreise auf Abruf. Sie eignet sich am besten für unternehmenskritische Anwendungen mit kundenorientierten Geschäftsabläufen, die eine Kapazitätsreservierung rund um die Uhr nicht rechtfertigen. Für die Prioritätsstufe ist keine vorherige Reservierung erforderlich. Sie können den optionalen Parameter „service\$1tier“ einfach auf „priority“ setzen, um die Priorisierung auf Anforderungsebene zu nutzen. Anfragen der Stufe „Priorität“ werden gegenüber Anfragen der Stufen „Standard“ und „Flex“ priorisiert. ## Stufe „Standard“ Die Standardstufe bietet konsistente Leistung für alltägliche KI-Aufgaben wie Inhaltsgenerierung, Textanalyse und routinemäßige Dokumentenverarbeitung. Standardmäßig werden alle Inferenzanfragen an die Standardstufe weitergeleitet, wenn der Parameter „service\$1tier“ fehlt. Sie können den optionalen Parameter „service\$1tier“ auch auf „default“ setzen, damit Ihre Inferenzanforderung mit der Standardstufe bearbeitet wird. ## Flex-Stufe Für Workloads, die längere Verarbeitungszeiten bewältigen können, bietet die Flex-Stufe kostengünstige Verarbeitung zu einem discount Preis. Auf diese Weise können Sie die Kosten für Workloads wie Modellevaluierungen, Inhaltszusammenfassungen und behördliche Workflows optimieren. Sie können den optionalen Parameter „service\$1tier“ auf „flex“ setzen, damit Ihre Inferenzanfrage mit dem Flex-Tarif bearbeitet wird und Sie den Preisnachlass in Anspruch nehmen können. ## Nutzung der Service-Tier-Funktion Um auf die Service-Tier-Funktion zuzugreifen, können Sie den optionalen Parameter „service\$1tier“ auf „reserved“, „priority“, „default“ oder „flex“ setzen, während Sie die Amazon Bedrock Runtime API aufrufen. ``` "service_tier" : "reserved | priority | default | flex" ``` Ihr On-Demand-Kontingent für ein Modell wird auf die Servicestufen „Priority“, „Standard“ und „Flex“ aufgeteilt. Ihre Kapazitätsreservierung für die „reservierte“ Stufe erfolgt unabhängig von Ihrem On-Demand-Kontingent. Die Service-Tier-Konfiguration für eine bearbeitete Anfrage ist in der API-Antwort und in CloudTrail AWS-Ereignissen sichtbar. Sie können auch Kennzahlen zur Serviceebene in Amazon CloudWatch Metrics unter ModelId, und ServiceTier, einsehen ResolvedServiceTier, wo die tatsächliche Stufe ResolvedServiceTier angezeigt wird, die Ihre Anfragen bearbeitet hat. Weitere Informationen zur Preisgestaltung finden Sie auf der Seite mit den [Preisen](https://aws.amazon.com/bedrock/pricing/). Modelle und Regionen, die von der Servicestufe Reserved unterstützt werden: | | | | | | --- |--- |--- |--- | | Anbieter | Model | Model IDs | Regionen | | Anthropic | Claude Sonnet 4.6 | global.anthropic.claude-Sonnet-4-6us.anthropic.claude-sonnet-4-6eu.anthropic.claude-sonnet-4-6 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | me-south-1 | | ap-southeast-7 | | af-south-1 | | me-central-1 | | ap-southeast-5 | | mx-central-1 | | il-central-1 | | ap-east-2 | | ca-west-1 | | Anthropic | Claude Opus 4.6 | global.anthropic.claude-opus-4-6-v1us.anthropic.claude-opus-4-6-v1eu.anthropic.claude-opus-4-6-v1 | af-south-1 | | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-south-1 | | ap-south-2 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | me-south-1 | | mx-central-1 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Anthropic | Claude Sonett 4.5 | global.anthropic.claude-sonnet-4-5-20250929-v 1:0us.anthropic.claude-sonnet-4-5-20250929-v 1:0eu.anthropic.claude-sonnet-4-5-20250929-v 1:0us-gov.anthropic.claude-sonnet-4-5-20250929-v 1:0 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | us-gov-west-1 | | Anthropic | Claude Opus 4,5 | global.anthropic.claude-opus-4-5-20251101-v 1:0us.anthropic.claude-opus-4-5-20251101-v 1:0eu.anthropic.claude-opus-4-5-20251101-v 1:0 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Anthropic | Claude Haiku 4.5 | global.anthropic.claude-haiku-4-5-20251001-v 1:0us.anthropic.claude-haiku-4-5-20251001-v 1:0eu.anthropic.claude-haiku-4-5-20251001-v 1:0 | ap-northeast-1 | | ap-northeast-2 | | ap-northeast-3 | | ap-southeast-1 | | ap-southeast-2 | | ap-south-1 | | ap-southeast-3 | | ap-south-2 | | ap-southeast-4 | | ca-central-1 | | eu-west-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | **Anmerkung** Die Kontextlänge von 1 Million für Sonnet 4.5 wird von der reservierten Stufe nicht unterstützt. Modelle und Regionen, die von den Servicestufen Priority und Flex unterstützt werden: | | | | | | --- |--- |--- |--- | | Anbieter | Model | Modell-ID | Regionen | | OpenAI | gpt-oss-120b | openai.gpt-oss-120b-1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | OpenAI | gpt-oss-20b | openai.gpt-oss-20b-1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | OpenAI | GPT OSS Safeguard 20B | Openai. gpt-oss-safeguard-20b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | OpenAI | GPT OSS Safeguard 120 B | Openai. gpt-oss-safeguard-120 b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Qwen | Qwen3 235 B A22B 2507 | qwen.qwen3-235b-a22b-2507-v 1:0 | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-2 | | Qwen | Qwen3 Coder 480B A35B Einweisen | qwen.qwen3-coder-480b-a35b-v 1:0 | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-north-1 | | eu-west-2 | | Qwen | Qwen3-Coder-30B-A3B-Instruktor | qwen.qwen3-coder-30b-a3b-v 1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | Qwen | Qwen3 32B (dicht) | qwen.qwen3-32b-v 1:0 | us-east-1 | | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-west-1 | | eu-west-2 | | sa-east-1 | | Qwen | Qwen3 Weiter 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | DeepSeek | DeepSeek-V 3.1 | deepseek.v3-v 1:0 | us-east-2 | | us-west-2 | | ap-northeast-1 | | ap-south-1 | | ap-southeast-3 | | eu-north-1 | | eu-west-2 | | Amazon | Nova Premier | Amazonas. nova-premier-v1:0 | us-east-1\$1 | | us-east-2\$1 | | us-west-2\$1 | | Amazon | Nova Pro | Amazonas. nova-pro-v1:0 | us-east-1 | | us-east-2\$1 | | us-west-1\$1 | | us-west-2\$1 | | ap-ost-2\$1 | | ap-nordost-1\$1 | | ap-nordost-2\$1 | | ap-south-1\$1 | | ap-Südost-1\$1 | | ap-southeast-2 | | ap-southeast-3 | | ap-Südost-4\$1 | | ap-Southeast-5\$1 | | ap-Südost-7\$1 | | eu-central-1\$1 | | eu-nord-1\$1 | | EU-Süd-1\$1 | | EU-Süd-2\$1 | | eu-west-1\$1 | | eu-west-2 | | eu-west-3\$1 | | il-central-1\$1 | | me-central-1 | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0 | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-south-1 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Amazon | Nova 2 Pro Vorschau | amazon.nova-2-pro-vorschau-20251202-v 1:0 | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-south-1 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Amazon | Nova Lite 2 Omni | amazon.nova-2-1 lite-omni-v | ap-east-2 | | ap-northeast-1 | | ap-northeast-2 | | ap-south-1 | | ap-southeast-1 | | ap-southeast-2 | | ap-southeast-3 | | ap-southeast-4 | | ap-southeast-5 | | ap-southeast-7 | | ca-central-1 | | ca-west-1 | | eu-central-1 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | il-central-1 | | me-central-1 | | us-east-1 | | us-east-2 | | us-west-1 | | us-west-2 | | Google | Gemma 3, 4B | google.gemma-3-4b-it | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Google | Gemma 3 12B | google.gemma-3-12b-it | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Google | Gemma 3, 27 B | google.gemma-3-27b-it | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Minimax KI | Minimax M2 | Minimax.Minimax-M2 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Magistral Klein 1.2 | Mistral.Magistral-Klein-2509 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Voxtral Mini 1.0 | mistral.voxtral-mini-3b-2507 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Voxtral Small 1.0 | mistral.voxtral-small-24b-2507 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Ministry 3B 3.0 | mistral.ministral-3-3b-instruct | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Ministral 8B 3.0 | mistral.ministral-3-8b-instruct | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Ministral 14B 3.0 | mistral.ministral-3-14b-instruct | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Mistral | Mistral Large 3 | mistral.mistral-large-3-675b-instruct | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Kimi AI | Kimi K2 denkt | moonshot.kimi-K2-Denken | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Nvidia | NVIDIA Nemotron Nano 2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | | Nvidia | NVIDIA Nemotron Nano 2 VL | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 | | ap-south-1 | | ap-southeast-2 | | ap-southeast-3 | | ca-central-1 | | eu-central-1 | | eu-central-2 | | eu-north-1 | | eu-south-1 | | eu-south-2 | | eu-west-1 | | eu-west-2 | | eu-west-3 | | sa-east-1 | | us-east-1 | | us-east-2 | | us-west-2 | \$1Die Modellinferenz kann unter Verwendung mehrerer Regionen durchgeführt werden. Informationen zur Steuerung des Zugriffs auf Serviceebenen finden Sie unter [Steuern Sie den Zugriff auf Serviceebenen](security_iam_id-based-policy-examples-agent.md#security_iam_id-based-policy-examples-service-tiers) ## Kapazitätsoptionen | Art der Kapazität | Anwendungsfall | Wesentliche Merkmale | | --- | --- | --- | | Auf Abruf: Flex | Sporadische Workloads mit geringem Volumen | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Auf Abruf: Standard | Regelmäßige Produktionsworkloads | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Auf Abruf: Priorität | Apps mit hoher Priorität, die auf Latenz reagieren | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Reservierte Stufe | Konsistente Workloads mit hohem Volumen | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Batch | non-time-sensitiveVerarbeitung in großem Maßstab | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | | Regionsübergreifende Inferenz | Hohe Verfügbarkeit, hoher Traffic | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/capacity-limits-cost-optimization.html) | ## Limits und Kontingente ### Limits auf Abruf (nach Stufe) | Stufe | RPM-Bereich | TPM-Bereich | Drosselungsrisiko | | --- | --- | --- | --- | | Flexibel | 10-100 | 5K-50K | Hoch | | Standard | 100-500 | 50K-150K | Mittel | | Priorität | 500-1000\$1 | 150K-300K\$1 | Niedrig | + Burst-Kapazität: Für kurze Leistungsspitzen auf allen Stufen verfügbar + Weiche Grenzwerte: Erhöhbar durch Anfragen von Servicekontingenten + Modellspezifisch: Die tatsächlichen Grenzwerte variieren je nach Fundamentmodell ### Limits für reservierte Stufen + Mindestverpflichtung: 1 Modelleinheit + Maximale Anzahl an Einheiten: konto- und regionsspezifisch + Limits für Eingabe-/Ausgabe-Tokens: Basierend auf gekauften Einheiten + Keine Drehzahldrosselung innerhalb der gekauften Kapazität ### Grenzwerte für die Stapelverarbeitung + Auftragsgröße: Bis zu 10.000 Datensätze pro Stapel + Dateigröße: Maximal 200 MB Eingabedatei + Bearbeitungszeit: 24-stündiges Abschlussfenster + Gleichzeitige Jobs: Regionsspezifische Kontingente ### Regionsübergreifende Inferenz + Erbt die On-Demand-Statuslimits pro Region + Kein zusätzlicher Kontingentaufwand + Automatisches Routing (kein manuelles Limitmanagement) ## Kostenoptimierung ### Entscheidungsrahmen | Szenario | Empfohlene Option | Warum | | --- | --- | --- | | Entwicklung/Testen | Flex | Niedrigste Kosten, akzeptabel bei Nichtproduktion | | Standardproduktion | Standard | Das beste Preis-Leistungs-Verhältnis | | Kritische Apps für den Benutzer | Priorität | Zuverlässigkeit und Leistung sind wichtiger als Kosten | | Kontinuierliche Belastung mit hohem Volumen | Reservierte Stufe | Einsparungen von 30 bis 50% mit verbindlicher Vereinbarung | | Verarbeitung großer Datenmengen | Batch | 50% discount für nicht dringende Aufgaben | | Geschäftskritische Verfügbarkeit | Regionsübergreifende Inferenz | Verfügbarkeit > Kosten | ### Optimierungsstrategien **Wählen Sie das richtige On-Demand-Tarif** + Beginnen Sie für die meisten Workloads mit Standard + Downgrade auf Flex für Umgebungen dev/test + Führen Sie ein Upgrade auf Priority nur durch, wenn die Drosselung Auswirkungen auf Benutzer hat + Überwachen Sie die CloudWatch Drosselungskennzahlen, um fundierte Entscheidungen **Übergang zur reservierten Stufe** + Wenn die konstante Auslastung 40% der On-Demand-Kosten übersteigt + Berechnen Sie die Gewinnschwelle: (monatliche On-Demand-Kosten) versus (Reserviertes Abonnement) + Verwenden Sie zunächst ein einmonatiges Abonnement + Der reservierte Tarif kann mit jedem On-Demand-Tarif kombiniert werden **Nutzen Sie Batch für** + Generierung von Trainingsdaten + Rückstände bei der Moderation von Inhalten + Generierung von Berichten + Pipelines zur Datenanreicherung **Kombinieren Sie Ansätze** + Reservierte Stufe für Basisverkehr + Standard auf Abruf für moderate Datenströme + Priorität auf Abruf für kritische Spitzenzeiten + Batch für die Offline-Verarbeitung + Regionsübergreifend nur für Failover **Überwachung der Kosten** + Vergleichen Sie die Tierkosten: Flex < Standard < Priority + Tokens pro Anfrage nachverfolgen (Eingabeaufforderungen optimieren) + Verwenden Sie CloudWatch Metriken für Auslastung und Drosselung + Richten Sie Abrechnungsalarme für unerwartete Spitzenwerte ein + Überprüfen Sie monatlich die Auslastung der reservierten Stufe + Testen Sie Tier-Upgrades nur, wenn eine Drosselung auftritt # Verarbeiten mehrerer Prompts mit der Batch-Inferenz Mit der Batch-Inferenz können Sie mehrere Prompts übermitteln und Antworten asynchron generieren. Sie können Ihre Eingabedaten entweder mit dem `InvokeModel` oder `Converse` dem API-Format formatieren. Die Batch-Inferenz hilft Ihnen, eine große Anzahl von Anforderungen effizient zu verarbeiten, indem nur eine einzige Anforderung gesendet und die Antworten in einem Amazon-S3-Bucket generiert werden. Nachdem Sie Modelleingaben in von Ihnen erstellten Dateien definiert haben, laden Sie die Dateien in einen S3-Bucket hoch. Anschließend übermitteln Sie eine Batch-Inferenzanforderung und geben den S3-Bucket an. Nachdem der Auftrag abgeschlossen ist, können Sie die Ausgabedateien von S3 abrufen. Sie können Batch-Inferenz verwenden, um die Leistung der Modellinferenz bei großen Datensätzen zu verbessern. **Anmerkung** Die Batch-Inferenz wird für bereitgestellte Modelle nicht unterstützt. Allgemeine Informationen zur Batch-Inferenz finden Sie in den folgenden Ressourcen: + Die Preise für die Batch-Inferenz finden Sie unter [Amazon Bedrock – Preise](https://aws.amazon.com/bedrock/pricing/). + Informationen zu den Batch-Inferenz-Kontingenten finden Sie unter [Endpunkte und Kontingente von Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) in der Allgemeine AWS-Referenz + Informationen dazu, wie Sie Benachrichtigungen erhalten, wenn Batch-Inferenzjobs abgeschlossen sind oder ihren Status ändern, anstatt sie abzufragen, finden Sie unter. [Überwachen Sie Änderungen des Jobstatus von Amazon Bedrock mithilfe von Amazon EventBridgeÜberwachen Sie die Änderungen der Ereignisse](monitoring-eventbridge.md) **Topics** + [Unterstützte Regionen und Modelle für die Batch-Inferenz](batch-inference-supported.md) + [Voraussetzungen für eine Batch-Inferenz](batch-inference-prereq.md) + [Erstellen eines Batch-Inferenzauftrags](batch-inference-create.md) + [Überwachen von Batch-Inferenzaufträgen](batch-inference-monitor.md) + [Stoppen eines Batch-Inferenzauftrags](batch-inference-stop.md) + [Anzeigen der Ergebnisse eines Batch-Inferenzauftrags](batch-inference-results.md) + [Batch-Inferenz – Codebeispiel](batch-inference-example.md) + [Senden Sie eine Stapel von Prompts mit der OpenAI-Batch-API](inference-openai-batch.md) # Unterstützte Regionen und Modelle für die Batch-Inferenz Die folgende Liste enthält Links zu allgemeinen Informationen über den regionalen und Modell-Support in Amazon Bedrock: + Eine Liste der in Amazon Bedrock unterstützten Regionscodes und Endpunkte finden Sie unter [Endpunkte und Kontingente von Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region). + Eine Liste der Amazon Bedrock-Modelle IDs , die beim Aufrufen von Amazon Bedrock-API-Operationen verwendet werden können, finden Sie unter. [Unterstützte Basismodelle in Amazon Bedrock](models-supported.md) + Eine Liste der Amazon Bedrock-Inferenzprofile IDs , die beim Aufrufen von Amazon Bedrock-API-Operationen verwendet werden können, finden Sie unter. [Unterstützte regionsübergreifende Inferenzprofile](inference-profiles-support.md#inference-profiles-support-system) Batch-Inferenz kann mit verschiedenen Modelltypen verwendet werden. In der folgenden Liste wird die Unterstützung für verschiedene Typen von Amazon Bedrock-Modellen beschrieben: + **Unterstützung von Modellen für einzelne Regionen — Listet Regionen auf, die das Senden von Inferenzanfragen an ein Foundation-Modell in einer Region** unterstützen. AWS Eine vollständige Tabelle der in Amazon Bedrock verfügbaren Modelle finden Sie unter[Unterstützte Basismodelle in Amazon Bedrock](models-supported.md). + **Unterstützung für regionsübergreifende Inferenzprofile** — Listet Regionen auf, die die Verwendung eines regionsübergreifenden Inferenzprofils unterstützen, das das Senden von Inferenzanfragen an ein Basismodell in mehreren AWS Regionen innerhalb eines geografischen Gebiets unterstützt. Ein Inferenzprofil hat vor der Modell-ID ein Präfix, das das geografische Gebiet angibt (z. B.,). `us.` `apac` Weitere Informationen zu verfügbaren Inferenzprofilen in Amazon Bedrock finden Sie unter. [Unterstützte Regionen und Modelle für Inferenzprofile](inference-profiles-support.md) + **Unterstützung für benutzerdefinierte Modelle** — Listet Regionen auf, die das Senden von Inferenzanfragen an ein benutzerdefiniertes Modell unterstützen. Weitere Informationen zur Modellanpassung finden Sie unter[Anpassen des Modells für eine bessere Leistung im jeweiligen Anwendungsfall](custom-models.md). In der folgenden Tabelle wird die Unterstützung für Batch-Inferenz zusammengefasst: | Anbieter | Modell | Modell-ID | Unterstützung für Modelle mit nur einer Region | Unterstützung für regionsübergreifende Inferenzprofile | Unterstützung für benutzerdefinierte Modelle | | --- | --- | --- | --- | --- | --- | | Amazon | Multimodale Einbettungen von Amazon Nova | amazon.nova-2-1:0 multimodal-embeddings-v | us-east-1 | | – | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0 | – | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Amazon | Nova Lite | Amazonas. nova-lite-v1:0 | me-central-1 us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Amazon | Nova Micro | Amazonas. nova-micro-v1:0 | us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-2 | – | | Amazon | Nova Premier | Amazonas. nova-premier-v1:0 | – | us-east-1 us-east-2 us-west-2 | – | | Amazon | Nova Pro | Amazonas. nova-pro-v1:0 | ap-southeast-3 me-central-1 us-east-1 us-gov-west-1 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Amazon | Titan Multimodal Embeddings G1 | Amazonas. titan-embed-image-v1 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | us-east-1 us-west-2 | | Amazon | Titan Text Embeddings V2 | Amazonas. titan-embed-text-v2:0 | ap-northeast-1 ap-northeast-2 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-2 sa-east-1 us-east-1 us-west-2 | | – | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 ca-central-1 eu-central-1 eu-central-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | – | – | | Anthropic | Claude 3 Opus | anthropic.claude-3-opus-20240229-v 1:0 | us-west-2 | us-east-1 | – | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-Sonett 20240229-v 1:0 | ap-northeast-2 ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | – | | Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 | us-east-1 | – | | Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-northeast-2 ap-southeast-1 eu-central-1 us-east-1 us-east-2 us-west-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | – | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | us-west-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 us-east-1 us-east-2 us-west-2 | – | | Anthropic | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | – | ap-northeast-1 ap-northeast-2 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 eu-central-1 eu-north-1 eu-west-1 eu-west-3 us-east-1 us-east-2 us-west-2 | – | | Anthropic | Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v1:0 | – | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Anthropic | Claude Opus 4.5 | anthropic.claude-opus-4-5-20251101-v 1:0 | – | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Anthropic | Claude Opus 4.6 | anthropic.claude-opus-4-6-v1 | – | af-south-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Anthropic | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | – | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 me-central-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | Anthropic | Claude Sonett 4.5 | anthropic.claude-sonnet-4-5-20250929-v1:0 | – | af-south-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-gov-east-1 us-gov-west-1 us-west-1 us-west-2 | – | | Anthropic | Claude Sonett 4.6 | anthropic.Claude-Sonett-4-6 | eu-west-2 | af-south-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 ap-southeast-7 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 mx-central-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2 | – | | DeepSeek | DeepSeek V3.2 | deepseek.v3.2 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | DeepSeek | DeepSeek-V 3.1 | deepseek.v3-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | | – | | Google | Gemma 3 12B IT | google.gemma-3-12b-de | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Google | Gemma 3 27 B PT | google.gemma-3-27b-it | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Google | Gemma 3 4B IT | google.gemma-3-4b-de | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Meta | Llama 3.1 405B Instruct | meta.lama3-1-405 1:0 b-instruct-v | us-west-2 | | – | | Meta | Llama 3.1 70B Instruct | meta.lama3-1-70 1:0 b-instruct-v | us-west-2 | us-east-1 us-west-2 | – | | Meta | Llama 3,1 8B Instruct | meta.lama3-1-8 1:0 b-instruct-v | us-west-2 | us-east-1 us-west-2 | – | | Meta | Llama 3.2 11B Instruct | meta.lama3-2-11 1:0 b-instruct-v | | us-east-1 us-west-2 | – | | Meta | Llama 3.2 1B Instruct | meta.lama3-2-1 1:0 b-instruct-v | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | – | | Meta | Llama 3.2 3B Instruct | meta.lama3-2-3 1:0 b-instruct-v | | eu-central-1 eu-west-1 eu-west-3 us-east-1 us-west-2 | – | | Meta | Llama 3.2 90B Instruct | meta.lama3-2-90 1:0 b-instruct-v | | us-east-1 us-west-2 | – | | Meta | Llama 3.3 70B Instruct | meta.lama3-3-70 1:0 b-instruct-v | us-east-2 | us-east-1 us-east-2 us-west-2 | – | | Meta | Llama 4 Maverick 17B Instruct | meta.llama4-maverick-17 1:0 b-instruct-v | | us-east-1 us-east-2 us-west-1 us-west-2 | – | | Meta | Llama 4 Scout 17B Instruct | b-instruct-vmeta.llama4-Scout-17 1:0 | | us-east-1 us-east-2 us-west-1 us-west-2 | – | | MiniMax | MiniMax M 2 | Minimax.Minimax-M2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | MiniMax | MiniMax M 2,1 | Minimax.Minimax-M2,1 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Destral 2 123B | mistral.devstral-2-123b | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Magistral Klein 2509 | Mistral.Magistral-Klein-2509 | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Ministry 14B 3.0 | mistral.ministral-3-14b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Ministral 3 8B | mistral.ministral-3-8b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Minister 3B | mistral.ministral-3-3b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Mistral Large (24.07) | mistral.mistral-large-2407-v1:0 | us-west-2 | – | – | | Mistral AI | Mistral Large 3 | mistral.mistral-large-3-675b-instruct | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Mistral Small (24.02) | mistral.mistral-small-2402-v1:0 | us-east-1 | – | – | | Mistral AI | Voxtral Mini 3B 2507 | Mistral.Voxtral-Mini-3B-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Mistral AI | Voxtral Small 24B 2507 | mistral.voxtral-klein-24b-2507 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | KI im Mondschussmodus | Kimi K2 denkt | moonshot.kimi-K2-Denken | ap-northeast-1 ap-south-1 ap-southeast-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Moonshot KI | Kimi K2,5 | moonshotai.kimi-k2.5 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | NVIDIA | NVIDIA Nemotron Nano 12B v2 VL BF16 | nvidia.nemotron-nano-12b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | NVIDIA | NVIDIA Nemotron Nano 9B v2 | nvidia.nemotron-nano-9b-v2 | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | NVIDIA | Nemotron Nano 3 30 B | nvidia.nemotron-nano-3-30b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | OpenAI | GPT OSS Safeguard 120 B | Openai. gpt-oss-safeguard-120 b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | OpenAI | GPT OSS Safeguard 20B | Openai. gpt-oss-safeguard-20b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | OpenAI | gpt-oss-120b | openai.gpt-oss-120b-1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | – | – | | OpenAI | gpt-oss-20b | openai.gpt-oss-20b-1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-gov-west-1 us-west-2 | – | – | | Qwen | Qwen3 235 B A22B 2507 | qwen.qwen3-235b-a22b-2507-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-2 us-east-2 us-west-2 | – | – | | Qwen | Qwen3 32B (dicht) | qwen.qwen3-32b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Qwen | Qwen3 Coder 480B A35B Einweisen | qwen.qwen3-coder-480b-a35b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 us-east-2 us-west-2 | – | – | | Qwen | Qwen3 Coder Weiter | qwen.qwen3-coder-weiter | ap-southeast-2 eu-west-2 us-east-1 | – | – | | Qwen | Qwen3 Weiter 80B A3B | qwen.qwen3-next-80b-a3b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Qwen | Qwen3 VL 235B A22B | qwen.qwen3-vl-235b-a22b | ap-northeast-1 ap-south-1 ap-southeast-2 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Qwen | Qwen3-Coder-30B-A3B-Instruktor | qwen.qwen3-coder-30b-a3b-v 1:0 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Z.AI | GLM 4,7 | zai.glm-4.7 | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-north-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | | Z.AI | GLM 4.7 Flash | zai.glm-4.7-Flash | ap-northeast-1 ap-south-1 ap-southeast-2 ap-southeast-3 eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-2 sa-east-1 us-east-1 us-east-2 us-west-2 | – | – | # Voraussetzungen für eine Batch-Inferenz Zum Durchführen einer Batch-Inferenz ist Folgendes erforderlich: 1. Bereiten Sie Ihren Datensatz vor und laden Sie ihn in einen Amazon-S3-Bucket hoch. 1. Erstellen Sie einen S3-Bucket für Ihre Ausgabedaten. 1. Richten Sie Batch-Inferenz-bezogene Berechtigungen für die entsprechenden IAM-Identitäten ein. 1. (Optional) Richten Sie eine VPC ein, um die Daten in Ihrem S3-Bucket zu schützen, während Sie eine Batch-Inferenz durchführen. Sie können diesen Schritt überspringen, wenn Sie keine VPC verwenden. Weitere Informationen zum Erfüllen dieser Voraussetzungen finden Sie in den folgenden Themen: **Topics** + [Formatieren und Hochladen Ihrer Batch-Inferenzdaten](batch-inference-data.md) + [Erforderliche Berechtigungen für eine Batch-Inferenz](batch-inference-permissions.md) + [Schützen von Batch-Inferenzaufträgen mit einer VPC](batch-vpc.md) # Formatieren und Hochladen Ihrer Batch-Inferenzdaten Sie müssen Ihre Batch-Inferenzdaten zu einem S3-Speicherort hinzufügen, den Sie auswählen oder angeben, wenn Sie einen Auftrag zum Aufruf eines Modells übermitteln. Der S3-Speicherort muss folgenden Elemente enthalten: + Mindestens eine JSONL-Datei, die die Modelleingaben definiert. Eine JSONL-Datei enthält Zeilen mit JSON-Objekten. Ihre JSONL-Datei muss die Erweiterung .jsonl sowie folgendes Format aufweisen: ``` { "recordId" : "alphanumeric string", "modelInput" : {JSON body} } ... ``` Jede Zeile enthält ein JSON-Objekt mit einem `recordId` Feld und einem `modelInput` Feld. Das Format des `modelInput` JSON-Objekts hängt vom Modellaufruftyp ab, den Sie bei [der Erstellung des Batch-Inferenzjobs](batch-inference-create.md) wählen. Wenn Sie den `InvokeModel` Typ (Standard) verwenden, muss das Format mit dem `body` Feld für das Modell übereinstimmen, das Sie in der `InvokeModel` Anforderung verwenden (siehe[Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md)). Wenn Sie den `Converse` Typ verwenden, muss das Format mit dem Anfragetext der [Converse-API](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) übereinstimmen. **Anmerkung** Wenn Sie das `recordId`-Feld auslassen, fügt Amazon Bedrock es der Ausgabe hinzu. Es kann nicht garantiert werden, dass die Reihenfolge der Datensätze in der JSONL-Ausgabedatei mit der Reihenfolge der Datensätze in der JSONL-Eingabedatei übereinstimmt. Sie geben das Modell an, das Sie verwenden möchten, wenn Sie den [Batch-Inferenzauftrag](batch-inference-create.md) erstellen. + (Wenn Ihr Eingabeinhalt einen Amazon S3 S3-Speicherort enthält) Bei einigen Modellen können Sie den Inhalt der Eingabe als S3-Speicherort definieren. Siehe [Beispiel einer Videoeingabe für Amazon Nova](#batch-inference-data-ex-s3). **Warnung** Wenn Sie S3 URIs in Ihren Eingabeaufforderungen verwenden, müssen sich alle Ressourcen im selben S3-Bucket und Ordner befinden. Der `InputDataConfig` Parameter muss den Ordnerpfad angeben, der alle verknüpften Ressourcen (wie Videos oder Bilder) enthält, nicht nur eine einzelne `.jsonl` Datei. Beachten Sie, dass bei S3-Pfaden zwischen Groß- und Kleinschreibung unterschieden wird. Stellen Sie daher sicher, dass Sie der genauen Ordnerstruktur URIs entsprechen. Stellen Sie sicher, dass Ihre Eingaben den Batch-Inferenz-Kontingenten entsprechen. Sie können unter [Amazon Bedrock Service Quotas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) nach folgenden Kontingenten suchen: + **Mindestanzahl von Datensätzen pro Batch-Inferenzauftrag** – Die Mindestanzahl von Datensätzen (JSON-Objekten) für alle JSONL-Dateien im Auftrag + **Datensätze pro Eingabedatei pro Batch-Inferenzauftrag** – Die maximale Anzahl von Datensätzen (JSON-Objekten) in einer einzelnen JSONL-Datei im Auftrag + **Datensätze pro Batch-Inferenzauftrag** – Die maximale Anzahl von Datensätzen (JSON-Objekten) innerhalb von JSONL-Dateien im Auftrag + **Größe der Eingabedatei der Batch-Inferenz** – Die maximale Größe einer einzelnen Datei im Auftrag + **Auftragsgröße der Batch-Inferenz** – Die maximale kumulative Größe aller Eingabedateien Sehen Sie sich zum besseren Verständnis der Einrichtung von Batch-Inferenzeingaben die folgenden Beispiele an: ## Beispiel für eine Texteingabe für Anthropic Claude 3 Haiku Wenn Sie beabsichtigen, Batch-Inferenzen mit dem [Nachrichten-API](model-parameters-anthropic-claude-messages.md)-Format für das Modell Anthropic Claude 3 Haiku auszuführen, können Sie eine JSONL-Datei bereitstellen, die das folgende JSON-Objekt als eine der Zeilen enthält: ``` { "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } } ``` ## Beispiel einer Videoeingabe für Amazon Nova Wenn Sie beabsichtigen, Batch-Inferenzen für Videoeingaben mit den Amazon Nova Lite- oder Amazon Nova Pro-Modellen auszuführen, können Sie das Video in Bytes oder als S3-Speicherort in der JSONL-Datei definieren. Angenommen, Sie verfügen über einen S3-Bucket, dessen Pfad `s3://batch-inference-input-bucket` lautet und der die folgenden Dateien enthält: ``` s3://batch-inference-input-bucket/ ├── videos/ │ ├── video1.mp4 │ ├── video2.mp4 │ ├── ... │ └── video50.mp4 └── input.jsonl ``` Ein Beispieldatensatz aus der `input.jsonl`-Datei wäre der folgende: ``` { "recordId": "RECORD01", "modelInput": { "messages": [ { "role": "user", "content": [ { "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..." }, { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://batch-inference-input-bucket/videos/video1.mp4", "bucketOwner": "111122223333" } } } } ] } ] } } ``` Wenn Sie den Batch-Inferenzjob erstellen, müssen Sie den Ordnerpfad `s3://batch-inference-input-bucket` in Ihrem `InputDataConfig` Parameter angeben. Die Batch-Inferenz verarbeitet die `input.jsonl` Datei an diesem Speicherort zusammen mit allen Ressourcen, auf die verwiesen wird (z. B. die Videodateien im `videos` Unterordner). Die folgenden Ressourcen enthalten weitere Informationen über das Übermitteln von Videoeingaben für die Batch-Inferenz: + Informationen zur Validierung von Amazon S3 URIs in einer Eingabeanforderung finden Sie im [Amazon S3 S3-URL-Parsing-Blog](https://aws.amazon.com/blogs/devops/s3-uri-parsing-is-now-available-in-aws-sdk-for-java-2-x/). + Weitere Informationen zur Einrichtung von Aufrufaufzeichnungen für das Verständnis von Videos mit Nova finden Sie in den Richtlinien zur [Amazon Novavisuellen Eingabeaufforderung](https://docs.aws.amazon.com/nova/latest/userguide/prompting-vision-prompting.html). ## Beispiel für eine Converse-Eingabe Wenn Sie `Converse` bei der Erstellung des Batch-Inferenzjobs den Modellaufruftyp auf festlegen, muss das `modelInput` Feld das Converse API-Anforderungsformat verwenden. Das folgende Beispiel zeigt einen JSONL-Datensatz für einen Converse-Batchinferenzjob: ``` { "recordId": "CALL0000001", "modelInput": { "messages": [ { "role": "user", "content": [ { "text": "Summarize the following call transcript: ..." } ] } ], "inferenceConfig": { "maxTokens": 1024 } } } ``` Die vollständige Liste der Felder, die im Converse-Anfragetext unterstützt werden, finden Sie in der API-Referenz unter [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html). Im folgenden Thema wird beschrieben, wie Sie S3-Zugriffs- und Batch-Inferenzberechtigungen für eine Identität einrichten, um eine Batch-Inferenz durchführen zu können. # Erforderliche Berechtigungen für eine Batch-Inferenz Zum Durchführen einer Batch-Inferenz müssen Sie Berechtigungen für die folgenden IAM-Identitäten einrichten: + die IAM-Identität, die Batch-Inferenzaufträge erstellt und verwaltet + die [Servicerolle](security-iam-sr.md) der Batch-Inferenz, die Amazon Bedrock annimmt, um Aktionen in Ihrem Namen auszuführen Weitere Informationen zum Einrichten von Berechtigungen für die einzelnen Identitäten finden Sie in den folgenden Themen: **Topics** + [Erforderliche Berechtigungen für eine IAM-Identität zum Senden und Verwalten von Batch-Inferenzaufträgen](#batch-inference-permissions-user) + [Erforderliche Berechtigungen für eine Servicerolle zur Durchführung einer Batch-Inferenz](#batch-inference-permissions-service) ## Erforderliche Berechtigungen für eine IAM-Identität zum Senden und Verwalten von Batch-Inferenzaufträgen Damit eine IAM-Identität dieses Feature verwenden kann, müssen Sie es mit den erforderlichen Berechtigungen konfigurieren. Führen Sie dazu einen der folgenden Schritte aus: + Damit eine Identität alle Amazon Bedrock-Aktionen ausführen kann, fügen Sie die [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)Richtlinie der Identität bei. Wenn Sie das tun, können Sie dieses Thema überspringen. Diese Option ist weniger sicher. + Sie sollten aus Sicherheitsgründen einer Identität nur das Ausführen der erforderlichen Aktionen erlauben. In diesem Thema werden die Berechtigungen beschrieben, die für das Feature benötigt werden. Um Berechtigungen nur auf Aktionen zu beschränken, die für die Batch-Inferenz verwendet werden, hängen Sie folgende identitätsbasierte Richtlinie an eine IAM-Identität an: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "BatchInference", "Effect": "Allow", "Action": [ "bedrock:ListFoundationModels", "bedrock:GetFoundationModel", "bedrock:ListInferenceProfiles", "bedrock:GetInferenceProfile", "bedrock:ListCustomModels", "bedrock:GetCustomModel", "bedrock:TagResource", "bedrock:UntagResource", "bedrock:ListTagsForResource", "bedrock:CreateModelInvocationJob", "bedrock:GetModelInvocationJob", "bedrock:ListModelInvocationJobs", "bedrock:StopModelInvocationJob" ], "Resource": "*" } ] } ``` ------ Wenn Sie Berechtigungen weiter einschränken möchten, können Sie Aktionen weglassen oder Ressourcen und Bedingungsschlüssel angeben, nach denen Berechtigungen gefiltert werden sollen. Weitere Informationen über Aktionen, Ressourcen und Bedingungsschlüssel finden Sie in den folgenden Themen in der *Referenz zur Serviceautorisierung*: + [Von Amazon Bedrock definierte Aktionen](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) – Erfahren Sie mehr über Aktionen, die Ressourcentypen, auf die Sie diese im `Resource`-Feld beschränken können, und die Bedingungsschlüssel, nach denen Sie Berechtigungen im `Condition`-Feld filtern können. + [Von Amazon Bedrock definierte Ressourcentypen](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) – Erfahren Sie mehr über die Ressourcentypen in Amazon Bedrock. + [Zustandsschlüssel für Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys) – Erfahren Sie mehr über die Zustandsschlüssel in Amazon Bedrock. Die folgende Richtlinie veranschaulicht, wie Berechtigungen für die Batch-Inferenz eingeschränkt werden, sodass nur ein Benutzer mit der Konto-ID `123456789012` Batch-Inferenzaufträge in der `us-west-2`-Region mithilfe des Modells Anthropic Claude 3 Haiku erstellen kann. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "CreateBatchInferenceJob", "Effect": "Allow", "Action": [ "bedrock:CreateModelInvocationJob" ], "Resource": [ "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0", "arn:aws:bedrock:us-west-2:123456789012:model-invocation-job/*" ] } ] } ``` ------ ## Erforderliche Berechtigungen für eine Servicerolle zur Durchführung einer Batch-Inferenz Die Batch-Inferenz wird von einer [Servicerolle](security-iam-sr.md) durchgeführt, die Ihre Identität annimmt, um Aktionen in Ihrem Namen auszuführen. Sie können eine Servicerolle auf folgende Weise erstellen: + Lassen Sie Amazon Bedrock automatisch eine Servicerolle mit den erforderlichen Berechtigungen mittels der AWS-Managementkonsole für Sie erstellen. Sie können diese Option auswählen, wenn Sie einen Batch-Inferenzauftrag erstellen. + Erstellen Sie eine benutzerdefinierte Servicerolle für Amazon Bedrock, indem Sie die erforderlichen Berechtigungen verwenden AWS Identity and Access Management und anhängen. Wenn Sie den Batch-Inferenzauftrag übermitteln, geben Sie diese Rolle an. Weitere Informationen zum Erstellen einer benutzerdefinierten Servicerolle für eine Batch-Inferenz finden Sie unter [Erstellen eine benutzerdefinierten Servicerolle für die Batch-Inferenz](batch-iam-sr.md). Weitere allgemeine Informationen zum Erstellen von Servicerollen finden Sie unter [Erstellen einer Rolle zum Delegieren von Berechtigungen an einen AWS-Service](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-service.html) im IAM-Benutzerhandbuch. **Wichtig** Wenn sich der S3-Bucket, in den Sie [Ihre Daten für die Batch-Inferenz hochgeladen](batch-inference-data.md) haben, in einem anderen befindetAWS-Konto, müssen Sie eine S3-Bucket-Richtlinie konfigurieren, um der Servicerolle den Zugriff auf die Daten zu ermöglichen. Sie müssen diese Richtlinie manuell konfigurieren, auch wenn Sie die Konsole verwenden, um automatisch eine Servicerolle zu erstellen. Informationen zur Konfiguration einer S3-Bucket-Richtlinie für Amazon-Bedrock-Ressourcen finden Sie unter [Fügen Sie eine Bucket-Richtlinie an einen Amazon-S3-Bucket an, um einem anderen Konto den Zugriff darauf zu erlauben.](s3-bucket-access.md#s3-bucket-access-cross-account). Bei den Foundation-Modellen in Amazon Bedrock handelt es sich um AWS verwaltete Ressourcen, die nicht verwendet werden können, wenn die IAM-Richtlinien die Eigenverantwortung des Kunden erfordern. Diese Modelle sind Eigentum einzelner Kunden und werden von ihnen AWS betrieben und können nicht Eigentum von ihnen sein. Jede IAM-Richtlinienbedingung, die nach kundeneigenen Ressourcen sucht (z. B. Bedingungen, die Ressourcen-Tags, Organisations-ID oder andere Eigentümerattribute verwenden), schlägt fehl, wenn sie auf Foundation-Modelle angewendet wird, wodurch möglicherweise der legitime Zugriff auf diese Dienste blockiert wird. Wenn Ihre Richtlinie beispielsweise eine `aws:ResourceOrgID` Bedingung wie die folgende beinhaltet: ``` { "Condition": { "StringEqualsIgnoreCase": { "aws:ResourceOrgID": ["o-xxxxxxxx"] } } } ``` Ihr Batch-Inferenzjob schlägt mit `AccessDeniedException` fehl. Entfernen Sie die `aws:ResourceOrgID` Bedingung oder erstellen Sie separate Richtlinienerklärungen für Foundation-Modelle. # Schützen von Batch-Inferenzaufträgen mit einer VPC Wenn Sie einen Batch-Inferenzauftrag ausführen, greift der Auftrag auf Ihren Amazon-S3-Bucket zu, um die Eingabedaten herunterzuladen und die Ausgabedaten zu schreiben. Wenn Sie den Zugriff auf Ihre Daten kontrollieren möchten, empfehlen wir Ihnen, eine Virtual Private Cloud (VPC) mit [Amazon VPC](https://docs.aws.amazon.com/vpc/latest/userguide/what-is-amazon-vpc.html) zu erstellen. Sie können Ihre Daten zusätzlich schützen, indem Sie Ihre VPC so konfigurieren, dass Ihre Daten nicht über das Internet verfügbar sind, und stattdessen einen VPC-Schnittstellenendpunkt mit [AWS PrivateLink](https://docs.aws.amazon.com/vpc/latest/privatelink/what-is-privatelink.html) erstellen, um eine private Verbindung zu Ihren Daten herzustellen. Weitere Informationen zur AWS PrivateLink Integration von Amazon VPC mit Amazon Bedrock finden Sie unter. [Schützen Ihrer Daten mit Amazon VPC und AWS PrivateLink](usingVPC.md) Führen Sie die folgenden Schritte aus, um eine VPC für die Eingabe-Prompts und Antworten des Ausgabemodells Ihrer Batch-Inferenzaufträge zu konfigurieren und zu verwenden. **Topics** + [Einrichten einer VPC zum Schutz Ihrer Daten während der Batch-Inferenz](#batch-vpc-setup) + [Anhängen von VPC-Berechtigungen an eine Batch-Inferenzrolle](#batch-vpc-role) + [Fügen Sie die VPC-Konfiguration hinzu, wenn Sie einen Batch-Inferenzauftrag übermitteln.](#batch-vpc-config) ## Einrichten einer VPC zum Schutz Ihrer Daten während der Batch-Inferenz Zum Einrichten einer VPC befolgen Sie die Schritte unter [Einrichten einer VPC](usingVPC.md#create-vpc). Sie können Ihre VPC noch zusätzlich schützen, indem Sie einen S3-VPC-Endpunkt einrichten und ressourcenbasierte IAM-Richtlinien verwenden, um den Zugriff auf den S3-Bucket einzuschränken, der Ihre Batch-Inferenzdaten enthält, indem Sie die Schritte unter [(Beispiel) Beschränken des Datenzugriffs auf Ihre Amazon-S3-Daten mit VPC](vpc-s3.md) befolgen. ## Anhängen von VPC-Berechtigungen an eine Batch-Inferenzrolle Nachdem Sie die Einrichtung Ihrer VPC abgeschlossen haben, fügen Sie die folgenden Berechtigungen Ihrer [Batch-Inferenz-Servicerolle](batch-iam-sr.md) hinzu, damit diese auf die VPC zugreifen kann. Ändern Sie diese Richtlinie so, dass nur Zugriff auf die VPC-Ressourcen gewährt wird, die Ihr Auftrag benötigt. Ersetzen Sie das *subnet-ids* und *security-group-id* durch die Werte aus Ihrer VPC. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "1", "Effect": "Allow", "Action": [ "ec2:DescribeNetworkInterfaces", "ec2:DescribeVpcs", "ec2:DescribeDhcpOptions", "ec2:DescribeSubnets", "ec2:DescribeSecurityGroups" ], "Resource": [ "*" ] }, { "Sid": "2", "Effect": "Allow", "Action": [ "ec2:CreateNetworkInterface" ], "Resource": [ "arn:aws:ec2:us-east-1:123456789012:network-interface/*", "arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}", "arn:aws:ec2:us-east-1:123456789012:security-group/${{security-group-id}}" ], "Condition": { "StringEquals": { "aws:RequestTag/BedrockManaged": [ "true" ] }, "ArnEquals": { "aws:RequestTag/BedrockModelInvocationJobArn": [ "arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*" ] } } }, { "Sid": "3", "Effect": "Allow", "Action": [ "ec2:CreateNetworkInterfacePermission", "ec2:DeleteNetworkInterface", "ec2:DeleteNetworkInterfacePermission" ], "Resource": [ "*" ], "Condition": { "StringEquals": { "ec2:Subnet": [ "arn:aws:ec2:us-east-1:123456789012:subnet/${{subnet-id}}" ] }, "ArnEquals": { "ec2:ResourceTag/BedrockModelInvocationJobArn": [ "arn:aws:bedrock:us-east-1:123456789012:model-invocation-job/*" ] } } }, { "Sid": "4", "Effect": "Allow", "Action": [ "ec2:CreateTags" ], "Resource": "arn:aws:ec2:us-east-1:123456789012:network-interface/*", "Condition": { "StringEquals": { "ec2:CreateAction": [ "CreateNetworkInterface" ] }, "ForAllValues:StringEquals": { "aws:TagKeys": [ "BedrockManaged", "BedrockModelInvocationJobArn" ] } } } ] } ``` ------ ## Fügen Sie die VPC-Konfiguration hinzu, wenn Sie einen Batch-Inferenzauftrag übermitteln. Nachdem Sie die VPC und die erforderlichen Rollen und Berechtigungen wie in den vorherigen Abschnitten beschrieben konfiguriert haben, können Sie einen Batch-Inferenzauftrag erstellen, der diese VPC verwendet. **Anmerkung** Derzeit können Sie beim Erstellen eines Batch-Inferenzauftrags eine VPC nur über die API nutzen. Wenn Sie die VPC-Subnetze und Sicherheitsgruppen für einen Job angeben, erstellt Amazon Bedrock *elastische Netzwerkschnittstellen* (ENIs), die Ihren Sicherheitsgruppen in einem der Subnetze zugeordnet sind. ENIs Erlauben Sie dem Amazon Bedrock-Job, eine Verbindung zu Ressourcen in Ihrer VPC herzustellen. Weitere Informationen dazu ENIs finden Sie unter [Elastic Network Interfaces](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_ElasticNetworkInterfaces.html) im *Amazon VPC-Benutzerhandbuch*. Amazon Bedrock-Tags ENIs , die es mit `BedrockManaged` und `BedrockModelInvocationJobArn` tags erstellt. Wir empfehlen, mindestens ein Subnetz in jeder Availability Zone zur Verfügung zu stellen. Sie können Sicherheitsgruppen verwenden, um Regeln für die Steuerung des Zugriffs von Amazon Bedrock auf Ihre VPC-Ressourcen festzulegen. Wenn Sie eine [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)Anfrage einreichen, können Sie einen `VpcConfig` als Anforderungsparameter angeben, um die zu verwendenden VPC-Subnetze und Sicherheitsgruppen anzugeben, wie im folgenden Beispiel. ``` "vpcConfig": { "securityGroupIds": [ "sg-0123456789abcdef0" ], "subnets": [ "subnet-0123456789abcdef0", "subnet-0123456789abcdef1", "subnet-0123456789abcdef2" ] } ``` # Erstellen eines Batch-Inferenzauftrags Nachdem Sie einen Amazon-S3-Bucket mit Dateien für die Ausführung der Modellinferenz eingerichtet haben, können Sie einen Batch-Inferenzauftrag erstellen. Vergewissern Sie sich, dass Sie die Dateien gemäß den unter [Formatieren und Hochladen Ihrer Batch-Inferenzdaten](batch-inference-data.md) beschriebenen Anleitungen eingerichtet haben, bevor Sie beginnen. **Anmerkung** Zum Übermitteln eines Batch-Inferenzauftrags mit einer VPC müssen Sie die API verwenden. Wählen Sie die Registerkarte „API“ aus, um zu erfahren, wie Sie die VPC-Konfiguration einbeziehen. Um zu erfahren, wie Sie einen Batch-Inferenzauftrag erstellen, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und folgen dann den Schritten: ------ #### [ Console ] **So erstellen Sie einen Batch-Inferenzauftrag** 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Batch-Inferenz** aus. 1. Wählen Sie im Abschnitt **Batch-Inferenzaufträge** die Option **Auftrag erstellen** aus. 1. Geben Sie im Abschnitt **Auftragsdetails** dem Batch-Inferenzauftrag einen **Auftragsnamen** und wählen Sie das Modell aus, das für den Batch-Inferenzauftrag verwendet werden soll, indem Sie auf **Model auswählen** klicken. 1. Wählen Sie im Abschnitt **Modellaufruftyp** das API-Format für Ihre Eingabedaten aus. Wählen Sie aus, **InvokeModel**ob Ihre Eingabedaten modellspezifische Anforderungsformate verwenden, oder wählen Sie **Converse, wenn Ihre Eingabedaten das Converse-API-Format** verwenden. Der Standardwert ist **InvokeModel**. 1. Wählen Sie im Abschnitt **Eingabedaten** die Option **S3 durchsuchen** sowie einen S3-Speicherort für Ihren Batch-Inferenzauftrag aus. Die Batch-Inferenz verarbeitet alle JSONL- und zugehörigen Inhaltsdateien an diesem S3-Speicherort, unabhängig davon, ob es sich bei dem Speicherort um einen S3-Ordner oder eine einzelne JSONL-Datei handelt. **Anmerkung** Wenn sich die Eingabedaten in einem S3-Bucket befinden, der zu einem anderen Konto gehört als dem, von dem aus Sie den Auftrag übermitteln, müssen Sie die API zum Senden des Batch-Inferenzauftrags verwenden. Weitere Informationen zur Vorgehensweise finden Sie auf der Registerkarte „API“ oben. 1. Wählen Sie im Abschnitt **Ausgabedaten** die Option **S3 durchsuchen** und wählen Sie einen S3-Speicherort aus, an dem die Ausgabedateien Ihres Batch-Inferenzjobs gespeichert werden sollen. Standardmäßig werden die Ausgabedaten mit einem Von AWS verwalteter Schlüssel verschlüsselt. Zum Auswählen eines benutzerdefinierten KMS-Schlüssels wählen Sie zunächst **Anpassen der Verschlüsselungseinstellungen (erweitert)** und dann einen Schlüssel aus. Weitere Informationen zur Verschlüsselung von Amazon-Bedrock-Ressourcen und zur Einrichtung eines benutzerdefinierten KMS-Schlüssels finden Sie unter [Datenverschlüsselung](data-encryption.md). **Anmerkung** Wenn Sie beabsichtigen, die Ausgabedaten in einen S3-Bucket zu schreiben, der zu einem anderen Konto gehört als dem, von dem aus Sie den Auftrag übermitteln, müssen Sie den Batch-Inferenzauftrag mit der API senden. Weitere Informationen zur Vorgehensweise finden Sie auf der Registerkarte „API“ oben. 1. Wählen Sie im Abschnitt **Servicezugriff** eine der folgenden Optionen aus: + **Eine vorhandene Servicerolle verwenden** – Wählen Sie eine Servicerolle aus der Dropdown-Liste aus. Weitere Informationen zum Einrichten einer benutzerdefinierten Rolle mit den entsprechenden Berechtigungen finden Sie unter [Erforderliche Berechtigungen für eine Batch-Inferenz](batch-inference-permissions.md). + **Neue Servicerolle erstellen und verwenden** – Geben Sie einen Namen für die Servicerolle ein. 1. (Optional) Um dem Batch-Inferenzauftrag Tags zuzuweisen, erweitern Sie den Abschnitt **Tags** und fügen für jedes Tag einen Schlüssel und einen optionalen Wert hinzu. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md). 1. Wählen Sie **Create batch inference job (Batch-Inferenzauftrag erstellen)**. ------ #### [ API ] Um einen Batch-Inferenzjob zu erstellen, senden Sie eine [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Die folgenden Felder sind erforderlich: **** | Feld | Anwendungsfall | | --- | --- | | jobName | Zum Angeben eines Namens für den Auftrag | | roleArn | Zum Angeben des Amazon-Ressourcennamens (ARN) der Servicerolle mit Berechtigungen zum Erstellen und Verwalten des Auftrags Weitere Informationen finden Sie unter [Erstellen eine benutzerdefinierten Servicerolle für die Batch-Inferenz](batch-iam-sr.md). | | modelId | Zum Angeben der ID oder des ARN des Modells, das in der Inferenz verwendet wird | | inputDataConfig | Zum Angeben des S3-Speicherorts, der die Eingabedaten enthält Die Batch-Inferenz verarbeitet alle JSONL- und zugehörigen Inhaltsdateien an diesem S3-Speicherort, unabhängig davon, ob es sich bei dem Speicherort um einen S3-Ordner oder eine einzelne JSONL-Datei handelt. Weitere Informationen finden Sie unter [Formatieren und Hochladen Ihrer Batch-Inferenzdaten](batch-inference-data.md). | | outputDataConfig | Zum Angeben des S3-Speicherorts, in den die Modellantworten geschrieben werden sollen | Die folgenden Felder sind optional: **** | Feld | Anwendungsfall | | --- | --- | | modelInvocationType | Um das API-Format der Eingabedaten anzugeben. Stellen Sie diese Converse Option ein, um das Converse API-Format zu verwenden, oder InvokeModel (Standard), um modellspezifische Anforderungsformate zu verwenden. [Weitere Informationen zum Converse-Anforderungsformat finden Sie unter Converse.](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) | | timeoutDurationInStunden | Zum Angeben der Dauer in Stunden, nach der der Auftrag abgelaufen ist | | tags | Zum Angeben aller Tags, die dem Auftrag zugewiesen werden sollen Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md). | | vpcConfig | Zum Angeben der VPC-Konfiguration, die zum Schutz Ihrer Daten während des Auftrags verwendet werden soll Weitere Informationen finden Sie unter [Schützen von Batch-Inferenzaufträgen mit einer VPC](batch-vpc.md). | | clientRequestToken | Zur Sicherstellung, dass die API-Anfrage nur einmal durchgeführt wird. Weitere Informationen finden Sie unter [Sicherstellen von Idempotenz](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html). | Die Antwort gibt einen `jobArn` zurück, den Sie verwenden können, um auf den Auftrag zu verweisen, wenn Sie andere Batch-Inferenz-bezogene API-Aufrufe durchführen. ------ # Überwachen von Batch-Inferenzaufträgen Sie können nicht nur Konfigurationen für einen Batch-Inferenzauftrag festlegen, sondern auch dessen Fortschritt anhand seines Status überwachen. Weitere Informationen zu den möglichen Status eines Jobs finden Sie in [ModelInvocationJobSummary](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ModelInvocationJobSummary.html)dem `status` Feld unter. Sie können den Status eines Auftrags auch nachverfolgen, indem Sie die Gesamtzahl der Datensätze mit der Anzahl der Datensätze vergleichen, die bereits verarbeitet wurden. Diese Zahlen finden Sie in der `manifest.json.out`-Datei im Amazon-S3-Bucket, der die Ausgabedateien enthält. Weitere Informationen finden Sie unter [Anzeigen der Ergebnisse eines Batch-Inferenzauftrags](batch-inference-results.md). Informationen zum Herunterladen eines S3-Objekts finden Sie unter [Herunterladen von Objekten](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html). **Tipp** Anstatt den Auftragsstatus abzufragen, können Sie Amazon verwenden, um automatische Benachrichtigungen EventBridge zu erhalten, wenn ein Batch-Inferenz-Job abgeschlossen ist oder seinen Status ändert. Weitere Informationen finden Sie unter [Überwachen Sie Änderungen des Jobstatus von Amazon Bedrock mithilfe von Amazon EventBridgeÜberwachen Sie die Änderungen der Ereignisse](monitoring-eventbridge.md). Um zu erfahren, wie Sie Details zu Batch-Inferenzaufträgen anzeigen können, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und folgen dann den Schritten: ------ #### [ Console ] **So zeigen Sie Informationen zu Batch-Inferenzaufträgen an** 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Batch-Inferenz** aus. 1. Wählen Sie im Abschnitt **Batch-Inferenzauftrag** einen Auftrag aus. 1. Auf der Auftragsdetailseite können Sie Informationen zur Konfiguration des Auftrags einsehen und dessen Fortschritt anhand seines **Status** überwachen. ------ #### [ API ] Um Informationen über einen Batch-Inferenz-Job zu erhalten, senden Sie eine [GetModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetModelInvocationJob.html)Anfrage mit einem [Amazon Bedrock-Steuerungsebenen-Endpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben Sie die ID oder den ARN des Jobs im Feld an. `jobIdentifier` Um Informationen über mehrere Batch-Inferenzjobs aufzulisten, senden Sie eine [ListModelInvocationJobs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListModelInvocationJobs.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Sie können die folgenden optionalen Parameter festlegen: Die Antwort für `GetModelInvocationJob` und `ListModelInvocationJobs` enthält ein `modelInvocationType` Feld, das angibt, ob der Job das `InvokeModel` oder das `Converse` API-Format verwendet. **** | Feld | Kurzbeschreibung | | --- | --- | | maxResults | Hierbei handelt es sich um die maximale Anzahl der Ergebnisse, die in einer Antwort zurückzugeben sind. | | nextToken | Wenn die Anzahl der Ergebnisse die Anzahl übersteigt, die Sie im Feld maxResults angegeben haben, gibt die Antwort einen nextToken-Wert zurück. Senden Sie den nextToken-Wert in einer weiteren Anforderung, um den nächsten Ergebnisstapel zu sehen. | Um alle Tags für einen Job aufzulisten, senden Sie eine [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)Anfrage mit einem [Amazon Bedrock-Steuerungsebenen-Endpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben Sie den Amazon-Ressourcennamen (ARN) des Jobs an. ------ # Stoppen eines Batch-Inferenzauftrags Um zu erfahren, wie Sie einen laufenden Batch-Inferenzauftrag beenden können, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und folgen dann den Schritten: ------ #### [ Console ] **So halten Sie einen Batch-Inferenzauftrag an** 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die zur Verwendung der Amazon-Bedrock-Konsole berechtigt ist. Öffnen Sie dann die Amazon-Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Batch-Inferenz** aus. 1. Wählen Sie einen Auftrag aus, um zur Auftragsdetailseite zu gelangen, oder klicken Sie auf die Optionsschaltfläche neben dem Auftrag. 1. Wählen Sie **Auftrag beenden** aus. 1. Überprüfen Sie die Nachricht und wählen Sie dann zum Bestätigen **Auftrag beenden** aus. **Anmerkung** Token, die bereits verarbeitet wurden, werden Ihnen in Rechnung gestellt. ------ #### [ API ] Senden Sie zum Anhalten eines Batch-Inferenzauftrags eine [StopModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_StopModelInvocationJob.html)-Anfrage mit einem [Endpunkt der Amazon-Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben Sie die ID oder den ARN des Auftrags im `jobIdentifier`-Feld an. Wenn der Auftrag erfolgreich gestoppt wurde, erhalten Sie eine HTTP-200-Antwort. ------ # Anzeigen der Ergebnisse eines Batch-Inferenzauftrags Nachdem ein Batch-Inferenzauftrag den Status `Completed` hat, können Sie die Ergebnisse des Batch-Inferenzauftrags aus den Dateien im Amazon-S3-Bucket extrahieren, den Sie bei der Auftragserstellung angegeben haben. Informationen zum Herunterladen eines S3-Objekts finden Sie unter [Herunterladen von Objekten](https://docs.aws.amazon.com/AmazonS3/latest/userguide/download-objects.html). Das S3-Bucket enthält die folgenden Dateien: 1. Amazon Bedrock generiert eine JSONL-Ausgabedatei für jede JSONL-Eingabedatei. Die Ausgabedateien enthalten Ausgaben des Modells für jede Eingabe im folgenden Format. Ein `error`-Objekt ersetzt das Feld `modelOutput` in jeder Zeile, in der ein Inferenzfehler aufgetreten ist. Das Format des `modelOutput` JSON-Objekts hängt vom Modellaufruftyp ab. Bei `InvokeModel` Jobs entspricht das Format dem `body` Feld in der `InvokeModel` Antwort (siehe[Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md)). Bei `Converse` Jobs entspricht das Format dem Antworttext der [Converse-API](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html). ``` { "recordId" : "string", "modelInput": {JSON body}, "modelOutput": {JSON body} } ``` Das folgende Beispiel zeigt eine mögliche Ausgabedatei. ``` { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {"inputTextTokenCount": 8, "results": [{"tokenCount": 3, "outputText": "blue\n", "completionReason": "FINISH"}]}} { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }} ``` 1. Eine `manifest.json.out`-Datei, die eine Zusammenfassung des Batch-Inferenzauftrags enthält. ``` { "totalRecordCount" : number, "processedRecordCount" : number, "successRecordCount": number, "errorRecordCount": number, "inputTokenCount": number, "outputTokenCount" : number } ``` Die Felder werden im Folgenden beschrieben. + totalRecordCount — Die Gesamtzahl der Datensätze, die an den Batch-Inferenzjob gesendet wurden. + processedRecordCount — Die Anzahl der Datensätze, die im Batch-Inferenzjob verarbeitet wurden. + successRecordCount — Die Anzahl der Datensätze, die vom Batch-Inferenzjob erfolgreich verarbeitet wurden. + errorRecordCount — Die Anzahl der Datensätze im Batch-Inferenzjob, die Fehler verursacht haben. + inputTokenCount — Die Gesamtzahl der Eingabe-Token, die an den Batch-Inferenzjob gesendet wurden. + outputTokenCount — Die Gesamtzahl der vom Batch-Inferenzjob generierten Ausgabetokens. # Batch-Inferenz – Codebeispiel Das Codebeispiel in diesem Kapitel zeigt, wie Sie einen Batch-Inferenzauftrag erstellen, Informationen dazu anzeigen und ihn beenden. In diesem Beispiel wird das `InvokeModel` API-Format verwendet. Hinweise zur Verwendung des `Converse` API-Formats finden Sie unter[Formatieren und Hochladen Ihrer Batch-Inferenzdaten](batch-inference-data.md). Wählen Sie eine Sprache aus, um ein Codebeispiel für diese anzuzeigen: ------ #### [ Python ] Erstellen Sie eine JSONL-Datei mit dem Namen *abc.jsonl* und fügen Sie für jeden Datensatz, der mindestens die Mindestanzahl an Datensätzen enthält, ein JSON-Objekt hinzu (siehe **Mindestanzahl von Datensätzen pro Batch-Inferenzjob** für). *\$1Model\$1* [Kontingente für Amazon Bedrock](quotas.md) In diesem Beispiel verwenden Sie das Modell Anthropic Claude 3 Haiku. Das folgende Beispiel zeigt die erste JSON-Eingabe in der Datei: ``` { "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } } ... # Add records until you hit the minimum ``` Erstellen Sie einen S3-Bucket namens *amzn-s3-demo-bucket-input* und laden Sie die Datei in ihn hoch. Erstellen Sie dann einen S3-Bucket*amzn-s3-demo-bucket-output*, in den Sie Ihre Ausgabedateien schreiben sollen. Führen Sie den folgenden Codeausschnitt aus, um einen Job einzureichen und das *jobArn* aus der Antwort abzurufen: ``` import boto3 bedrock = boto3.client(service_name="bedrock") inputDataConfig=({ "s3InputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl" } }) outputDataConfig=({ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-output/" } }) response=bedrock.create_model_invocation_job( roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole", modelId="anthropic.claude-3-haiku-20240307-v1:0", jobName="my-batch-job", inputDataConfig=inputDataConfig, outputDataConfig=outputDataConfig ) jobArn = response.get('jobArn') ``` Gibt den Namen `status` des Auftrags zurück. ``` bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status'] ``` Listet Batch-Inferenzjobs auf, die. *Failed* ``` bedrock.list_model_invocation_jobs( maxResults=10, statusEquals="Failed", sortOrder="Descending" ) ``` Beenden Sie den Auftrag, den Sie gestartet haben. ``` bedrock.stop_model_invocation_job(jobIdentifier=jobArn) ``` ------ # Senden Sie eine Stapel von Prompts mit der OpenAI-Batch-API Sie können einen Batch-Inferenzauftrag mithilfe der [OpenAI-Create-Batch-API](https://platform.openai.com/docs/api-reference/batch) mit OpenAI-Modellen in Amazon Bedrock ausführen. Sie können die OpenAI-Create-Batch-API wie folgt aufrufen: + Stellen Sie eine HTTP-Anfrage mit einem Amazon-Bedrock-Runtime-Endpunkt. + Verwenden Sie eine OpenAI-SDK-Anfrage mit einem Amazon-Bedrock-Runtime-Endpunkt. Wählen Sie ein Thema aus, um mehr zu erfahren: **Topics** + [Unterstützte Regionen und Modelle für die OpenAI-Batch-API](#inference-openai-batch-supported) + [Voraussetzungen für die Verwendung der OpenAI-Batch-API](#inference-openai-batch-prereq) + [So erstellen Sie einen OpenAI-Batch-Auftrag](#inference-openai-batch-create) + [So rufen Sie einen OpenAI-Batch-Auftrag ab](#inference-openai-batch-retrieve) + [So listen Sie OpenAI-Batch-Aufträge auf](#inference-openai-batch-list) + [So brechen Sie einen OpenAI-Batch-Auftrag ab](#inference-openai-batch-cancel) ## Unterstützte Regionen und Modelle für die OpenAI-Batch-API Sie können die OpenAI Create Batch API mit allen OpenAI Modellen verwenden, die in Amazon Bedrock und in den AWS Regionen unterstützt werden, die diese Modelle unterstützen. Weitere Informationen zu unterstützten Modellen und Regionen finden Sie unter [Unterstützte Basismodelle in Amazon Bedrock](models-supported.md). ## Voraussetzungen für die Verwendung der OpenAI-Batch-API Wenn Sie Beispiele für die Verwendung der Batch-API in OpenAI sehen möchten, wählen Sie die Registerkarte mit Ihrer bevorzugten Methode aus und führen Sie dann die folgenden Schritte aus: ------ #### [ OpenAI SDK ] + **Authentifizierung** – Das OpenAI SDK unterstützt ausschließlich Authentifizierungen mit einem API-Schlüssel von Amazon Bedrock. Generieren Sie einen API-Schlüssel von Amazon Bedrock, um Ihre API-Anfrage zu authentifizieren. Weitere Informationen zu Amazon Bedrock API-Schlüsseln und deren Generierung finden Sie im Abschnitt API-Schlüssel im Kapitel Build. + **Endpunkt** — Finden Sie den Endpunkt, der der AWS Region entspricht, die in [Amazon Bedrock Runtime-Endpunkten und](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) -Kontingenten verwendet werden soll. Wenn Sie ein AWS SDK verwenden, müssen Sie bei der Einrichtung des Clients möglicherweise nur den Regionalcode und nicht den gesamten Endpunkt angeben. + **Modellzugriff** – Fordern Sie Zugriff auf ein Amazon-Bedrock-Modell an, das dieses Feature unterstützt. Weitere Informationen finden Sie unter [Modellzugriff mit SDK und CLI verwalten](model-access.md#model-access-modify). + **Installieren eines OpenAI SDK** – Weitere Informationen finden Sie in der OpenAI-Dokumentation unter [Bibliotheken](https://platform.openai.com/docs/libraries). + **Batch-JSONL-Datei, die auf S3 hochgeladen wurde** – Folgen Sie den Schritten unter [Vorbereiten Ihrer Batch-Datei](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) in der OpenAI-Dokumentation, um Ihre Batch-Datei mit dem korrekten Format vorzubereiten. Laden Sie sie anschließend in einen Amazon-S3-Bucket hoch. + **IAM-Berechtigungen** – Stellen Sie sicher, dass Sie die folgenden IAM-Identitäten mit den richtigen Berechtigungen besitzen: + Eine IAM-Identität, mit der Sie sich authentifizieren, kann API-Operationen im Zusammenhang mit Batch-Inferenzen ausführen. Weitere Informationen finden Sie unter [Erforderliche Berechtigungen für eine IAM-Identität zum Senden und Verwalten von Batch-Inferenzaufträgen](batch-inference-permissions.md). + Die von Ihnen verwendete Servicerolle für Batch-Inferenz kann Ihre Identität annehmen, das von Ihnen verwendete OpenAI-Modell aufrufen und hat Zugriff auf Ihre Batch-JSONL-Datei in S3. Weitere Informationen finden Sie unter [Servicerollen](security-iam-sr.md). ------ #### [ HTTP request ] + **Authentifizierung** — Sie können sich entweder mit Ihren AWS Anmeldeinformationen oder mit einem Amazon Bedrock API-Schlüssel authentifizieren. Richten Sie Ihre AWS Anmeldeinformationen ein oder generieren Sie einen Amazon Bedrock API-Schlüssel, um Ihre Anfrage zu authentifizieren. + Weitere Informationen zum Einrichten Ihrer AWS Anmeldeinformationen finden Sie unter [Programmatischer Zugriff mit AWS](https://docs.aws.amazon.com/IAM/latest/UserGuide/security-creds-programmatic-access.html) Sicherheitsanmeldedaten. + Weitere Informationen zu Amazon Bedrock API-Schlüsseln und deren Generierung finden Sie im Abschnitt API-Schlüssel im Kapitel Build. + **Endpunkt** — Finden Sie den Endpunkt, der der AWS Region entspricht, die in [Amazon Bedrock Runtime-Endpunkten und](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt) -Kontingenten verwendet werden soll. Wenn Sie ein AWS SDK verwenden, müssen Sie bei der Einrichtung des Clients möglicherweise nur den Regionalcode und nicht den gesamten Endpunkt angeben. + **Modellzugriff** – Fordern Sie Zugriff auf ein Amazon-Bedrock-Modell an, das dieses Feature unterstützt. Weitere Informationen finden Sie unter [Modellzugriff mit SDK und CLI verwalten](model-access.md#model-access-modify). + **Batch-JSONL-Datei, die auf S3 hochgeladen wurde** – Folgen Sie den Schritten unter [Vorbereiten Ihrer Batch-Datei](https://platform.openai.com/docs/guides/batch#1-prepare-your-batch-file) in der OpenAI-Dokumentation, um Ihre Batch-Datei mit dem korrekten Format vorzubereiten. Laden Sie sie anschließend in einen Amazon-S3-Bucket hoch. + **IAM-Berechtigungen** – Stellen Sie sicher, dass Sie die folgenden IAM-Identitäten mit den richtigen Berechtigungen besitzen: + Eine IAM-Identität, mit der Sie sich authentifizieren, kann API-Operationen im Zusammenhang mit Batch-Inferenzen ausführen. Weitere Informationen finden Sie unter [Erforderliche Berechtigungen für eine IAM-Identität zum Senden und Verwalten von Batch-Inferenzaufträgen](batch-inference-permissions.md). + Die von Ihnen verwendete Servicerolle für Batch-Inferenz kann Ihre Identität annehmen, das von Ihnen verwendete OpenAI-Modell aufrufen und hat Zugriff auf Ihre Batch-JSONL-Datei in S3. Weitere Informationen finden Sie unter [Servicerollen](security-iam-sr.md). ------ ## So erstellen Sie einen OpenAI-Batch-Auftrag Einzelheiten zur OpenAI-Create-Batch-API finden Sie in den folgenden Ressourcen in der OpenAI-Dokumentation: + [Batch erstellen](https://platform.openai.com/docs/api-reference/batch/create) – Detailliert sowohl die Anfrage als auch die Antwort. + [Das Anforderungsausgabeobjekt](https://platform.openai.com/docs/api-reference/batch/request-output) – Detailliert die Felder der generierten Ausgabe aus dem Batch-Auftrag. Beziehen Sie sich bei der Interpretation der Ergebnisse in Ihrem S3-Bucket auf diese Dokumentation. **So formulieren Sie die Anforderung** Beachten Sie bei der Formulierung der Batch-Inferenzanforderung die folgenden für Amazon Bedrock spezifischen Felder und Werte: **Anfordern von Headern** + X-Amzn-Bedrock-RoleArn (erforderlich) — Der Amazon-Ressourcenname (ARN) der Batch-Inferenz-Servicerolle. Weitere Informationen finden Sie unter [Erstellen eine benutzerdefinierten Servicerolle für die Batch-Inferenz](batch-iam-sr.md). + X-Amzn-Bedrock-ModelId (erforderlich) — Die ID des Foundation-Modells, das für die Inferenz verwendet werden soll. Weitere Informationen finden Sie unter [Unterstützte Basismodelle in Amazon Bedrock](models-supported.md). + X-Amzn-Bedrock-OutputEncryptionKeyId (optional) — Die ID eines KMS-Schlüssels, den Sie zum Verschlüsseln der S3-Ausgabedateien verwenden möchten. Weitere Informationen finden Sie unter [Serverseitige Verschlüsselung mit AWS KMS (SSE-KMS) angeben](https://docs.aws.amazon.com/AmazonS3/latest/userguide/specifying-kms-encryption.html). + X-Amzn-Bedrock-Tags (optional) — Ein Wörterbuch mit Schlüsseln und Werten, die Tags angeben, die an die Ausgabe angehängt werden sollen. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md). **Anfrage von Textparametern:** + endpoint – Muss `v1/chat/completions` sein. + input\$1file\$1id – Gibt die S3-URI Ihrer JSONL-Batch-Datei an. **So finden Sie die generierten Ergebnisse** Die Antwort auf die Erstellung enthält eine Batch-ID. Die Ergebnisse und die Fehlerprotokollierung des Batch-Inferenzauftrags werden in den S3-Ordner geschrieben, der die Eingabedatei enthält. Die Ergebnisse befinden sich in einem Ordner mit demselben Namen wie die Batch-ID, wie in der folgenden Ordnerstruktur: ``` ---- {batch_input_folder} |---- {batch_input}.jsonl |---- {batch_id} |---- {batch_input}.jsonl.out |---- {batch_input}.jsonl.err ``` Wenn Sie Beispiele für die Verwendung der Create-Batch-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus: ------ #### [ OpenAI SDK (Python) ] Gehen Sie wie folgt vor, um einen Batch-Auftrag mit dem OpenAI SDK zu erstellen: 1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein: + `base_url` – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix `/openai/v1` wie im folgenden Format vor: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key` – Geben Sie einen Amazon-Bedrock-API-Schlüssel an. + `default_headers` – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter `extra_headers` angeben, wenn Sie einen bestimmten API-Aufruf tätigen. 1. Verwenden Sie die Methode [batches.create ()](https://platform.openai.com/docs/api-reference/batch/create) mit dem Client. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + api\$1key — Ersetze es *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* durch deinen tatsächlichen API-Schlüssel. + X-Amzn-BedrockRoleArn — *arn:aws:iam::123456789012:role/BatchServiceRole* Ersetzen Sie durch die tatsächliche Batch-Inferenz-Servicerolle, die Sie eingerichtet haben. + input\$1file\$1id — Ersetzen Sie *s3://amzn-s3-demo-bucket/openai-input.jsonl* es durch den tatsächlichen S3-URI, in den Sie Ihre Batch-JSONL-Datei hochgeladen haben. Das Beispiel ruft die OpenAI-Create-Batch-Job-API in `us-west-2` auf und enthält ein einzelnes Metadatum. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key default_headers={ "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN } ) job = client.batches.create( input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI endpoint="/v1/chat/completions", completion_window="24h", metadata={ "description": "test input" }, extra_headers={ "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0", } ) print(job) ``` ------ #### [ HTTP request ] Gehen Sie wie folgt vor, um eine Chat-Vervollständigung mit einer direkten HTTP-Anfrage zu erstellen: 1. Verwenden Sie die Methode POST und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix `/openai/v1/batches` wie im folgenden Format voranstellen: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches ``` 1. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der `Authorization` Kopfzeile an. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + Autorisierung — *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* Ersetzen Sie ihn durch Ihren tatsächlichen API-Schlüssel. + X-Amzn-BedrockRoleArn — *arn:aws:iam::123456789012:role/BatchServiceRole* Ersetzen Sie durch die tatsächliche Batch-Inferenz-Servicerolle, die Sie eingerichtet haben. + input\$1file\$1id — Ersetzen Sie *s3://amzn-s3-demo-bucket/openai-input.jsonl* es durch den tatsächlichen S3-URI, in den Sie Ihre Batch-JSONL-Datei hochgeladen haben. Das folgende Beispiel ruft die Create-Batch-Job-API in `us-west-2` auf und enthält ein einzelnes Metadatum: ``` curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \ -H 'Content-Type: application/json' \ -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \ -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \ -d '{ "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl", "endpoint": "/v1/chat/completions", "completion_window": "24h", "metadata": {"description": "test input"} }' ``` ------ ## So rufen Sie einen OpenAI-Batch-Auftrag ab Einzelheiten zur Anfrage und Antwort der OpenAI-Retrieve-Batch-API finden Sie unter [Batch abrufen](https://platform.openai.com/docs/api-reference/batch/retrieve). Wenn Sie die Anfrage stellen, geben Sie die ID des Batch-Auftrags an, für den Sie Informationen abrufen möchten. Die Antwort gibt Informationen über einen Batch-Auftrag zurück, einschließlich der Ausgabe- und Fehlerdateinamen, die Sie in Ihren S3-Buckets einsehen können. Wenn Sie Beispiele für die Verwendung der Retrieve-Batch-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus: ------ #### [ OpenAI SDK (Python) ] Gehen Sie wie folgt vor, um einen Batch-Auftrag mit dem OpenAI SDK abzurufen: 1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein: + `base_url` – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix `/openai/v1` wie im folgenden Format vor: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key` – Geben Sie einen Amazon-Bedrock-API-Schlüssel an. + `default_headers` – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter `extra_headers` angeben, wenn Sie einen bestimmten API-Aufruf tätigen. 1. Verwenden Sie die Methode [batches.retrieve()](https://platform.openai.com/docs/api-reference/batch/create) mit dem Client und geben Sie die ID des Batches an, für den Informationen abgerufen werden sollen. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + api\$1key — Ersetze es durch deinen tatsächlichen API-Schlüssel. *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* + batch\$1id — Ersetze es durch deinen tatsächlichen *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* API-Schlüssel. Das Beispiel OpenAI ruft die Retrieve-Batch-Job-API für einen Batch-Job `us-west-2` auf, dessen ID lautet. *batch\$1abc123* ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID print(job) ``` ------ #### [ HTTP request ] Gehen Sie wie folgt vor, um einen Batch-Auftrag mit einer direkten HTTP-Anfrage abzurufen: 1. Verwenden Sie die Methode GET und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix `/openai/v1/batches/${batch_id}` wie im folgenden Format voranstellen: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123 ``` 1. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der `Authorization` Kopfzeile an. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + Autorisierung — *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* Ersetzen Sie ihn durch Ihren tatsächlichen API-Schlüssel. + batch\$1abc123 – Ersetzen Sie diesen Wert im Pfad durch die tatsächliche ID Ihres Batch-Auftrags. Im folgenden Beispiel wird die OpenAI Retrieve-Batch-API für einen Batch-Job aufgerufen, dessen ID lautet*batch\$1abc123*. `us-west-2` ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' ``` ------ ## So listen Sie OpenAI-Batch-Aufträge auf Einzelheiten zur Anfrage und Antwort der OpenAI-List-Batches-API finden Sie unter [Batches auflisten](https://platform.openai.com/docs/api-reference/batch/list). Die Antwort gibt eine Reihe von Informationen über Ihre Batch-Aufträge zurück. Wenn Sie die Anfrage stellen, können Sie Abfrageparameter angeben, um die Ergebnisse zu filtern. Die Antwort gibt Informationen über einen Batch-Auftrag zurück, einschließlich der Ausgabe- und Fehlerdateinamen, die Sie in Ihren S3-Buckets einsehen können. Wenn Sie Beispiele für die Verwendung der List-Batches-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus: ------ #### [ OpenAI SDK (Python) ] Gehen Sie wie folgt vor, um Batch-Aufträge mit dem OpenAI SDK aufzulisten: 1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein: + `base_url` – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix `/openai/v1` wie im folgenden Format vor: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key` – Geben Sie einen Amazon-Bedrock-API-Schlüssel an. + `default_headers` – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter `extra_headers` angeben, wenn Sie einen bestimmten API-Aufruf tätigen. 1. Verwenden Sie die Methode [batches.list()](https://platform.openai.com/docs/api-reference/batch/list) mit dem Client. Sie können die folgenden optionalen Parameter beliebig angeben: Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + api\$1key — Ersetze es *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* durch deinen tatsächlichen API-Schlüssel. Das Beispiel ruft die OpenAI-List-Batch-Jobs-API in `us-west-2` auf und gibt ein Limit von 2 Ergebnissen für die Rückgabe an. ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.list(limit=2) print(job) ``` ------ #### [ HTTP request ] Gehen Sie wie folgt vor, um Batch-Aufträge mit einer direkten HTTP-Anfrage aufzulisten: 1. Verwenden Sie die Methode GET und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix `/openai/v1/batches` wie im folgenden Format voranstellen: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches ``` Sie können die optionalen Abfrageparameter beliebig angeben. 1. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der `Authorization` Kopfzeile an. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + Autorisierung — *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* Ersetzen Sie ihn durch Ihren tatsächlichen API-Schlüssel. Das folgende Beispiel ruft die OpenAI-List-Batches-API in `us-west-2` auf und gibt ein Limit von 2 Ergebnissen für die Rückgabe an. ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches?limit=2' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \ ``` ------ ## So brechen Sie einen OpenAI-Batch-Auftrag ab Einzelheiten zur Anfrage und Antwort auf die OpenAI-Cancel-Batch-API finden Sie unter [Batch abbrechen](https://platform.openai.com/docs/api-reference/batch/cancel). Die Antwort gibt Informationen über den abgebrochenen Batch-Auftrag zurück. Wenn Sie die Anforderung stellen, geben Sie die ID des Batch-Auftrags an, den Sie abbrechen möchten. Wenn Sie Beispiele für die Verwendung der Cancel-Batch-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus: ------ #### [ OpenAI SDK (Python) ] Gehen Sie wie folgt vor, um einen Batch-Auftrag mit dem OpenAI SDK abzubrechen: 1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein: + `base_url` – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix `/openai/v1` wie im folgenden Format vor: ``` https://${bedrock-runtime-endpoint}/openai/v1 ``` + `api_key` – Geben Sie einen Amazon-Bedrock-API-Schlüssel an. + `default_headers` – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter `extra_headers` angeben, wenn Sie einen bestimmten API-Aufruf tätigen. 1. Verwenden Sie die Methode [batches.cancel()](https://platform.openai.com/docs/api-reference/batch/cancel) mit dem Client und geben Sie die ID des Batches an, für den Informationen abgerufen werden sollen. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + api\$1key — Ersetze es *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* durch deinen tatsächlichen API-Schlüssel. + batch\$1id — Ersetze es durch deinen tatsächlichen *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* API-Schlüssel. Das Beispiel ruft die OpenAI Cancel Batch Job API für einen Batch-Job `us-west-2` auf, dessen ID lautet. *batch\$1abc123* ``` from openai import OpenAI client = OpenAI( base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key ) job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID print(job) ``` ------ #### [ HTTP request ] Gehen Sie wie folgt vor, um einen Batch-Auftrag mit einer direkten HTTP-Anfrage abzubrechen: 1. Verwenden Sie die Methode POST und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix `/openai/v1/batches/${batch_id}/cancel` wie im folgenden Format voranstellen: ``` https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel ``` 1. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der `Authorization` Kopfzeile an. Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen: + Autorisierung — *\$1AWS\$1BEARER\$1TOKEN\$1BEDROCK* Ersetzen Sie ihn durch Ihren tatsächlichen API-Schlüssel. + batch\$1abc123 – Ersetzen Sie diesen Wert im Pfad durch die tatsächliche ID Ihres Batch-Auftrags. Im folgenden Beispiel wird die OpenAI Cancel-Batch-API für einen Batch-Job aufgerufen, dessen ID lautet*batch\$1abc123*. `us-west-2` ``` curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \ -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' ``` ------ # Erhöhen des Durchsatzes mit regionenübergreifender Inferenz Bei regionenübergreifender Inferenz können Sie entweder ein mit einer bestimmten Region (z. B. USA oder EU) verknüpftes regionenübergreifendes Inferenzprofil oder ein globales Inferenzprofil auswählen. Wenn Sie ein Inferenzprofil auswählen, das an eine bestimmte Region gebunden ist, wählt Amazon Bedrock automatisch den optimalen Werbespot AWS-Region innerhalb dieser Region aus, um Ihre Inferenzanfrage zu bearbeiten. Bei globalen Inferenzprofilen wählt Amazon Bedrock automatisch die optimale kommerzielle AWS-Region für die Verarbeitung der Anforderung aus, wodurch die verfügbaren Ressourcen optimiert werden und der Modelldurchsatz erhöht wird. Beide Arten von regionsübergreifender Inferenz basieren auf [Inferenzprofilen](inference-profiles.md), die ein Basismodell (FM) definieren und festlegen, AWS-Regionen an welches Anfragen weitergeleitet werden können. Wenn Sie eine Modellinferenz im On-Demand-Modus ausführen, können Ihre Anforderungen durch Service Quotas oder während Zeiten mit starker Auslastung eingeschränkt werden. Durch regionsübergreifende Inferenz können Sie ungeplante Datenfluten problemlos bewältigen, indem Sie Rechenleistung auf verschiedene Arten nutzen. AWS-Regionen Sie können den Durchsatz für ein Modell auch erhöhen, indem Sie einen [bereitgestellten Durchsatz](prov-throughput.md) erwerben. Inferenzprofile unterstützen den bereitgestellten Durchsatz derzeit nicht. Weitere Informationen zu den Regionen und Modellen, mit denen Sie Inferenzprofile zum Ausführen von regionsübergreifenden Inferenzen verwenden können, finden Sie unter [Unterstützte Regionen und Modelle für Inferenzprofile](inference-profiles-support.md). **Topics** + [Wählen Sie zwischen geografischer und globaler regionsübergreifender Inferenz](#cross-region-inference-comparison) + [Allgemeine Überlegungen](#cross-region-inference-general-considerations) + [Geografische regionsübergreifende Inferenz](geographic-cross-region-inference.md) + [Globale regionsübergreifende Inferenz](global-cross-region-inference.md) ## Wählen Sie zwischen geografischer und globaler regionsübergreifender Inferenz Amazon Bedrock bietet zwei Arten von regionsübergreifenden Inferenzprofilen, die jeweils für unterschiedliche Anwendungsfälle und Compliance-Anforderungen konzipiert sind: | Feature | Geografische regionsübergreifende Inferenz | Globale regionsübergreifende Inferenz | Empfehlung | | --- | --- | --- | --- | | Datenresidenz | Innerhalb geografischer Grenzen (USA, EU, APAC usw.) | Jede unterstützte AWS Handelsregion weltweit | Wählen Sie „Geografisch“ für Compliance-Anforderungen | | Durchsatz | Höher als eine einzelne Region | Höchster verfügbarer | Wählen Sie Global für maximale Leistung | | Cost (Kosten) | Standardpreise | Ungefähr 10% Ersparnis | Wählen Sie Global für die Kostenoptimierung | | SCP-Anforderungen | Alle Zielregionen im Profil zulassen | Erlauben "aws:RequestedRegion": "unspecified" | Konfigurieren Sie auf der Grundlage Ihrer Unternehmensrichtlinien | | Am besten geeignet für | Organizations mit Vorschriften zur Aufbewahrung von Daten | Organizations, die Kosten und Leistung priorisieren | Beurteilen Sie Ihre Compliance- und Leistungsanforderungen | Wählen Sie Geographic Cross-Regional Inference, wenn Sie Anforderungen an die Datenresidenz haben und sicherstellen müssen, dass die Datenverarbeitung innerhalb bestimmter geografischer Grenzen erfolgt. Wählen Sie Global Cross-Regional Inference, wenn Sie maximalen Durchsatz und Kosteneinsparungen ohne geografische Einschränkungen erzielen möchten. ## Allgemeine Überlegungen Beachten Sie die folgenden Informationen zur regionsübergreifenden Inferenz: + Für die Nutzung von regionenübergreifender Inferenz fallen keine zusätzlichen Routing-Kosten an. Der Preis wird anhand der Region berechnet, von der aus Sie ein Inferenzprofil aufrufen. Weitere Informationen zur Preisgestaltung finden Sie unter [Amazon Bedrock – Preise](https://aws.amazon.com/bedrock/pricing/). + Durch regionsübergreifende Inferenz können Anfragen weitergeleitet werden AWS-Regionen , die in Ihrem nicht manuell aktiviert wurden. AWS-Konto Eine manuelle Aktivierung von Regionen ist nicht erforderlich, damit die regionsübergreifende Inferenz funktioniert. + Alle Daten, die während regionsübergreifender Operationen übertragen werden, verbleiben im AWS Netzwerk und werden nicht über das öffentliche Internet übertragen. Daten werden bei der Übertragung zwischen verschlüsselt. AWS-Regionen + Alle regionsübergreifenden Inferenzanfragen werden CloudTrail in Ihrer Quellregion protokolliert. Suchen Sie nach dem `additionalEventData.inferenceRegion` Feld, in dem angegeben ist, wo Anfragen bearbeitet wurden. + AWS Dienste, die von Amazon Bedrock bereitgestellt werden, können auch CRIS verwenden. Weitere Informationen finden Sie in der servicespezifischen Dokumentation. # Geografische regionsübergreifende Inferenz Regionsübergreifende geografische Inferenz hält die Datenverarbeitung innerhalb bestimmter geografischer Grenzen (USA, EU, APAC usw.) und bietet gleichzeitig einen höheren Durchsatz als Inferenz mit einer einzelnen Region. Diese Option ist ideal für Unternehmen mit Anforderungen an die Datenresidenz und Compliance-Vorschriften. ## Überlegungen zu regionsübergreifenden Inferenzen Beachten Sie die folgenden Informationen zur regionsübergreifenden geographischen Inferenz: + Regionsübergreifende Inferenzanfragen für ein an eine bestimmte Region gebundenes Inferenzprofil (z. B. USA, EU und APAC) werden innerhalb der Region gespeichert, die Teil der Region ist AWS-Regionen , in der sich die Daten ursprünglich befinden. Beispielsweise wird eine in den USA gestellte Anfrage innerhalb der USA aufbewahrt. AWS-Regionen Obwohl die Daten nur in der Quellregion gespeichert bleiben, können Ihre Prompts und Ausgabeergebnisse bei Verwendung der regionsübergreifenden Inferenz sich möglicherweise außerhalb der Quellregion bewegen. Alle Daten werden bei der Übertragung über das sichere Netzwerk von Amazon verschlüsselt. + Die Standardkontingente für den regionsübergreifenden Durchsatz bei der Verwendung von Inferenzprofilen, die mit einer Region verknüpft sind (z. B. USA, Europa und Asien-Pazifik), können Sie den Werten für **Regionsübergreifende Modellinferenz-Anfragen pro Minute für \$1\$1Model\$1** und **Regionsübergreifende Modellinferenz-Token pro Minute für \$1\$1Model\$1** unter [Service Quotas von Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) in der *Allgemeinen AWS -Referenz* entnehmen. ## IAM-Richtlinienanforderungen für geografische regionsübergreifende Inferenzen Damit ein IAM-Benutzer oder eine IAM-Rolle ein regionsübergreifendes geografisches Inferenzprofil aufrufen kann, müssen Sie Zugriff auf die folgenden Ressourcen gewähren: 1. Das geografiespezifische regionsübergreifende Inferenzprofil (diese Profile haben geografische Präfixe wie,,) `us` `eu` `apac` 1. Das Basismodell in der Quellregion 1. Das Gründungsmodell in allen Zielregionen, die im geografischen Profil aufgeführt sind Die folgende Beispielrichtlinie gewährt die erforderlichen Berechtigungen zur Verwendung des Claude Sonnet 4.5-Foundation-Modells mit einem geografisch übergreifenden Inferenzprofil für die USA, wobei sich die Quellregion `us-east-1` und die Zielregionen`us-east-1`,, `us-east-2` und befinden: `us-west-2` ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "GrantGeoCrisInferenceProfileAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" ] }, { "Sid": "GrantGeoCrisModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-sonnet-4-5-20250929-v1:0" ], "Condition": { "StringEquals": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-1::inference-profile/us.anthropic.claude-sonnet-4-5-20250929-v1:0" } } } ] } ``` Die erste Anweisung gewährt `bedrock:InvokeModel` API-Zugriff auf das Geographic Cross-Region-Inferenzprofil für Anfragen, die aus der anfragenden Region stammen. Die zweite Anweisung gewährt `bedrock:InvokeModel` API-Zugriff auf das Foundation-Modell sowohl in der anfragenden Region als auch in allen im Inferenzprofil aufgeführten Zielregionen. ## Anforderungen der Service Control-Richtlinie für geografische regionsübergreifende Inferenzen Viele Organizations implementieren regionale Zugriffskontrollen im Rahmen von Service Control Policies in AWS Organisationen aus Sicherheits- und Compliance-Gründen. Wenn die Sicherheitsrichtlinie Ihres Unternehmens ungenutzte Regionen blockiert, müssen Sie sicherstellen, dass Ihre regionsspezifischen SCP-Bedingungen den Zugriff auf alle Zielregionen zulassen, die im Regionsübergreifenden Inferenzprofil für Ihre Quellregion aufgeführt sind. SCPs Für regionsübergreifende geografische Inferenzen müssen Sie die Beziehung zwischen Ihrer Quellregion (in die Sie den API-Aufruf tätigen) und den Zielregionen (an die Anfragen weitergeleitet werden können) verstehen. Lesen Sie in der Dokumentation zum Inferenzprofil nach, um alle Zielregionen für Ihre Quellregion zu identifizieren, und stellen Sie dann sicher, dass Sie den Zugriff auf all diese Zielregionen SCPs zulassen. Wenn Sie beispielsweise von us-east-1 (Quellregion) aus anrufen und das geografische Profil US Anthropic Claude Sonnet 4.5 verwenden, können Anfragen an us-east-1, us-east-2 und us-west-2 (Zielregionen) weitergeleitet werden. Wenn ein SCP den Zugriff nur auf us-east-1 einschränkt, schlägt die regionsübergreifende Inferenz fehl, wenn versucht wird, nach us-east-2 oder us-west-2 zu routen. Daher müssen Sie alle drei Zielregionen in Ihrem SCP zulassen, unabhängig davon, aus welcher Region Sie anrufen. Denken Sie bei der Konfiguration SCPs für den Ausschluss von Regionen daran, dass das Blockieren einer beliebigen Zielregion im Inferenzprofil verhindert, dass regionsübergreifende Inferenzen ordnungsgemäß funktionieren, selbst wenn Ihre Quellregion weiterhin zugänglich ist. Informationen zu den SCP-Anforderungen für globale regionsübergreifende Inferenz finden Sie unter. [Anforderungen an die Service Control-Richtlinie für globale regionsübergreifende Inferenz](global-cross-region-inference.md#global-cris-scp-setup) Um die Sicherheit zu erhöhen, sollten Sie erwägen, die `bedrock:InferenceProfileArn` Bedingung zu verwenden, um den Zugriff auf bestimmte Inferenzprofile zu beschränken. Auf diese Weise können Sie Zugriff auf die erforderlichen Regionen gewähren und gleichzeitig einschränken, welche Inferenzprofile verwendet werden können. ## Verwenden Sie geografische regionsübergreifende Inferenz Um die regionsübergreifende geografische Inferenz zu verwenden, fügen Sie ein [Inferenzprofil hinzu, wenn Sie die Modellinferenz auf](inference-profiles.md) folgende Weise ausführen: + **Modellinferenz auf Abruf** [— Geben Sie die ID des Inferenzprofils an, die `modelId` beim Senden einer [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)Converse oder -Anforderung verwendet wird. [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) Ein Inferenzprofil definiert eine oder mehrere Regionen, an die es Inferenzanforderungen weiterleiten kann, die aus Ihrer Quellregion stammen. Die Verwendung von regionenübergreifender Inferenz erhöht den Durchsatz und die Leistung, indem Modellaufrufanforderungen dynamisch an die im Inferenzprofil definierten Regionen weitergeleitet werden. Das Routing beeinflusst den Benutzerdatenverkehr, den Bedarf und die Ressourcennutzung. Weitere Informationen finden Sie unter [So senden Sie Prompts und generieren Antworten mithilfe der Modellinferenz](inference.md). + **Batch-Inferenz** — Senden Sie Anfragen asynchron mit Batch-Inferenz, indem Sie beim Senden einer Anfrage die ID des Inferenzprofils `modelId` als die angeben. [CreateModelInvocationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateModelInvocationJob.html) Durch die Verwendung eines Inferenzprofils können Sie die Rechenleistung in mehreren AWS-Regionen nutzen und so schnellere Verarbeitungszeiten für Ihre Batch-Aufträge erzielen. Nach Abschluss des Auftrags können Sie die Ausgabedateien aus dem Amazon-S3-Bucket in der Quellregion abrufen. + **Agenten** – Geben Sie die ID des Inferenzprofils in das Feld `foundationModel` der Anforderung [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgent.html) ein. Weitere Informationen finden Sie unter [Manuelles Erstellen und Konfigurieren von Agenten](agents-create.md). + **Generierung von Antworten in der Wissensdatenbank** – Sie können eine regionenübergreifende Inferenz verwenden, wenn Sie nach der Abfrage einer Wissensdatenbank eine Antwort generieren. Weitere Informationen finden Sie unter [Testen Ihrer Wissensdatenbank mit Abfragen und Antworten](knowledge-base-test.md). + **Modellbewertung** – Sie können ein Inferenzprofil als Modell zur Bewertung senden, wenn Sie einen Auftrag zur Modellbewertung übermitteln. Weitere Informationen finden Sie unter [Die Leistung von Amazon-Bedrock-Ressourcen bewerten](evaluation.md). + **Prompt-Management** – Sie können eine regionenübergreifende Inferenz verwenden, wenn Sie eine Antwort für einen Prompt generieren, die Sie im Prompt-Management erstellt haben. Weitere Informationen finden Sie unter [Erstellen und Speichern wiederverwendbarer Prompts mit dem Prompt-Management in Amazon Bedrock](prompt-management.md). + **Prompt-Abläufe** – Sie können eine regionenübergreifende Inferenz verwenden, wenn Sie eine Antwort für einen Prompt generieren, die Sie inline in einem Prompt-Knoten in einem Prompt-Ablauf definiert haben. Weitere Informationen finden Sie unter [Erstellen Sie mit Amazon Bedrock Flows einen end-to-end generativen KI-Workflow](flows.md). Weitere Informationen zur Verwendung eines Inferenzprofils zum Senden von Modellaufrufanforderungen über Regionen hinweg finden Sie unter [So verwenden Sie ein Inferenzprofil beim Modellaufruf](inference-profiles-use.md). Weitere Informationen zur regionsübergreifenden Inferenz finden Sie unter [Erste Schritte mit regionsübergreifender Inferenz in Amazon Bedrock](https://aws.amazon.com/blogs/machine-learning/getting-started-with-cross-region-inference-in-amazon-bedrock/). Ausführliche Informationen zur globalen regionsübergreifenden Inferenz, einschließlich IAM-Einrichtung und Verwaltung von Servicekontingenten, finden Sie unter. [Globale regionsübergreifende Inferenz](global-cross-region-inference.md) # Globale regionsübergreifende Inferenz Die globale regionsübergreifende Inferenz erweitert die regionsübergreifende Inferenz über geografische Grenzen hinaus und ermöglicht die Weiterleitung von Inferenzanfragen an unterstützte kommerzielle Anbieter auf der AWS-Regionen ganzen Welt, wodurch die verfügbaren Ressourcen optimiert und ein höherer Modelldurchsatz ermöglicht wird. ## Vorteile globaler regionsübergreifender Inferenz Die globale regionsübergreifende Inferenz für Claude Sonnet 4.5 von Anthropic bietet mehrere Vorteile gegenüber herkömmlichen geografischen regionenübergreifenden Inferenzprofilen: + **Verbesserter Durchsatz bei Spitzennachfrage — Die** globale regionsübergreifende Inferenz verbessert die Widerstandsfähigkeit in Zeiten hoher Nachfrage, indem Anfragen automatisch an die verfügbaren Kapazitäten weitergeleitet werden. AWS-Regionen Dieses dynamische Routing erfolgt nahtlos ohne zusätzliche Konfiguration oder Eingriffe von Entwicklern. Im Gegensatz zu herkömmlichen Ansätzen, die möglicherweise einen komplexen clientseitigen Lastenausgleich erfordern AWS-Regionen, verarbeitet die globale regionsübergreifende Inferenz Verkehrsspitzen automatisch. Dies ist besonders wichtig für geschäftskritische Anwendungen, bei denen Ausfallzeiten oder Leistungseinbußen erhebliche finanzielle oder Reputationsschäden haben können. + **Kosteneffizienz** — Die globale regionsübergreifende Inferenz für Claude Sonnet 4.5 von Anthropic bietet im Vergleich zu regionsübergreifenden Inferenzen etwa 10% Einsparungen bei den Preisen für Input- und Output-Tokens. Der Preis wird auf der Grundlage der Adresse berechnet, AWS-Region von der aus die Anfrage gestellt wurde (Quelle). AWS-Region Dies bedeutet, dass Unternehmen von einer verbesserten Widerstandsfähigkeit bei noch geringeren Kosten profitieren können. Dieses Preismodell macht globale regionsübergreifende Inferenz zu einer kostengünstigen Lösung für Unternehmen, die ihre generativen KI-Implementierungen optimieren möchten. Durch die Verbesserung der Ressourcennutzung und die Erzielung eines höheren Durchsatzes ohne zusätzliche Kosten unterstützt es Unternehmen dabei, den Wert ihrer Investition in Amazon Bedrock zu maximieren. + **Optimierte Überwachung** — Wenn Sie globale regionsübergreifende Inferenz verwenden, sollten Sie CloudTrail weiterhin Protokolleinträge in Ihrer Quelle aufzeichnen, was die Beobachtbarkeit CloudWatch und AWS-Region Verwaltung vereinfacht. Auch wenn Ihre Anfragen AWS-Regionen weltweit an verschiedenen Orten bearbeitet werden, behalten Sie mit Ihren vertrauten Überwachungstools einen zentralen Überblick über die Leistung und die Nutzungsmuster Ihrer Anwendung. AWS + **Kontingentflexibilität auf Abruf — Dank** globaler regionsübergreifender Inferenz sind Ihre Workloads nicht mehr durch individuelle regionale Kapazitäten begrenzt. Anstatt auf die in einem bestimmten Bereich verfügbare Kapazität beschränkt zu sein AWS-Region, können Ihre Anfragen dynamisch über die globale Infrastruktur weitergeleitet werden. AWS Dies ermöglicht den Zugriff auf einen viel größeren Ressourcenpool und macht es weniger kompliziert, umfangreiche Workloads und plötzliche Verkehrsspitzen zu bewältigen. ## Überlegungen zu globalen regionsübergreifenden Inferenzen Beachten Sie die folgenden Informationen zur globalen regionsübergreifenden Inferenz: + Globale regionenübergreifende Inferenzprofile bieten einen höheren Durchsatz als ein Inferenzprofil, das mit einer bestimmten Region verknüpft ist. Ein mit einer bestimmten Region verknüpftes Inferenzprofil bietet einen höheren Durchsatz als eine einzelregionale Inferenz. + Die Standardkontingente für den regionsübergreifenden Durchsatz bei der Verwendung von globalen Inferenzprofilen können Sie den Werten für **Regionsübergreifende Modellinferenz-Anfragen pro Minute für \$1\$1Model\$1** und **Regionsübergreifende Modellinferenz-Token pro Minute für \$1\$1Model\$1** unter [Service Quotas von Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) in der *Allgemeinen AWS -Referenz* entnehmen. Sie können Kontingente für das Global Cross-Region Inference Profile über die [Service Quotas Quotas-Konsole](https://console.aws.amazon.com/servicequotas/home/services/bedrock/quotas) oder mithilfe von AWS CLI-Befehlen in Ihrer **Quellregion** anfordern, anzeigen und verwalten. ## IAM-Richtlinienanforderungen für globale regionsübergreifende Inferenz Um globale regionsübergreifende Inferenzen für Ihre Benutzer zu ermöglichen, müssen Sie eine dreiteilige IAM-Richtlinie auf die Rolle anwenden. Im Folgenden finden Sie ein Beispiel für eine IAM-Richtlinie zur gezielten Steuerung. Sie können die Beispielrichtlinie durch die Richtlinie ersetzen, `` in der AWS-Region Sie arbeiten. ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "GrantGlobalCrisInferenceProfileRegionAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::inference-profile/global." ], "Condition": { "StringEquals": { "aws:RequestedRegion": "" } } }, { "Sid": "GrantGlobalCrisInferenceProfileInRegionModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "", "bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global." } } }, { "Sid": "GrantGlobalCrisInferenceProfileGlobalModelAccess", "Effect": "Allow", "Action": "bedrock:InvokeModel", "Resource": [ "arn:aws:bedrock:::foundation-model/" ], "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified", "bedrock:InferenceProfileArn": "arn:aws:bedrock:::inference-profile/global." } } } ] } ``` Der erste Teil der Richtlinie gewährt Zugriff auf das regionale Inferenzprofil in Ihrer Anfrage. AWS-Region Der zweite Teil bietet Zugriff auf die regionale FM-Ressource. Der dritte Teil gewährt Zugriff auf die globale FM-Ressource, wodurch die Fähigkeit zum regionenübergreifenden Routing aktiviert wird. Stellen Sie bei der Implementierung dieser Richtlinien sicher, dass alle drei Amazon-Ressourcennamen (ARNs) in Ihren IAM-Kontoauszügen enthalten sind: + Das regionale Inferenzprofil ARN folgt dem Muster`arn:aws:bedrock:REGION:ACCOUNT:inference-profile/global.MODEL-NAME`. Dies wird verwendet, um Zugriff auf das globale Inferenzprofil in der Quelle zu gewähren. AWS-Region + Das regionale FM verwendet`arn:aws:bedrock:REGION::foundation-model/MODEL-NAME`. Dies wird verwendet, um Zugriff auf das FM in der Quelle zu gewähren AWS-Region. + Das globale FM erfordert`arn:aws:bedrock:::foundation-model/MODEL-NAME`. Dies wird verwendet, um den Zugriff auf das FM in verschiedenen globalen Umgebungen zu ermöglichen AWS-Regionen. Für den globalen FM-ARN ist kein AWS-Region Konto angegeben, was beabsichtigt und für die regionsübergreifende Funktionalität erforderlich ist. ### Deaktivieren Sie die globale regionsübergreifende Inferenz Sie können zwischen zwei Hauptansätzen wählen, um Ablehnungsrichtlinien für globale CRIS für bestimmte IAM-Rollen zu implementieren, die jeweils unterschiedliche Anwendungsfälle und Auswirkungen haben: + **Eine IAM-Richtlinie entfernen** — Bei der ersten Methode werden eine oder mehrere der drei erforderlichen IAM-Richtlinien aus den Benutzerberechtigungen entfernt. Da Global CRIS voraussetzt, dass alle drei Richtlinien funktionieren, führt das Entfernen einer Richtlinie dazu, dass der Zugriff verweigert wird. + **Implementierung einer Ablehnungsrichtlinie** — Der zweite Ansatz besteht darin, eine explizite Ablehnungsrichtlinie zu implementieren, die speziell auf globale CRIS-Inferenzprofile abzielt. Diese Methode bietet eine klare Dokumentation Ihrer Sicherheitsabsicht und stellt sicher, dass die ausdrückliche Ablehnung auch dann Vorrang hat, wenn jemand später versehentlich die erforderlichen Zulassungsrichtlinien hinzufügt. Die Ablehnungsrichtlinie sollte eine `StringEquals` Bedingung verwenden, die dem Muster `"aws:RequestedRegion": "unspecified"` entspricht. Dieses Muster zielt speziell auf Inferenzprofile mit dem `global` Präfix ab. Bei der Implementierung von Deny-Policies ist es wichtig zu verstehen, dass das globale CRIS das Verhalten in der `aws:RequestedRegion` Branche verändert. AWS-Region Herkömmliche Ablehnungsrichtlinien, die `StringEquals` Bedingungen mit bestimmten AWS-Region Namen verwenden, wie `"aws:RequestedRegion": "us-west-2"` z. B., funktionieren bei Global CRIS nicht wie erwartet, weil der Dienst dieses Feld auf das tatsächliche Ziel festlegt und `global` nicht auf das tatsächliche Ziel. AWS-Region Wie bereits erwähnt, `"aws:RequestedRegion": "unspecified"` wird dies jedoch zum Negativ-Effekt führen. ## Anforderungen an die Service Control-Richtlinie für globale regionsübergreifende Inferenz Wenn die Sicherheitsrichtlinie Ihres Unternehmens ungenutzte Regionen blockiert, müssen Sie für globale regionsübergreifende Inferenz Ihre regionsspezifischen SCP-Bedingungen aktualisieren, SCPs um den Zugriff auf zu ermöglichen. `"aws:RequestedRegion": "unspecified"` Diese Bedingung ist spezifisch für Amazon Bedrock Global Cross-Region Inference und stellt sicher, dass Anfragen an alle unterstützten Handelsregionen weitergeleitet werden können. AWS Das folgende Beispiel für SCP blockiert alle AWS API-Aufrufe außerhalb der zugelassenen Regionen und erlaubt gleichzeitig Amazon Bedrock Global Cross-Region-Inferenzrufe, die `"unspecified"` als Region für das globale Routing verwendet werden: ``` { "Version": "2012-10-17" , "Statement": [ { "Sid": "DenyAllOutsideApprovedRegions", "Effect": "Deny", "Action": "*", "Resource": "*", "Condition": { "StringNotEquals": { "aws:RequestedRegion": [ "us-east-1", "us-east-2", "us-west-2", "unspecified" ] } } } ] } ``` ### Deaktivieren Sie die globale regionsübergreifende Inferenz Organizations mit Anforderungen an den Datenstandort oder die Einhaltung von Vorschriften sollten prüfen, ob Global Cross-Region-Inference zu ihrem Compliance-Framework passt, da Anfragen auch in anderen unterstützten AWS Geschäftsregionen bearbeitet werden können. Um die globale regionsübergreifende Inferenz explizit zu deaktivieren, implementieren Sie die folgende SCP-Richtlinie: ``` { "Effect": "Deny", "Action": "bedrock:*", "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified" }, "ArnLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:*:*:inference-profile/global.*" } } } ``` Dieser SCP lehnt ausdrücklich die globale regionsübergreifende Inferenz ab, da die `"ArnLike"` Bedingungen `"aws:RequestedRegion"` is `"unspecified"` und the auf Inferenzprofile mit dem Präfix im `global` ARN abzielen. ### AWS Implementierung von Control Tower Von manueller Bearbeitung, die vom AWS Control Tower SCPs verwaltet wird, wird dringend abgeraten, da dies zu Abweichungen führen kann. Verwenden Sie stattdessen die von Control Tower bereitgestellten Mechanismen, um diese Ausnahmen zu verwalten. Zu den Kernprinzipien gehören entweder die Ausweitung der bestehenden Regionsverweigerungskontrollen oder die Aktivierung von Regionen und die anschließende Anwendung einer benutzerdefinierten, bedingten Sperrrichtlinie. Eine ausführliche step-by-step Anleitung zur Implementierung regionsübergreifender Inferenz mit Control Tower finden Sie im Blogbeitrag [Enable Amazon Bedrock Cross-region Inference](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/) in Multi-Account-Umgebungen. Dies umfasst die Erweiterung der bestehenden Region Deny SCPs, die Aktivierung verweigerter Regionen mit benutzerdefinierten SCPs Einstellungen und die Verwendung von Customizations for AWS Control Tower (cFCT) zur Bereitstellung benutzerdefinierter AS-Infrastrukturen SCPs als Code. ## Das Anforderungslimit für globale regionsübergreifende Inferenzen wird erhöht Wenn Sie globale CRIS-Inferenzprofile verwenden, können Sie globales CRIS aus über 20 unterstützten Quellen verwenden. AWS-Regionen Da es sich um ein globales Limit handelt, müssen Anfragen zum Anzeigen, Verwalten oder Erhöhen von Kontingenten für globale regionsübergreifende Inferenzprofile über die Service Quotas Quota-Konsole oder die AWS Befehlszeilenschnittstelle (AWS CLI) in der angeforderten Quelle gestellt werden. AWS-Region Gehen Sie wie folgt vor, um eine Erhöhung des Limits zu beantragen: 1. Melden Sie sich in Ihrem AWS Konto bei Service Quotas Quotas-Konsole an. 1. Wählen Sie im Navigationsbereich **AWS -Services**. 1. Suchen Sie in der Liste der Dienste nach **Amazon Bedrock** und wählen Sie es aus. 1. Verwenden Sie in der Liste der Kontingente für Amazon Bedrock den Suchfilter, um die spezifischen globalen CRIS-Kontingente zu finden. Beispiel: + Globales regionsübergreifendes Modell Inferenz-Token pro Minute für Anthropic Claude Sonnet 4.5 V1 1. Wählen Sie das Kontingent aus, das Sie erhöhen möchten. 1. Wählen Sie **Erhöhung auf Kontoebene beantragen** aus. 1. Geben Sie den gewünschten neuen Kontingentwert ein. 1. Wählen Sie **Anfrage**, um Ihre Anfrage einzureichen. Denken Sie bei der Berechnung der erforderlichen Kontingenterhöhung daran, die Burndown-Rate zu berücksichtigen. Diese ist definiert als die Rate, mit der Eingabe- und Ausgabetoken in die Token-Kontingentnutzung für das Drosselungssystem umgewandelt werden. Die folgenden Modelle haben eine **5-fache Burn-Down-Rate für Ausgabetoken (1 Ausgabetoken verbraucht 5 Token** aus Ihren Kontingenten): + Der Anthropiker Claude, Opus 4 + Anthropisches Claude-Sonett 4.5 + Anthropisches Claude-Sonett 4 + Anthropisches Claude 3.7 Sonett Bei allen anderen Modellen beträgt die Burndown-Rate **1:1** (1 Ausgabetoken verbraucht 1 Token aus Ihrem Kontingent). Bei Eingabe-Token beträgt das Verhältnis von Token zu Kontingent 1:1. Die Berechnung für die Gesamtzahl der Token pro Anfrage lautet wie folgt: `Input token count + Cache write input tokens + (Output token count x Burndown rate)` ## Verwenden Sie globale regionsübergreifende Inferenz Um die globale regionsübergreifende Inferenz mit Claude Sonnet 4.5 von Anthropic zu verwenden, müssen Entwickler die folgenden wichtigen Schritte ausführen: + **Verwenden Sie die globale Inferenzprofil-ID** — Geben Sie bei API-Aufrufen an Amazon Bedrock die globale Claude Sonnet 4.5-Inferenzprofil-ID (`global.anthropic.claude-sonnet-4-5-20250929-v1:0`) von Anthropic anstelle einer -spezifischen Modell-ID an. AWS-Region + **IAM-Berechtigungen konfigurieren — Erteilen Sie die entsprechenden IAM-Berechtigungen für** den Zugriff auf das Inferenzprofil und auf ein potenzielles Ziel. FMs AWS-Regionen Globale regionsübergreifende Inferenz wird unterstützt für: + Modellinferenz auf Abruf + Batch-Inferenz + Kundendienstmitarbeiters (Kundendienstmitarbeiter) + Bewertung von Modellen + Prompt Management + Schnelle Abläufe **Anmerkung** Das globale Inferenzprofil wird für On-Demand-Modellinferenz, Batch-Inferenz, Agenten, Modellbewertung, Prompt-Management und Prompt-Abläufe unterstützt. ## Implementieren Sie globale regionsübergreifende Inferenz Die Implementierung globaler regionsübergreifender Inferenz mit Claude Sonnet 4.5 von Anthropic ist unkompliziert und erfordert nur wenige Änderungen an Ihrem vorhandenen Anwendungscode. Das Folgende ist ein Beispiel dafür, wie Sie Ihren Code in Python aktualisieren können: ``` import boto3 import json bedrock = boto3.client('bedrock-runtime', region_name='us-east-1') model_id = "global.anthropic.claude-sonnet-4-5-20250929-v1:0" response = bedrock.converse( messages=[{"role": "user", "content": [{"text": "Explain cloud computing in 2 sentences."}]}], modelId=model_id, ) print("Response:", response['output']['message']['content'][0]['text']) print("Token usage:", response['usage']) print("Total tokens:", response['usage']['totalTokens']) ``` # So richten Sie eine Modellaufrufressource mithilfe von Inferenzprofilen ein *Inferenzprofile* sind eine Ressource in Amazon Bedrock, die ein Modell sowie eine oder mehrere Regionen definieren, an die das Inferenzprofil Modellaufrufe weiterleiten kann. Sie können Inferenzprofile für folgende Aufgaben verwenden: + **Nutzungsmetriken verfolgen** — Richten Sie CloudWatch Protokolle ein und senden Sie Modellaufrufanforderungen mit einem Anwendungsinferenzprofil, um Nutzungsmetriken für den Modellaufruf zu sammeln. Sie können diese Metriken überprüfen, wenn Sie Informationen zum Inferenzprofil anzeigen, und diese als Grundlage für Ihre Entscheidungen verwenden. Weitere Informationen zum Einrichten von CloudWatch Protokollen finden Sie unter. [Überwachen Sie den Modellaufruf mithilfe von CloudWatch Logs und Amazon S3](model-invocation-logging.md) + **Verwenden von Tags zur Kostenüberwachung** – Fügen Sie Tags an ein Anwendungsinferenzprofil an, um die Kosten nachzuverfolgen, wenn Sie On-Demand-Modellaufrufanfragen senden. Weitere Informationen zur Verwendung von Tags für die Kostenzuweisung finden Sie im AWS Billing Benutzerhandbuch unter [Organisieren und Nachverfolgen von AWS Kosten mithilfe von Kostenzuordnungs-Tags](https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html). + **Regionalübergreifende Inferenz** – Erhöhen Sie Ihren Durchsatz, indem Sie ein Inferenzprofil verwenden, das mehrere AWS-Regionen umfasst. Das Inferenzprofil verteilt Modellaufrufanforderungen auf diese Regionen, um Durchsatz und Leistung zu erhöhen. Weitere Informationen zur regionsübergreifenden Inferenz finden Sie unter [Erhöhen des Durchsatzes mit regionenübergreifender Inferenz](cross-region-inference.md). Amazon Bedrock bietet die folgenden Arten von Inferenzprofilen: + **Regionsübergreifende (systemdefinierte) Inferenzprofile** – Inferenzprofile, die in Amazon Bedrock vordefiniert sind und mehrere Regionen umfassen, an die Anfragen für ein Modell weitergeleitet werden können. + **Anwendungsinferenzprofile** – Inferenzprofile, die ein Benutzer erstellt, um Kosten und Modellnutzung zu verfolgen. Sie können ein Inferenzprofil erstellen, das Modellaufrufanforderungen an eine Region oder mehrere Regionen weiterleitet: + Um ein Inferenzprofil zu erstellen, das Kosten und Nutzung für ein Modell in einer einzelnen Region verfolgt, geben Sie das Basismodell in der Region an, an die das Inferenzprofil Anfragen weiterleiten soll. + Um ein Inferenzprofil zu erstellen, das Kosten und Nutzung für ein Modell über mehrere Regionen hinweg verfolgt, geben Sie das regionsübergreifende (systemdefinierte) Inferenzprofil an, das das Modell und die Regionen definiert, an die das Inferenzprofil Anfragen weiterleiten soll. Sie können Inferenzprofile mit den folgenden Features verwenden, um Anfragen an mehrere Regionen weiterzuleiten und um die Nutzung und Kosten von Aufrufanforderungen zu verfolgen, die mit diesen Features gestellt wurden: + [Modellinferenz — Verwenden Sie ein Inferenzprofil, wenn Sie einen Modellaufruf ausführen, indem Sie ein Inferenzprofil in einem Playground in der Amazon Bedrock-Konsole auswählen oder indem Sie den ARN des Inferenzprofils angeben, wenn Sie die Operationen [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html),, [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)Converse und aufrufen. [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) Weitere Informationen finden Sie unter [So senden Sie Prompts und generieren Antworten mithilfe der Modellinferenz](inference.md). + Einbettung von Wissensdatenbank-Vektoren und Generierung von Antworten – Verwenden Sie ein Inferenzprofil, wenn Sie nach der Abfrage einer Wissensdatenbank eine Antwort generieren oder wenn Sie Nicht-Text-Informationen in einer Datenquelle parsen. Weitere Informationen erhalten Sie unter [Testen Ihrer Wissensdatenbank mit Abfragen und Antworten](knowledge-base-test.md) und [Parsing-Optionen für Ihre Datenquelle](kb-advanced-parsing.md). + Modellbewertung – Sie können ein Inferenzprofil als Modell zur Bewertung senden, wenn Sie einen Auftrag zur Modellbewertung übermitteln. Weitere Informationen finden Sie unter [Die Leistung von Amazon-Bedrock-Ressourcen bewerten](evaluation.md). + Prompt-Management – Sie können ein regionenübergreifendes Inferenzprofil verwenden, wenn Sie eine Antwort für einen Prompt generieren, den Sie im Prompt-Management erstellt haben. Weitere Informationen finden Sie unter [Erstellen und Speichern wiederverwendbarer Prompts mit dem Prompt-Management in Amazon Bedrock](prompt-management.md). + Flows – Sie können ein regionenübergreifendes Inferenzprofil verwenden, wenn Sie eine Antwort für einen Prompt generieren, den Sie inline in einem Prompt-Knoten innerhalb eines Flows definiert haben. Weitere Informationen finden Sie unter [Erstellen Sie mit Amazon Bedrock Flows einen end-to-end generativen KI-Workflow](flows.md). Der Preis für die Verwendung eines Inferenzprofils wird auf Grundlage des Modellpreises in der Region berechnet, aus der Sie das Inferenzprofil aufrufen. Weitere Informationen zur Preisgestaltung finden Sie unter [Amazon Bedrock – Preise](https://aws.amazon.com/bedrock/pricing/). Weitere Informationen zum Durchsatz, den ein regionsübergreifendes Inferenzprofil bieten kann, finden Sie unter [Erhöhen des Durchsatzes mit regionenübergreifender Inferenz](cross-region-inference.md). **Topics** + [Unterstützte Regionen und Modelle für Inferenzprofile](inference-profiles-support.md) + [Voraussetzungen für Inferenzprofile](inference-profiles-prereq.md) + [So erstellen Sie ein Anwendungsinferenzprofil](inference-profiles-create.md) + [So modifiziere Sie die Tags für ein Anwendungsinferenzprofil](inference-profiles-modify.md) + [So zeigen Sie Informationen zu einem Inferenzprofil an](inference-profiles-view.md) + [So verwenden Sie ein Inferenzprofil beim Modellaufruf](inference-profiles-use.md) + [So löschen Sie ein Anwendungsinferenzprofil](inference-profiles-delete.md) # Unterstützte Regionen und Modelle für Inferenzprofile Eine Liste der in Amazon Bedrock unterstützten Regionscodes und Endpunkte finden Sie unter [Endpunkte und Kontingente von Amazon Bedrock](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bedrock_region). In diesem Thema werden vordefinierte Inferenzprofile beschrieben, die Sie verwenden können, sowie die Regionen und Modelle, die Anwendungsinferenzprofile unterstützen. **Topics** + [Unterstützte regionsübergreifende Inferenzprofile](#inference-profiles-support-system) + [Unterstützte Regionen und Modelle für Anwendungsinferenzprofile](#inference-profiles-support-user) ## Unterstützte regionsübergreifende Inferenzprofile Sie können eine [regionsübergreifende Inferenz](cross-region-inference.md) mit regionsübergreifenden (systemdefinierten) Inferenzprofilen durchführen. Mit regionsübergreifender Inferenz können Sie ungeplante Datenverkehrsspitzen nahtlos verwalten, indem Sie Rechenleistung auf verschiedene Arten nutzen. AWS-Regionen Mit regionsübergreifender Inferenz können Sie den Datenverkehr auf mehrere AWS-Regionen verteilen. Regionenübergreifende (systemdefinierte) Inferenzprofile werden nach dem Modell benannt, das sie unterstützen, und durch die Regionen definiert, die sie unterstützen. Um zu verstehen, wie ein regionenübergreifendes Inferenzprofil Ihre Anforderungen verarbeitet, lesen Sie die folgenden Definitionen: + **Quellregion** – Die Region, aus der Sie die API-Anfrage stellen, die das Inferenzprofil spezifiziert. + **Zielregion** – Eine Region, an die der Amazon-Bedrock-Service die Anforderung aus der Quellregion weiterleiten kann. Wenn Sie ein regionenübergreifendes Inferenzprofil in Amazon Bedrock aufrufen, stammt Ihre Anforderung aus einer Quellregion und wird automatisch an eine der in diesem Profil definierten Zielregionen weitergeleitet, wodurch die Leistung optimiert wird. Die Zielregionen für globale regionenübergreifende Inferenzprofile umfassen alle kommerziellen Regionen. **Anmerkung** Die Zielregionen in einem regionsübergreifenden Inferenzprofil können *Opt-in-Regionen enthalten. Dabei handelt es sich um Regionen*, die Sie explizit auf oder Organisationsebene aktivieren müssen. AWS-Konto Weitere Informationen finden Sie unter [AWS-Regionen In Ihrem Konto aktivieren oder deaktivieren](https://docs.aws.amazon.com/accounts/latest/reference/manage-acct-regions.html). Bei Verwendung eines regionsübergreifenden Inferenzprofils kann Ihre Inferenzanforderung an eine der Zielregionen im Profil weitergeleitet werden, auch wenn Sie sich in Ihrem Konto nicht für solche Regionen angemeldet haben. Die Richtlinien zur Servicesteuerung AWS Identity and Access Management (SCPs) und (IAM) steuern zusammen, wo regionsübergreifende Inferenzen zulässig sind. Mithilfe können Sie steuern SCPs, welche Regionen Amazon Bedrock für Inferenzen verwenden kann, und mithilfe von IAM-Richtlinien können Sie definieren, welche Benutzer oder Rollen berechtigt sind, Inferenzen auszuführen. Wenn eine Zielregion in einem regionsübergreifenden Inferenzprofil in Ihrem blockiert ist, schlägt die Anfrage fehl SCPs, auch wenn andere Regionen weiterhin zugelassen sind. Um einen effizienten Betrieb mit regionsübergreifender Inferenz zu gewährleisten, können Sie Ihre Richtlinien SCPs und Ihre IAM-Richtlinien aktualisieren, um alle erforderlichen Amazon Bedrock-Inferenzaktionen (z. B. `bedrock:InvokeModel*` oder`bedrock:CreateModelInvocationJob`) in allen Zielregionen zuzulassen, die in Ihrem ausgewählten Inferenzprofil enthalten sind. Weitere Informationen finden Sie unter [Aktivieren der regionsübergreifenden Amazon-Bedrock-Inferenz in Umgebungen mit mehreren Konten](https://aws.amazon.com/blogs/machine-learning/enable-amazon-bedrock-cross-region-inference-in-multi-account-environments/). **Anmerkung** Einige Inferenzprofile werden an unterschiedliche Zielregionen weitergeleitet, je nachdem, aus welcher Quellregion Sie sie aufrufen. Wenn Sie beispielsweise `us.anthropic.claude-3-haiku-20240307-v1:0` von USA Ost (Ohio) aus aufrufen, können Anforderungen an `us-east-1`, `us-east-2` oder `us-west-2` weitergeleitet werden. Wenn Sie den Parameter jedoch von USA West (Oregon) aus aufrufen, können Anforderungen nur an `us-east-1` und `us-west-2` weitergeleitet werden. Um die Quell- und Zielregionen für ein Inferenzprofil zu überprüfen, können Sie einen der folgenden Schritte ausführen: + Erweitern Sie den entsprechenden Abschnitt in der [Liste der unterstützten regionsübergreifenden Inferenzprofile](#inference-profiles-support). + Senden Sie eine [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) aus einer Quellregion und geben Sie den Amazon-Ressourcennamen (ARN) oder die ID des Inferenzprofils in das `inferenceProfileIdentifier` Feld ein. Das `models` Feld in der Antwort ist einer Modellliste zugeordnet ARNs, in der Sie jede Zielregion identifizieren können. **Anmerkung** Das globale regionsübergreifende Inferenzprofil für ein bestimmtes Modell kann sich im Laufe der Zeit ändern, da weitere kommerzielle Regionen AWS hinzugefügt werden, in denen Ihre Anfragen bearbeitet werden können. Wenn ein Inferenzprofil jedoch an eine Region gebunden ist (z. B. USA, EU oder APAC), ändert sich die Liste der Zielregionen nicht. AWS könnte neue Inferenzprofile erstellen, die neue Regionen einbeziehen. Sie können Ihre Systeme so aktualisieren, dass sie diese Inferenzprofile verwenden, indem Sie sie IDs in Ihrem Setup auf die neuen ändern. Das globale regionenübergreifende Inferenzprofil wird derzeit nur für das Anthropic Claude Sonnet 4-Modell für die folgenden Quellregionen unterstützt: USA West (Oregon), USA Ost (Nord-Virginia), USA Ost (Ohio), Europa (Irland) und Asien-Pazifik (Tokio). Die Zielregionen für das globale Inferenzprofil umfassen alle kommerziellen AWS-Regionen. Erweitern Sie einen der folgenden Abschnitte, um Informationen über ein regionsübergreifendes Inferenzprofil, die Quellregionen, aus denen es aufgerufen werden kann und die Zielregionen, an die es Anfragen weiterleiten kann, anzuzeigen. ### WELTWEIT Amazon Nova 2 Lite Um das GLOBAL Amazon Nova 2 Lite-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.amazon.nova-2-lite-v1:0 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### GLOBALER Anthropiker Claude Opus 4.5 Um das GLOBAL Anthropic Claude Opus 4.5-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.anthropic.claude-opus-4-5-20251101-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-claude.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### GLOBAL TwelveLabs Pegasus v1.2 Um das GLOBAL TwelveLabs Pegasus v1.2-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.twelvelabs.pegasus-1-2-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-pegasus.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Anthropic Claude Haiku 4.5 Um das Inferenzprofil für Global Anthropic Claude Haiku 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Globaler Anthropiker Claude Opus 4.6 Um das Global Anthropic Claude Opus 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.anthropic.claude-opus-4-6-v1 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Globaler Anthropiker Claude Sonnet 4.6 Um das Global Anthropic Claude Sonnet 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.anthropic.claude-sonnet-4-6 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Claude Sonnet 4 Um das Inferenzprofil für Global Claude Sonnet 4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.anthropic.claude-sonnet-4-20250514-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Claude Sonett 4.5 Um das Inferenzprofil für Global Claude Sonnet 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | af-south-1 | Commercial AWS Regions af-south-1 | | ap-east-2 | Commercial AWS Regions ap-east-2 | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ap-southeast-5 | Commercial AWS Regions ap-southeast-5 | | ap-southeast-7 | Commercial AWS Regions ap-southeast-7 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | ca-west-1 | Commercial AWS Regions ca-west-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | il-central-1 | Commercial AWS Regions il-central-1 | | me-central-1 | Commercial AWS Regions me-central-1 | | me-south-1 | Commercial AWS Regions me-south-1 | | mx-central-1 | Commercial AWS Regions mx-central-1 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Global Cohere Embed v4 Um das Inferenzprofil für Global Cohere Embed v4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` global.cohere.embed-v4:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-embed.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | Commercial AWS Regions ap-northeast-1 | | ap-northeast-2 | Commercial AWS Regions ap-northeast-2 | | ap-northeast-3 | Commercial AWS Regions ap-northeast-3 | | ap-south-1 | Commercial AWS Regions ap-south-1 | | ap-south-2 | Commercial AWS Regions ap-south-2 | | ap-southeast-1 | Commercial AWS Regions ap-southeast-1 | | ap-southeast-2 | Commercial AWS Regions ap-southeast-2 | | ap-southeast-3 | Commercial AWS Regions ap-southeast-3 | | ap-southeast-4 | Commercial AWS Regions ap-southeast-4 | | ca-central-1 | Commercial AWS Regions ca-central-1 | | eu-central-1 | Commercial AWS Regions eu-central-1 | | eu-central-2 | Commercial AWS Regions eu-central-2 | | eu-north-1 | Commercial AWS Regions eu-north-1 | | eu-south-1 | Commercial AWS Regions eu-south-1 | | eu-south-2 | Commercial AWS Regions eu-south-2 | | eu-west-1 | Commercial AWS Regions eu-west-1 | | eu-west-2 | Commercial AWS Regions eu-west-2 | | eu-west-3 | Commercial AWS Regions eu-west-3 | | sa-east-1 | Commercial AWS Regions sa-east-1 | | us-east-1 | Commercial AWS Regions us-east-1 | | us-east-2 | Commercial AWS Regions us-east-2 | | us-west-1 | Commercial AWS Regions us-west-1 | | us-west-2 | Commercial AWS Regions us-west-2 | ### Vereinigte Staaten Amazon Nova 2 Lite Um das Amazon Nova 2 Lite-Inferenzprofil für die USA aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.amazon.nova-2-lite-v1:0 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude 3 Haiku Um das Inferenzprofil für US Anthropic Claude 3 Haiku aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-haiku-20240307-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3 Opus Um das Inferenzprofil für US Anthropic Claude 3 Opus aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-opus-20240229-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3 Sonnet Um das Inferenzprofil für US Anthropic Claude 3 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-sonnet-20240229-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3.5 Haiku Um das Inferenzprofil für US Anthropic Claude 3.5 Haiku aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-5-haiku-20241022-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude 3.5 Sonnet Um das Inferenzprofil für US Anthropic Claude 3.5 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Anthropic Claude 3.5 Sonnet v2 Um das Inferenzprofil für US Anthropic Claude 3.5 Sonnet v2 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-5-sonnet-20241022-v2:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude 3.7 Sonnet Um das Inferenzprofil für US Anthropic Claude 3.7 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude Haiku 4.5 Um das Inferenzprofil für US Anthropic Claude Haiku 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US-amerikanischer Ethnologe Claude Opus 4.5 Um das US Anthropic Claude Opus 4.5-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-opus-4-5-20251101-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-claude.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US-amerikanischer Ethnologe Claude Opus 4.6 Geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an, um das US Anthropic Claude Opus 4.6-Inferenzprofil aufzurufen: ``` us.anthropic.claude-opus-4-6-v1 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Anthropic Claude Sonnet 4.5 Um das Inferenzprofil für US Anthropic Claude Sonnet 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Der US-amerikanische Ethnologe Claude Sonnet 4.6 Um das US Anthropic Claude Sonnet 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-sonnet-4-6 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 us-east-1 us-east-2 us-west-2 | | ca-west-1 | ca-west-1 us-east-1 us-east-2 us-west-2 | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Claude Opus 4 Um das Inferenzprofil für US Claude Opus 4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-opus-4-20250514-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Claude Opus 4.1 Um das Inferenzprofil für US Claude Opus 4.1 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-opus-4-1-20250805-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Claude Sonnet 4 Um das Inferenzprofil für US Claude Sonnet 4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.anthropic.claude-sonnet-4-20250514-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Cohere Embed v4 Um das Inferenzprofil für US Cohere Embed v4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.cohere.embed-v4:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-embed.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### DeepSeekUS-R1 Um das US DeepSeek -R1-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.deepseek.r1-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](https://www.deepseek.com/) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Llama 4 Maverick 17B Instruct Um das Inferenzprofil für US Llama 4 Maverick 17B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama4-maverick-17b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Llama 4 Scout 17B Instruct Um das Inferenzprofil für US Llama 4 Scout 17B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama4-scout-17b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.1 70B Instruct Um das Inferenzprofil für US Meta Llama 3.1 70B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-1-70b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.1 8B Instruct Um das Inferenzprofil für US Meta Llama 3.1 8B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-1-8b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.1 Instruct 405B Um das Inferenzprofil für US Meta Llama 3.1 Instruct 405B aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-1-405b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-2 | us-east-1 us-east-2 us-west-2 | ### US Meta Llama 3.2 11B Instruct Um das Inferenzprofil für US Meta Llama 3.2 11B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-2-11b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.2 1B Instruct Um das Inferenzprofil für US Meta Llama 3.2 1B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-2-1b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.2 3B Instruct Um das Inferenzprofil für US Meta Llama 3.2 3B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-2-3b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.2 90B Instruct Um das Inferenzprofil für US Meta Llama 3.2 90B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-2-90b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-west-2 | ### US Meta Llama 3.3 70B Instruct Um das Inferenzprofil für US Meta Llama 3.3 70B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.meta.llama3-3-70b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Mistral Pixtral Large 25.02 Um das Inferenzprofil für US Mistral Pixtral Large 25.02 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.mistral.pixtral-large-2502-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-mistral.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### USA Nova Lite Um das Inferenzprofil für US Nova Lite aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.amazon.nova-lite-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### USA Nova Micro Um das Inferenzprofil für US Nova Micro aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.amazon.nova-micro-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Nova Premier Um das Inferenzprofil für US Nova Premier aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.amazon.nova-premier-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### USA Nova Pro Um das Inferenzprofil für US Nova Pro aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.amazon.nova-pro-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Pegasus v1.2 Um das US Pegasus v1.2-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.twelvelabs.pegasus-1-2-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-pegasus.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Stabiles Image der USA Konservatives gehobenes Niveau Um das US Stable Image Conservative Upscale-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-conservative-upscale-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](stable-image-services.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Control Sketch Um das Inferenzprofil für US Stable Image Control Sketch aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-control-sketch-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Control Structure Um das Inferenzprofil für US Stable Image Control Structure aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-control-structure-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Stabiles Image der USA Kreatives Upscale Um das Creative Upscale-Inferenzprofil von US Stable Image aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-creative-upscale-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](stable-image-services.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Erase Object Um das Inferenzprofil für US Stable Image Erase Object aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-erase-object-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Stabiles US-Image Schnelles Hochskalieren Um das US Stable Image Fast Upscale-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-fast-upscale-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](stable-image-services.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Inpaint Um das Inferenzprofil für US Stable Image Inpaint aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-inpaint-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### Outpaint von Stable Image in den USA Um das US Stable Image Outpaint-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-outpaint-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](stable-image-services.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Remove Background Um das Inferenzprofil für US Stable Image Remove Background aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-remove-background-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Search and Recolor Um das Inferenzprofil für US Stable Image Search and Recolor aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-search-recolor-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Search and Replace Um das Inferenzprofil für US Stable Image Search and Replace aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-search-replace-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Style Guide Um das Inferenzprofil für US Stable Image Style Guide aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-image-style-guide-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US Stable Image Style Transfer Um das Inferenzprofil für US Stable Image Style Transfer aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.stability.stable-style-transfer-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-stability-diffusion.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US TwelveLabs Marengo Embed 3.0 Um das US TwelveLabs Marengo Embed 3.0-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.twelvelabs.marengo-embed-3-0-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-marengo.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | ### US TwelveLabs Marengo Embed v2.7 Um das US TwelveLabs Marengo Embed v2.7-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.twelvelabs.marengo-embed-2-7-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-marengo.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-1 us-west-2 | ### US-Autorin Palmyra X4 Um das US Writer Palmyra X4-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.writer.palmyra-x4-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-writer-palmyra.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US-Autorin Palmyra X5 Um das US Writer Palmyra X5-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us.writer.palmyra-x5-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-writer-palmyra.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-east-1 | us-east-1 us-east-2 us-west-2 | | us-east-2 | us-east-1 us-east-2 us-west-2 | | us-west-1 | us-east-1 us-east-2 us-west-1 us-west-2 | | us-west-2 | us-east-1 us-east-2 us-west-2 | ### US-GOV Claude 3 Haiku Um das Inferenzprofil für US-GOV Claude 3 Haiku aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us-gov.anthropic.claude-3-haiku-20240307-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-gov-east-1 | us-gov-east-1 us-gov-west-1 | ### US-GOV Claude 3.5 Sonnet Um das Inferenzprofil für US-GOV Claude 3.5 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us-gov.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-gov-east-1 | us-gov-east-1 us-gov-west-1 | ### US-GOV Claude 3.7 Sonnet Um das Inferenzprofil für US-GOV Claude 3.7 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us-gov.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-gov-east-1 | us-gov-east-1 us-gov-west-1 | ### US-Gouverneur Claude Sonnet 4.5 Um das Claude Sonnet 4.5-Inferenzprofil der US-Regierung aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` us-gov.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-claude.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | us-gov-east-1 | us-gov-west-1 | | us-gov-west-1 | us-gov-west-1 | ### APAC Anthropic Claude 3 Haiku Um das Inferenzprofil für APAC US Anthropic Claude 3 Haiku aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.anthropic.claude-3-haiku-20240307-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3 Sonnet Um das Inferenzprofil für APAC Anthropic Claude 3 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.anthropic.claude-3-sonnet-20240229-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3.5 Sonnet Um das Inferenzprofil für APAC Anthropic Claude 3.5 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3.5 Sonnet v2 Um das Inferenzprofil für APAC Anthropic Claude 3.5 Sonnet v2 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.anthropic.claude-3-5-sonnet-20241022-v2:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | ### APAC Anthropic Claude 3.7 Sonnet Um das Inferenzprofil für APAC Anthropic Claude 3.7 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 | ### APAC Claude Sonnet 4 Um das Inferenzprofil für APAC Claude Sonnet 4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.anthropic.claude-sonnet-4-20250514-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-northeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-south-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Nova Lite Um das Inferenzprofil für APAC Nova Lite aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.amazon.nova-lite-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Nova Micro Um das Inferenzprofil für APAC Nova Micro aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.amazon.nova-micro-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Nova Pro Um das Inferenzprofil für APAC Nova Pro aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.amazon.nova-pro-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-east-2 | ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-northeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-south-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-southeast-1 ap-southeast-2 | | ap-southeast-3 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | | ap-southeast-4 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | | ap-southeast-5 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-5 | | ap-southeast-7 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 ap-southeast-7 | | me-central-1 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 me-central-1 | ### APAC Pegasus v1.2 Um das Inferenzprofil für APAC Pegasus v1.2 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.twelvelabs.pegasus-1-2-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-pegasus.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-4 | ### APAC TwelveLabs Marengo Embed v2.7 Um das APAC TwelveLabs Marengo Embed v2.7-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` apac.twelvelabs.marengo-embed-2-7-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-marengo.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-2 | ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 ap-southeast-4 | ### AU Anthropic Claude Sonnet 4.5 Um das Inferenzprofil für AU Anthropic Claude Sonnet 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` au.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### AU Anthropic Claude Haiku 4.5 Um das Inferenzprofil für AU Anthropic Claude Haiku 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` au.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### AU Anthropic Claude Opus 4.6 Um das AU Anthropic Claude Opus 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` au.anthropic.claude-opus-4-6-v1 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### AU Anthropic Claude Sonett 4.6 Um das AU Anthropic Claude Sonnet 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` au.anthropic.claude-sonnet-4-6 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-southeast-2 | ap-southeast-2 ap-southeast-4 | | ap-southeast-4 | ap-southeast-2 ap-southeast-4 | ### CA Nova Lite Um das Inferenzprofil für CA Nova Lite aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` ca.amazon.nova-lite-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ca-central-1 | ca-central-1 ca-west-1 | | ca-west-1 | ca-central-1 ca-west-1 | ### EU Amazon Nova 2 Lite Um das Amazon Nova 2 Lite-Inferenzprofil EU aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.amazon.nova-2-lite-v1:0 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3 Haiku Um das Inferenzprofil für EU Anthropic Claude 3 Haiku aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-3-haiku-20240307-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3 Sonnet Um das Inferenzprofil für EU Anthropic Claude 3 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-3-sonnet-20240229-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3.5 Sonnet Um das Inferenzprofil für EU Anthropic Claude 3.5 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-3-5-sonnet-20240620-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude 3.7 Sonnet Um das Inferenzprofil für EU Anthropic Claude 3.7 Sonnet aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-3-7-sonnet-20250219-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | ### EU Anthropic Claude Haiku 4.5 Um das Inferenzprofil für EU Anthropic Claude Haiku 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU-Anthropiker Claude Opus 4.5 Um das EU Anthropic Claude Opus 4.5-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-opus-4-5-20251101-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-claude.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU-Anthropiker Claude Opus 4.6 Um das EU Anthropic Claude Opus 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-opus-4-6-v1 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Anthropic Claude Sonnet 4.5 Um das Inferenzprofil für EU Anthropic Claude Sonnet 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU-Ethnologe Claude Sonnet 4.6 Um das EU Anthropic Claude Sonnet 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-sonnet-4-6 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Claude Sonnet 4 Um das Inferenzprofil für EU Claude Sonnet 4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.anthropic.claude-sonnet-4-20250514-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 il-central-1 | ### EU Cohere Embed v4 Um das Inferenzprofil für EU Cohere Embed v4 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.cohere.embed-v4:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-embed.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU Meta Llama 3.2 1B Instruct Um das Inferenzprofil für EU Meta Llama 3.2 1B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.meta.llama3-2-1b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Meta Llama 3.2 3B Instruct Um das Inferenzprofil für EU Meta Llama 3.2 3B Instruct aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.meta.llama3-2-3b-instruct-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-meta.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-west-1 eu-west-3 | ### EU Mistral Pixtral Large 25.02 Um das Inferenzprofil für EU Mistral Pixtral Large 25.02 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.mistral.pixtral-large-2502-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-mistral.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | ### EU Nova Lite Um das Inferenzprofil für EU Nova Lite aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.amazon.nova-lite-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 | ### EU Nova Micro Um das Inferenzprofil für EU Nova Micro aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.amazon.nova-micro-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 | ### EU Nova Pro Um das Inferenzprofil für EU Nova Pro aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.amazon.nova-pro-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](https://docs.aws.amazon.com/nova/latest/userguide/getting-started-schema.html). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-west-1 eu-west-3 | | il-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-west-1 eu-west-3 il-central-1 | ### EU TwelveLabs Marengo Embed 3.0 Um das EU TwelveLabs Marengo Embed 3.0-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.twelvelabs.marengo-embed-3-0-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-marengo.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU TwelveLabs Marengo Embed v2.7 Um das EU TwelveLabs Marengo Embed v2.7-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.twelvelabs.marengo-embed-2-7-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-marengo.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### EU TwelveLabs Pegasus v1.2 Um das EU TwelveLabs Pegasus v1.2-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` eu.twelvelabs.pegasus-1-2-v1:0 ``` [Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter Link.](model-parameters-pegasus.md) Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | eu-central-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-central-2 | eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-north-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-south-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-1 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | | eu-west-2 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 | | eu-west-3 | eu-central-1 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-3 | ### JP Amazon Nova 2 Lite Um das JP Amazon Nova 2 Lite-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` jp.amazon.nova-2-lite-v1:0 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | ### JP Anthropic Claude Haiku 4.5 Um das Inferenzprofil für JP Anthropic Claude Haiku 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` jp.anthropic.claude-haiku-4-5-20251001-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | | ap-northeast-3 | ap-northeast-1 ap-northeast-3 | ### JP Anthropic Claude Sonnet 4.5 Um das Inferenzprofil für JP Anthropic Claude Sonnet 4.5 aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` jp.anthropic.claude-sonnet-4-5-20250929-v1:0 ``` Weitere Informationen zu Inferenzparametern für dieses Modell finden Sie unter [Link](model-parameters-claude.md). Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | | ap-northeast-3 | ap-northeast-1 ap-northeast-3 | ### JP Anthropic Claude Sonett 4.6 Um das JP Anthropic Claude Sonnet 4.6-Inferenzprofil aufzurufen, geben Sie die folgende Inferenzprofil-ID in einer der Quellregionen an: ``` jp.anthropic.claude-sonnet-4-6 ``` Die folgende Tabelle zeigt die Quellregionen, von denen aus Sie das Inferenzprofil aufrufen können sowie die Zielregionen, an die Anfragen weitergeleitet werden können: | Quellregionen | Zielregionen | | --- | --- | | ap-northeast-1 | ap-northeast-1 ap-northeast-3 | | ap-northeast-3 | ap-northeast-1 ap-northeast-3 | ## Unterstützte Regionen und Modelle für Anwendungsinferenzprofile Anwendungs-Inferenzprofile können im Folgenden AWS-Regionen für alle Modelle erstellt werden: + ap-northeast-1 + ap-northeast-2 + ap-south-1 + ap-southeast-1 + ap-southeast-2 + ca-central-1 + eu-central-1 + eu-west-1 + eu-west-2 + eu-west-3 + sa-east-1 + us-east-1 + us-east-2 + us-gov-east-1 + us-west-2 Anwendungsinferenzprofile können aus allen Modellen und Inferenzprofilen erstellt werden, die in Amazon Bedrock unterstützt werden. Weitere Informationen zu Modellen, die in Amazon Bedrock unterstützt werden, finden Sie unter [Unterstützte Basismodelle in Amazon Bedrock](models-supported.md). # Voraussetzungen für Inferenzprofile Bevor Sie ein Inferenzprofil verwenden können, müssen Sie prüfen, dass die folgenden Voraussetzungen erfüllt sind: + Ihre Rolle hat Zugriff auf die API-Aktionen für das Inferenzprofil. Wenn an Ihre Rolle die [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS-managed Policy angehängt ist, können Sie diesen Schritt überspringen. Andernfalls gehen Sie wie folgt vor: 1. Folgen Sie den Schritten unter [Erstellen von IAM-Richtlinien](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) und erstellen Sie die folgende Richtlinie, die einer Rolle erlaubt, inferenzprofilbezogene Aktionen auszuführen und Modellinferenz mit allen Basismodellen und Inferenzprofilen durchzuführen. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*", "bedrock:CreateInferenceProfile" ], "Resource": [ "arn:aws:bedrock:*::foundation-model/*", "arn:aws:bedrock:*:*:inference-profile/*", "arn:aws:bedrock:*:*:application-inference-profile/*" ] }, { "Effect": "Allow", "Action": [ "bedrock:GetInferenceProfile", "bedrock:ListInferenceProfiles", "bedrock:DeleteInferenceProfile", "bedrock:TagResource", "bedrock:UntagResource", "bedrock:ListTagsForResource" ], "Resource": [ "arn:aws:bedrock:*:*:inference-profile/*", "arn:aws:bedrock:*:*:application-inference-profile/*" ] } ] } ``` ------ (Optional) Sie können den Zugriff der Rolle wie folgt einschränken: + Um die API-Aktionen für die Rolle einzuschränken, ändern Sie die Liste im `Action`-Feld so, dass sie nur die [API-Operationen](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) enthält, für die Sie Zugriff gewähren möchten. + Wenn Sie den Zugriff der Rolle auf bestimmte Inferenzprofile einschränken möchten, ändern Sie die `Resource`-Liste so, dass sie nur die [Inferenzprofile](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) und Basismodelle enthält, für die Sie Zugriff gewähren möchten. Systemdefinierte Inferenzprofile beginnen mit `inference-profile` und Anwendungsinferenzprofile beginnen mit `application-inference-profile`. **Wichtig** Wenn Sie in der ersten Anweisung im `Resource`-Feld ein Inferenzprofil angeben, müssen Sie auch das Basismodell in den einzelnen Regionen angeben, die diesem Profil zugeordnet sind. + Um den Benutzerzugriff so einzuschränken, dass ein Basismodell nur über ein Inferenzprofil aufgerufen werden kann, fügen Sie ein `Condition`-Feld hinzu und verwenden den entsprechenden `aws:InferenceProfileArn`-[Bedingungsschlüssel](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-policy-keys). Geben Sie das Inferenzprofil an, für das Sie den Zugriff filtern möchten. Diese Bedingung kann in eine Anweisung aufgenommen werden, die sich auf die `foundation-model`-Ressourcen bezieht. + Sie können einer Rolle beispielsweise die folgende Richtlinie zuordnen, damit sie das Anthropic Claude 3 Haiku Modell nur über das Anthropic Claude 3 Haiku US-Inferenzprofil im Konto *111122223333* in us-west-2 aufrufen kann: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0" ] }, { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0", "arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-3-haiku-20240307-v1:0" ], "Condition": { "StringLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-west-2:111122223333:inference-profile/us.anthropic.claude-3-haiku-20240307-v1:0" } } } ] } ``` ------ + Sie können einer Rolle beispielsweise die folgende Richtlinie zuordnen, damit sie das Modell Anthropic Claude Sonnet 4 nur über das globale Inferenzprofil Claude Sonnet 4 im Konto 111122223333 in der Region us-west-2 (USA Ost (Ohio)) aufrufen kann: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0" ] }, { "Effect": "Allow", "Action": [ "bedrock:InvokeModel*" ], "Resource": [ "arn:aws:bedrock:us-east-2::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0", "arn:aws:bedrock:::foundation-model/anthropic.claude-sonnet-4-20250514-v1:0" ], "Condition": { "StringLike": { "bedrock:InferenceProfileArn": "arn:aws:bedrock:us-east-2:111122223333:inference-profile/global.anthropic.claude-sonnet-4-20250514-v1:0" } } } ] } ``` ------ + Sie können die Verwendung des globalen Claude Sonnet 4-Inferenzprofils auch einschränken, indem Sie ein explizites DENY mit einer `StringEquals`-Bedingung hinzufügen, die prüft, ob der Kontextanforderungsschlüssel `aws:RequestedRegion` gleich UNSPECIFIED ist. Da eine Übereinstimmung mit `StringEquals` besteht, überschreibt der Wert „Deny“ jedes „Allow“ und blockiert die globale Übermittlung von Inferenzanfragen. ``` { "Effect": "Deny", "Action": [ "bedrock:InvokeModel*" ], "Resource": "*", "Condition": { "StringEquals": { "aws:RequestedRegion": "unspecified" } } }, ``` 1. Folgen Sie den Schritten unter [Hinzufügen und Entfernen von IAM-Identitätsberechtigungen](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html), um die Richtlinie an eine Rolle anzufügen und der Rolle Berechtigungen zum Anzeigen und Verwenden aller Inferenzprofile zu erteilen. + Sie haben Zugriff auf das Modell angefordert, das im Inferenzprofil definiert ist und das Sie verwenden möchten, und zwar in der Region, aus der Sie das Inferenzprofil aufrufen möchten. # So erstellen Sie ein Anwendungsinferenzprofil Sie können ein Anwendungsinferenzprofil mit einer oder mehreren Regionen erstellen, um Nutzung und Kosten beim Aufrufen eines Modells nachzuverfolgen. + Um ein Anwendungsinferenzprofil für eine Region zu erstellen, geben Sie ein Basismodell an. Nutzung und Kosten für Anfragen, die mit diesem Modell an diese Region gestellt werden, werden nachverfolgt. + Um ein Anwendungsinferenzprofil für mehrere Regionen zu erstellen, geben Sie ein regionsübergreifendes (systemdefiniertes) Inferenzprofil an. Das Inferenzprofil leitet Anfragen an die Regionen weiter, die in dem von Ihnen ausgewählten regionsübergreifenden (systemdefinierten) Inferenzprofil definiert sind. Nutzung und Kosten für Anfragen an die Regionen im Inferenzprofil werden nachverfolgt. Aktuell können Sie ein Inferenzprofil nur über die Amazon-Bedrock-API erstellen. Um ein Inferenzprofil zu erstellen, senden Sie eine [CreateInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateInferenceProfile.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Die folgenden Felder sind erforderlich: **** | Feld | Anwendungsfall | | --- | --- | | inferenceProfileName | Für die Angabe eines Namens für das Inferenzprofil. | | modelSource | Für die Angabe des Basismodells oder des regionsübergreifenden (systemdefinierten) Inferenzprofils, das das Modell und die Regionen definiert, für die Sie Kosten und Nutzung verfolgen möchten. | Die folgenden Felder sind optional: **** | Feld | Anwendungsfall | | --- | --- | | description | Für die Angabe einer Beschreibung für den Prompt. | | tags | Für das Anhängen von Tags an das Inferenzprofil. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md) und [Organisieren und Verfolgen von Kosten mithilfe von AWS Kostenzuordnungs-Tags](https://docs.aws.amazon.com//awsaccountbilling/latest/aboutv2/cost-alloc-tags.html). | | clientRequestToken | Zur Sicherstellung, dass die API-Anfrage nur einmal durchgeführt wird. Weitere Informationen finden Sie unter [Sicherstellen von Idempotenz](https://docs.aws.amazon.com/ec2/latest/devguide/ec2-api-idempotency.html). | Die Antwort gibt einen `inferenceProfileArn` zurück, der in anderen Aktionen im Zusammenhang mit Inferenzprofilen und auch mit Modellaufrufen und Amazon-Bedrock-Ressourcen verwendet werden kann. # So modifiziere Sie die Tags für ein Anwendungsinferenzprofil Nachdem Sie ein Anwendungsinferenzprofil erstellt haben, können Sie weiterhin Tags über die Amazon-Bedrock-API verwalten, indem Sie eine [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)- oder [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)-Anfrage an einen [Endpunkt der Amazon-Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) senden und den ARN des Anwendungsinferenzprofils im Feld `resourceArn` angeben. Weitere Informationen zum Taggen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md). # So zeigen Sie Informationen zu einem Inferenzprofil an Sie können Informationen zu regionsübergreifenden Inferenzprofilen oder Anwendungsinferenzprofilen anzeigen, die Sie erstellt haben. Wählen Sie die Registerkarte mit Ihrer bevorzugten Methode aus und führen Sie dann die Schritte aus, um zu erfahren, wie Sie Informationen zu einem Inferenzprofil anzeigen: ------ #### [ Console ] **So zeigen Sie Informationen zu einem regionsübergreifenden (systemdefinierten) Inferenzprofil an** 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die zur Verwendung der Amazon-Bedrock-Konsole berechtigt ist. Öffnen Sie dann die Amazon-Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Regionsübergreifende Inferenz** aus. Wählen Sie dann im Abschnitt **Regionsübergreifende Inferenz** ein Inferenzprofil aus. 1. Sehen Sie sich die Details des Inferenzprofils im Abschnitt **Details zum Inferenzprofil** und die Regionen, die es umfasst, im Abschnitt **Modelle** an. **Anmerkung** In der Amazon-Bedrock-Konsole können Sie keine Anwendungsinferenzprofile anzeigen. ------ #### [ API ] Senden Sie die Anforderung [GetInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetInferenceProfile.html) mit einem [Endpunkt der Amazon-Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben Sie den Amazon-Ressourcennamen (ARN) oder die ID des Inferenzprofils im Feld `inferenceProfileIdentifier` an. Zum Auflisten von Informationen über alle benutzerdefinierten Modelle in einem Konto senden Sie eine [ListInferenceProfiles](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListInferenceProfiles.html)-Anfrage mit einem [Endpunkt der Amazon-Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Sie können die folgenden optionalen Parameter festlegen: **** | Feld | Kurzbeschreibung | | --- | --- | | maxResults | Hierbei handelt es sich um die maximale Anzahl der Ergebnisse, die in einer Antwort zurückzugeben sind. | | nextToken | Wenn die Anzahl der Ergebnisse die Anzahl übersteigt, die Sie im Feld maxResults angegeben haben, gibt die Antwort einen nextToken-Wert zurück. Senden Sie den nextToken-Wert in einer weiteren Anforderung, um den nächsten Ergebnisstapel zu sehen. | ------ # So verwenden Sie ein Inferenzprofil beim Modellaufruf Sie können anstelle eines Basismodells ein regionsübergreifendes Inferenzprofil verwenden, um Anforderungen an mehrere Regionen zu übermitteln. Sie können ein Anwendungsinferenzprofil verwenden, um Kosten und Nutzung eines Modells in einer oder mehreren Regionen nachzuverfolgen. Um zu erfahren, wie Sie ein Inferenzprofil bei der Ausführung von Modellinferenzen verwenden, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und gehen dann wie folgt vor: ------ #### [ Console ] Um ein Inferenzprofil mit einem Feature zu verwenden, das es unterstützt, gehen Sie wie folgt vor: 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die zur Verwendung der Amazon-Bedrock-Konsole berechtigt ist. Öffnen Sie dann die Amazon-Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Navigieren Sie zu der Seite für das Feature, für das Sie ein Inferenzprofil verwenden möchten. Wählen Sie beispielsweise im linken Navigationsbereich **Chat /Text Playground** aus. 1. Klicken Sie auf **Modell auswählen** und wählen Sie dann das Modell aus. Wählen Sie beispielsweise **Amazon** und dann **Nova Premier** aus. 1. Wählen Sie unter **Inferenz** die Option **Inferenzprofile** im Dropdownmenü aus. 1. Wählen Sie das zu verwendende Inferenzprofil aus (z. B. **US Nova Premier**) und klicken Sie dann auf **Anwenden**. ------ #### [ API ] Sie können ein Inferenzprofil verwenden, wenn Sie Inferenz aus einer beliebigen Region ausführen, die darin enthalten ist, und zwar mit den folgenden API-Operationen: + [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) oder [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html) – Um im Modellaufruf ein Inferenzprofil zu verwenden, folgen Sie den Schritten unter [Senden Sie eine einzelne Aufforderung mit InvokeModel](inference-invoke.md) und geben den Amazon-Ressourcennamen (ARN) des Inferenzprofils im Feld `modelId` an. Ein Beispiel finden Sie unter [Verwenden eines Inferenzprofils beim Modellaufruf](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html#API_runtime_InvokeModel_Example_5). + [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) oder [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html) – Um im Modellaufruf ein Inferenzprofil mit der Converse-API zu verwenden, folgen Sie den Schritten unter [Führen einer Konversation mit den Converse-API-Operationen](conversation-inference.md) und geben den ARN des Inferenzprofils im Feld `modelId` an. Ein Beispiel finden Sie unter [Verwenden eines Inferenzprofils in einer Konversation](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html#API_runtime_Converse_Example_5). + [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html) – Um ein Inferenzprofil beim Generieren von Antworten aus den Ergebnissen der Abfrage einer Wissensdatenbank zu verwenden, folgen Sie den Schritten auf der Registerkarte API unter [Testen Ihrer Wissensdatenbank mit Abfragen und Antworten](knowledge-base-test.md) und geben den ARN des Inferenzprofils im Feld `modelArn` an. Weitere Informationen finden Sie unter [Verwenden eines Inferenzprofils zum Generieren einer Antwort](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent-runtime_RetrieveAndGenerate.html#API_agent-runtime_RetrieveAndGenerate_Example_3). + [CreateEvaluationJob](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateEvaluationJob.html) – Um ein Inferenzprofil zur Modellbewertung zu senden, folgen Sie den Schritten auf der Registerkarte API unter [Starten eines automatischen Auftrags zur Modellbewertung in Amazon Bedrock](model-evaluation-jobs-management-create.md) und geben den ARN des Inferenzprofils im Feld `modelIdentifier` an. + [CreatePrompt](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreatePrompt.html) – Um ein Inferenzprofil beim Generieren einer Antwort für einen Prompt zu verwenden, den Sie im Prompt-Management erstellen, folgen Sie den Schritten auf der Registerkarte API unter [Erstellen eines Prompts mithilfe des Prompt-Managements](prompt-management-create.md) und geben den ARN des Inferenzprofils im Feld `modelId` an. + [CreateFlow](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateFlow.html) – Um ein Inferenzprofil beim Generieren einer Antwort für einen Inline-Prompt zu verwenden, den Sie im Prompt-Knoten eines Flows definieren, folgen Sie den Schritten auf der Registerkarte API unter [Einen Flow in Amazon Bedrock erstellen und gestalten](flows-create.md). Geben Sie bei der Definition des [Prompt-Knotens](flows-nodes.md#flows-nodes-prompt) den ARN des Inferenzprofils im Feld `modelId` an. + [CreateDataSource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateDataSource.html) – Um ein Inferenzprofil beim Parsen von Nicht-Text-Informationen in einer Datenquelle zu verwenden, folgen Sie den Schritten im API-Abschnitt unter [Parsing-Optionen für Ihre Datenquelle](kb-advanced-parsing.md) und geben den ARN des Inferenzprofils im Feld `modelArn` an. **Anmerkung** Wenn Sie ein regionsübergreifendes (systemdefiniertes) Inferenzprofil verwenden, können Sie entweder den ARN oder die ID des Inferenzprofils verwenden. ------ # So löschen Sie ein Anwendungsinferenzprofil Wenn Sie ein Anwendungsinferenzprofil nicht mehr benötigen, können Sie es löschen. Sie können Inferenzprofile nur über die Amazon-Bedrock-API löschen. Um ein Inferenzprofil zu löschen, senden Sie eine [DeleteInferenceProfile](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteInferenceProfiles.html)-Anfrage mit einem [Endpunkt der Amazon-Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben den Amazon-Ressourcenname (ARN) oder die ID des zu löschenden Inferenzprofils im Feld `inferenceProflieIdentifier` an. # Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock Der **Durchsatz** bezieht sich auf die Anzahl und Geschwindigkeit der Eingaben und Ausgaben, die ein Modell verarbeitet und zurückgibt. Sie können **Provisioned Throughput** erwerben, um einen höheren Durchsatz für ein Modell zu festen Kosten bereitzustellen. Wenn Sie ein Modell angepasst haben, müssen Sie Provisioned Throughput erwerben, um es verwenden zu können. Der von Ihnen gekaufte Provisioned Throughput wird Ihnen stündlich in Rechnung gestellt. Detaillierte Informationen zu den Preisen finden Sie unter [Amazon Bedrock Pricing](https://aws.amazon.com/bedrock/pricing). Der Preis pro Stunde hängt von den folgenden Faktoren ab: 1. Das Modell, das Sie wählen (für benutzerdefinierte Modelle entspricht der Preis dem Basismodell, auf dessen Grundlage es angepasst wurde). 1. Die Anzahl der Modelleinheiten (MUs), die Sie für den bereitgestellten Durchsatz angeben. Eine MU liefert einen bestimmten Durchsatz für das angegebene Modell. Das Durchsatzniveau einer MU spezifiziert Folgendes: + Die Anzahl der Eingabetoken, die eine MU innerhalb einer Minute für alle Anfragen verarbeiten kann. + Die Anzahl der Ausgabetokens, die eine MU innerhalb einer Minute für alle Anfragen generieren kann. **Anmerkung** Wenden Sie sich an Ihren AWS-Konto Manager, um weitere Informationen zu den Spezifikationen einer MU, zu den Preisen pro MU und zur Beantragung von Limiterhöhungen zu erhalten. 1. Die Dauer, für die Sie sich verpflichten, den bereitgestellten Durchsatz beizubehalten. Je länger die Laufzeit der Verpflichtung ist, desto günstiger wird der Stundenpreis. Sie können zwischen den folgenden Bindungsstufen wählen: + Keine Verpflichtung — Sie können den bereitgestellten Durchsatz jederzeit löschen. + 1 Monat — Sie können den bereitgestellten Durchsatz erst löschen, wenn die einmonatige Abonnementlaufzeit abgelaufen ist. + 6 Monate — Sie können den bereitgestellten Durchsatz erst löschen, wenn der sechsmonatige Abonnementzeitraum abgelaufen ist. **Anmerkung** Die Abrechnung wird fortgesetzt, bis Sie den bereitgestellten Durchsatz löschen. In den folgenden Schritten wird der Prozess der Einrichtung und Verwendung von Provisioned Throughput beschrieben. 1. Ermitteln Sie die Anzahl der MUs Geräte, die Sie für einen Provisioned Throughput erwerben möchten, und den Zeitraum, für den Sie sich zur Nutzung des Provisioned Throughput verpflichten möchten. 1. Erwerben Sie Provisioned Throughput für ein Basismodell oder ein benutzerdefiniertes Modell. 1. Nachdem das bereitgestellte Modell erstellt wurde, können Sie es verwenden, um [Modellinferenzen auszuführen.](inference.md) **Topics** + [Unterstützte Region und Modelle für bereitgestellten Durchsatz](prov-thru-supported.md) + [Voraussetzungen für den bereitgestellten Durchsatz](prov-thru-prereq.md) + [Erwerben Sie einen bereitgestellten Durchsatz für ein Amazon Bedrock-Modell](prov-thru-purchase.md) + [Informationen zu einem bereitgestellten Durchsatz anzeigen](prov-thru-info.md) + [Einen bereitgestellten Durchsatz ändern](prov-thru-edit.md) + [Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource](prov-thru-use.md) + [Löschen Sie einen bereitgestellten Durchsatz oder brechen Sie die auto Verlängerung ab](prov-thru-delete.md) + [Codebeispiele für den bereitgestellten Durchsatz](prov-thru-code-examples.md) # Unterstützte Region und Modelle für bereitgestellten Durchsatz Wenn Sie Provisioned Throughput über die Amazon Bedrock API erwerben, müssen Sie eine kontextbezogene Variante von Amazon Bedrock FMs für die Modell-ID angeben. **Anmerkung** Provisioned Throughput wird in AWS GovCloud (USA West) nur für benutzerdefinierte Modelle mit unverbindlichem Kauf unterstützt. Wenn Sie ein benutzerdefiniertes Modell verwenden möchten, müssen Sie dafür bereitgestellten Durchsatz erwerben. Die folgende Tabelle zeigt die Modelle, für die Sie Provisioned Throughput erwerben können, die Modell-ID, die Sie beim Kauf von Provisioned Throughput verwenden müssen, und die Modelle, AWS-Regionen in denen Sie Provisioned Throughput für das Modell erwerben können. | Anbieter | Modell | Modell-ID | Unterstützung für Modelle mit nur einer Region | | --- | --- | --- | --- | | Amazon | Nova 2 Lite | amazon.nova-2-lite-v 1:0:256 k | us-east-1 | | Amazon | Nova Canvas | Amazonas. nova-canvas-v1:0 | us-east-1 | | Amazon | Nova Lite | Amazonas. nova-lite-v1:0:24 km | us-east-1 | | Amazon | Nova Lite | Amazonas. nova-lite-v1:0:300 k | us-east-1 | | Amazon | Nova Micro | Amazonas. nova-micro-v1:0:128 k | us-east-1 | | Amazon | Nova Micro | Amazonas. nova-micro-v1:0:24 km | us-east-1 | | Amazon | Nova Pro | Amazonas. nova-pro-v1:0:24 km | us-east-1 | | Amazon | Nova Pro | Amazonas. nova-pro-v1:0:300 k | us-east-1 | | Amazon | Titan Embeddings G1 – Text | Amazonas. titan-embed-text-v1:2:8 k | us-east-1 us-west-2 | | Amazon | Titan Image Generator G1 v2 | Amazonas. titan-image-generator-v2:0 | us-east-1 us-west-2 | | Amazon | Titan Multimodal Embeddings G1 | Amazonas. titan-embed-image-v1:0 | ap-south-1 ap-southeast-2 ca-central-1 eu-central-1 eu-west-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:0:100k | us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:0:18k | us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v2:1:18k | eu-central-1 us-east-1 us-west-2 | | Anthropic | Claude | anthropic.claude-v 2:1:200 k | eu-central-1 us-east-1 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v1:0:200k | ap-southeast-2 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Haiku | anthropic.claude-3-haiku-20240307-v 1:0:48 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonett-20240229-v 1:0:200 k | ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3 Sonnet | anthropic.claude-3-sonnet-20240229-v 1:0:28 k | ap-south-1 ap-southeast-2 eu-west-1 eu-west-3 us-east-1 us-west-2 | | Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-Sonett 20240620-v 1:0:18 k | us-west-2 | | Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-Sonett 20240620-v 1:0:200 k | us-west-2 | | Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-Sonett 20240620-v 1:0:51 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:18 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:200 k | us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v 2:0:51 k | us-west-2 | | Anthropic | Claude Instant | anthropisch. claude-instant-v1:2:100 k | us-east-1 us-west-2 | | Cohere | Embed English | kohärent. embed-english-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Cohere | Embed Multilingual | zusammenhalten. embed-multilingual-v3:0:512 | ca-central-1 eu-west-2 eu-west-3 sa-east-1 us-east-1 us-west-2 | | Meta | Llama 3.1 70B Instruct | meta.lama3-1-70 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3,1 8B Instruct | meta.llama3-1-8 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 11B Instruct | meta.llama3-2-11 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 1B Instruct | meta.llama3-2-1 1:0:128 k b-instruct-v | us-west-2 | | Meta | Llama 3.2 3B Instruct | meta.llama3-2-3 b-instruct-v 1:0:128 k | us-west-2 | | Meta | Llama 3.2 90B Instruct | meta.llama3-2-90 b-instruct-v 1:0:128 k | us-west-2 | **Anmerkung** Die folgenden Modelle unterstützen keine unverbindlichen Käufe für das Basismodell: Titan Image Generator G1 V1 Titan Image Generator G1 V2 # Voraussetzungen für den bereitgestellten Durchsatz Bevor Sie Provisioned Throughput erwerben und verwalten können, müssen Sie die folgenden Voraussetzungen erfüllen: 1. [Fordern Sie Zugriff auf das Modell oder die Modelle](model-access.md) an, für die Sie Provisioned Throughput erwerben möchten. Nachdem der Zugriff gewährt wurde, können Sie Provisioned Throughput für das Basismodell und alle darauf abgestimmten Modelle erwerben. 1. Stellen Sie sicher, dass Ihre IAM-Rolle Zugriff auf die API-Aktionen für den bereitgestellten Durchsatz hat. Wenn an Ihre Rolle die [AmazonBedrockFullAccess](security-iam-awsmanpol.md#security-iam-awsmanpol-AmazonBedrockFullAccess)AWS-managed Policy angehängt ist, können Sie diesen Schritt überspringen. Andernfalls gehen Sie wie folgt vor: 1. Folgen Sie den Schritten unter [IAM-Richtlinien](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_create.html) erstellen und erstellen Sie die folgende Richtlinie, die es einer Rolle ermöglicht, einen bereitgestellten Durchsatz für alle grundlegenden und benutzerdefinierten Modelle zu erstellen. ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Sid": "PermissionsForProvisionedThroughput", "Effect": "Allow", "Action": [ "bedrock:GetFoundationModel", "bedrock:ListFoundationModels", "bedrock:GetCustomModel", "bedrock:ListCustomModels", "bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream", "bedrock:ListTagsForResource", "bedrock:UntagResource", "bedrock:TagResource", "bedrock:CreateProvisionedModelThroughput", "bedrock:GetProvisionedModelThroughput", "bedrock:ListProvisionedModelThroughputs", "bedrock:UpdateProvisionedModelThroughput", "bedrock:DeleteProvisionedModelThroughput" ], "Resource": "*" } ] } ``` ------ **Anmerkung** Wenn Sie Provisioned Throughput mit regionsübergreifender Inferenz verwenden, benötigen Sie möglicherweise zusätzliche Berechtigungen. Weitere Informationen hierzu finden Sie unter [Erhöhen des Durchsatzes mit regionenübergreifender Inferenz](cross-region-inference.md). (Optional) Sie können den Zugriff der Rolle wie folgt einschränken: + Um die API-Aktionen für die Rolle einzuschränken, ändern Sie die Liste im `Action`-Feld so, dass sie nur die [API-Operationen](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-actions-as-permissions) enthält, für die Sie Zugriff gewähren möchten. + Nachdem Sie ein bereitgestelltes Modell erstellt haben, können Sie die Fähigkeit der Rolle einschränken, eine API-Anfrage mit dem bereitgestellten Modell auszuführen, indem Sie die `Resource` Liste so ändern, dass sie nur die [bereitgestellten Modelle](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) enthält, für die Sie Zugriff gewähren möchten. Ein Beispiel finden Sie unter [Zulassen, dass Benutzer ein bereitgestelltes Modell aufrufen](security_iam_id-based-policy-examples.md#security_iam_id-based-policy-examples-perform-actions-pt). + Um die Fähigkeit einer Rolle einzuschränken, bereitgestellte Modelle aus bestimmten Basismodellen oder benutzerdefinierten Modellen zu erstellen, ändern Sie die `Resource` Liste so, dass sie nur die Basismodelle [und benutzerdefinierten Modelle](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html#amazonbedrock-resources-for-iam-policies) enthält, für die Sie Zugriff gewähren möchten. 1. Folgen Sie den Schritten unter [Hinzufügen und Entfernen von IAM-Identitätsberechtigungen](https://docs.aws.amazon.com/IAM/latest/UserGuide/access_policies_manage-attach-detach.html), um die Richtlinie einer Rolle zuzuordnen und die Rollenberechtigungen zu gewähren. 1. Wenn Sie Provisioned Throughput für ein benutzerdefiniertes Modell erwerben, das mit einem vom Kunden verwalteten AWS KMS Schlüssel verschlüsselt ist, muss Ihre IAM-Rolle über Berechtigungen zum Entschlüsseln des Schlüssels verfügen. Sie können die Vorlage unter verwenden. [Erfahren Sie, wie Sie einen kundenseitig verwalteten Schlüssel erstellen und ihm eine Schlüsselrichtlinie zuordnen](encryption-custom-job.md#encryption-key-policy) Für minimale Berechtigungen können Sie nur die *Permissions for custom model users* Richtlinienerklärung verwenden. # Erwerben Sie einen bereitgestellten Durchsatz für ein Amazon Bedrock-Modell Amazon Bedrock bietet zwei Arten von bereitgestelltem Durchsatz — nach Tokens und nach Modelleinheiten. In den folgenden Anweisungen erfahren Sie, welchen Typ von Provisioned Throughput Sie erwerben möchten. Weitere Informationen zu den Unterschieden zwischen den beiden Typen des bereitgestellten Durchsatzes finden Sie unter. [Erhöhen Sie die Kapazität für den Modellaufruf mit Provisioned Throughput in Amazon Bedrock](prov-throughput.md) ## Bereitgestellter Durchsatz nach Modelleinheiten Wenn Sie für ein Modell ein Modell mit bereitgestelltem Durchsatz nach Modelleinheiten erwerben, geben Sie die Höhe der Verpflichtung für das Modell und die Anzahl der zuzuweisenden Modelleinheiten (MUs) an. Informationen zu MU-Kontingenten finden Sie unter [Amazon Bedrock Endpoints and Quotas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html) in der. Allgemeine AWS-Referenz Bevor Sie einen Provisioned Throughput (mit oder ohne Verpflichtung) erwerben können, müssen Sie zunächst das [AWSSupport Center](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) aufsuchen und MUs beantragen, dass Ihr Konto auf die Provisioned Throughputs aufgeteilt wird. Nachdem Ihrer Anfrage stattgegeben wurde, können Sie einen Provisioned Throughput erwerben. **Anmerkung** Wenn der Provisioned Throughput nach dem Kauf mit einem benutzerdefinierten Modell verknüpft ist, können Sie das Modell ändern, indem Sie eine der folgenden Optionen angeben: Das Basismodell, auf dessen Grundlage das benutzerdefinierte Modell angepasst wurde Ein weiteres benutzerdefiniertes Modell, das auf der Grundlage desselben Basismodells wie das benutzerdefinierte Modell angepasst wurde Sie können das zugeordnete Modell nur für bereitgestellte Durchsätze ändern, die einem benutzerdefinierten Modell zugeordnet sind. Um zu erfahren, wie Sie Provisioned Throughput für ein Modell erwerben können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor: ------ #### [ Console ] 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus. 1. **Wählen Sie im Abschnitt **Provisioned Throughput** die Option Purchase Provisioned Throughput aus.** 1. Gehen Sie für den Abschnitt **Details zum bereitgestellten Durchsatz** wie folgt vor: 1. Geben Sie im Feld **Name des bereitgestellten Durchsatzes** einen Namen für den bereitgestellten Durchsatz ein. 1. **Wählen Sie unter Modell** auswählen einen Basismodellanbieter oder eine benutzerdefinierte Modellkategorie aus. Wählen Sie dann das Modell aus, für das der Durchsatz bereitgestellt werden soll. **Anmerkung** Die Basismodelle, für die Sie Provisioned Throughput unverbindlich erwerben können, finden Sie in der Dokumentation zu den unterstützten Modellen. In der AWS GovCloud (US) Region können Sie Provisioned Throughput nur unverbindlich für benutzerdefinierte Modelle erwerben. 1. (Optional) Um Ihrem bereitgestellten Durchsatz Tags zuzuordnen, erweitern Sie den Abschnitt **Tags** und wählen Sie **Neues Tag hinzufügen** aus. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md). 1. Wählen Sie für den **Bereitstellungsmodus** die Option **Nach** Modelleinheiten aus 1. Gehen Sie für den Abschnitt **Laufzeit und Modelleinheiten der Verpflichtung** wie folgt vor: 1. **Wählen Sie im Abschnitt Laufzeit der Verpflichtung** auswählen den Zeitraum aus, für den Sie sich verpflichten möchten, den bereitgestellten Durchsatz zu nutzen. 1. Geben Sie im Feld **Modelleinheiten** die gewünschte Anzahl von Modelleinheiten (MUs) ein. Wenn Sie ein kostenpflichtiges Modell bereitstellen, müssen Sie zunächst das [AWSSupport Center](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase) aufsuchen, um eine Erhöhung der Anzahl der Modelle, die Sie erwerben können MUs , zu beantragen. 1. Wählen Sie **Bereitgestellten Durchsatz erwerben** aus. 1. Prüfen Sie den angezeigten Hinweis und bestätigen Sie die Verpflichtungsfrist und den Preis, indem Sie das Kontrollkästchen aktivieren. Wählen Sie dann **Kauf bestätigen** aus. 1. In der Konsole wird die Übersichtsseite **für den bereitgestellten Durchsatz** angezeigt. **Der **Status** des bereitgestellten Durchsatzes in der Tabelle Bereitgestellter Durchsatz lautet Creating.** **Wenn die Erstellung des bereitgestellten Durchsatzes abgeschlossen ist, ändert sich der **Status** in Betrieb.** Wenn das Update fehlschlägt, lautet der **Status** **Fehlgeschlagen**. ------ #### [ API ] Um einen Provisioned Throughput zu erwerben, senden Sie eine [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)Anfrage mit einem [Amazon Bedrock Control Plane-Endpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Weitere Informationen zum Inhalt des Anforderungstexts und zu den Parametern, die Sie angeben müssen, um einen bereitgestellten Durchsatz nach Modelleinheiten zu erstellen, finden Sie [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)in der *Amazon Bedrock API-Referenz*. **Anmerkung** Die Basismodelle, für die Sie Provisioned Throughput unverbindlich erwerben können, finden Sie in der Dokumentation zu den unterstützten Modellen. In der AWS GovCloud (US) Region können Sie Provisioned Throughput nur unverbindlich für benutzerdefinierte Modelle erwerben. Die Antwort gibt a zurück`provisionedModelArn`, das Sie als [Inferenz `modelId` im Modell](inference.md) verwenden können. Um zu überprüfen, wann der Provisioned Throughput einsatzbereit ist, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage und überprüfen Sie, ob der Status lautet. `InService` Schlägt das Update fehl, lautet der `Failed` Status und die [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Antwort enthält eine`failureMessage`. [Siehe Codebeispiele](prov-thru-code-examples.md) ------ # Informationen zu einem bereitgestellten Durchsatz anzeigen Um zu erfahren, wie Sie Informationen zu einem von Ihnen gekauften Provisioned Throughput anzeigen können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten: ------ #### [ Console ] **Um Informationen über einen bereitgestellten Durchsatz anzuzeigen** 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich die Option **Provisioned Throughput** aus. 1. Wählen Sie im Abschnitt **Bereitgestellter Durchsatz** einen Bereitgestellten Durchsatz aus. 1. **Sehen Sie sich die Details für den bereitgestellten Durchsatz im Abschnitt **Übersicht über den bereitgestellten Durchsatz** und die mit Ihrem bereitgestellten Durchsatz verknüpften Tags im Abschnitt Tags an.** ------ #### [ API ] Um Informationen über einen bestimmten bereitgestellten Durchsatz abzurufen, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Geben Sie entweder den Namen des bereitgestellten Durchsatzes oder seinen ARN als. `provisionedModelId` Um Informationen über alle bereitgestellten Durchsätze in einem Konto aufzulisten, senden Sie eine [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Um die Anzahl der zurückgegebenen Ergebnisse zu kontrollieren, können Sie die folgenden optionalen Parameter angeben: **** | Feld | Short description | | --- | --- | | maxResults | Die maximale Anzahl der Ergebnisse, die in einer Antwort zurückzugeben sind. | | nextToken | Wenn es mehr Ergebnisse gibt als die Zahl, die Sie in dem maxResults Feld angegeben haben, gibt die Antwort einen nextToken Wert zurück. Um den nächsten Ergebnisstapel zu sehen, senden Sie den nextToken Wert in einer anderen Anfrage. | Weitere optionale Parameter, die Sie zum Sortieren und Filtern der Ergebnisse angeben können, finden Sie unter [ListProvisionedModelThroughputs](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListProvisionedModelThroughputs.html). Um alle Tags für einen bereitgestellten Durchsatz aufzulisten, senden Sie eine [ListTagsForResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListTagsForResource.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene und geben](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) Sie den Amazon-Ressourcennamen (ARN) des bereitgestellten Durchsatzes an. [Sehen Sie sich die Codebeispiele an](prov-thru-code-examples.md) ------ # Einen bereitgestellten Durchsatz ändern Welche Aspekte eines bereitgestellten Durchsatzes Sie nach dem Kauf bearbeiten können, hängt vom Bereitstellungsmodus ab. Bei Provisioned Throughputs by Model Units können Sie nur den Namen und die Tags Ihres Provisioned Throughputs bearbeiten. Falls es sich um ein benutzerdefiniertes Modell handelt, können Sie auch das Modell bearbeiten. Mit Provisioned Throughputs by Tokens haben Sie mehr Optionen, einschließlich der Änderung der Anzahl der Eingabe- und Ausgabetokens pro Minute für Ihren bereitgestellten Durchsatz. In den folgenden Abschnitten erfahren Sie mehr über die Bearbeitung des Typs des bereitgestellten Durchsatzes, den Sie ändern möchten. ## Ändern Sie einen bereitgestellten Durchsatz nach Modelleinheiten Sie können den Namen oder die Tags eines vorhandenen bereitgestellten Durchsatzes bearbeiten. Die folgenden Einschränkungen gelten für die Änderung des Modells, dem der bereitgestellte Durchsatz zugeordnet ist: + Sie können das Modell für einen bereitgestellten Durchsatz, der einem Basismodell zugeordnet ist, nicht ändern. + Wenn der bereitgestellte Durchsatz einem benutzerdefinierten Modell zugeordnet ist, können Sie die Zuordnung zu dem Basismodell ändern, von dem er angepasst wurde, oder zu einem anderen benutzerdefinierten Modell, das von demselben Basismodell abgeleitet wurde. Während ein bereitgestellter Durchsatz aktualisiert wird, können Sie mithilfe des bereitgestellten Durchsatzes Inferenzen durchführen, ohne den laufenden Datenverkehr Ihrer Endkunden zu unterbrechen. Wenn Sie das Modell geändert haben, dem der bereitgestellte Durchsatz zugeordnet ist, erhalten Sie möglicherweise Ausgaben aus dem alten Modell, bis das Update vollständig bereitgestellt ist. Um zu erfahren, wie Sie einen bereitgestellten Durchsatz bearbeiten können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor: ------ #### [ Console ] 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus. 1. Wählen Sie im Abschnitt **Bereitgestellter Durchsatz einen** Bereitgestellten Durchsatz aus. 1. Wählen Sie **Bearbeiten** aus. Sie können die folgenden Felder bearbeiten: + **Name des bereitgestellten Durchsatzes** — Ändern Sie den Namen des bereitgestellten Durchsatzes. + **Modell auswählen** — Wenn der bereitgestellte Durchsatz einem benutzerdefinierten Modell zugeordnet ist, können Sie das zugeordnete Modell ändern. 1. Sie können die mit Ihrem bereitgestellten Durchsatz verknüpften **Tags im Abschnitt Tags** bearbeiten. Weitere Informationen finden Sie unter [Markieren von Amazon-Bedrock-Ressourcen](tagging.md). 1. Um Ihre Änderungen zu speichern, wählen Sie **Änderungen speichern**. 1. In der Konsole wird die Übersichtsseite „**Bereitgestellter Durchsatz**“ angezeigt. **Der **Status** des bereitgestellten Durchsatzes in der Tabelle Bereitgestellter Durchsatz lautet Aktualisierend.** **Wenn die Aktualisierung des bereitgestellten Durchsatzes abgeschlossen ist, ändert sich der **Status** in Betrieb.** Wenn die Aktualisierung fehlschlägt, lautet der **Status** **Fehlgeschlagen**. ------ #### [ API ] Um einen bereitgestellten Durchsatz zu bearbeiten, senden Sie eine [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Weitere Informationen zum Anfragetext und den Parametern, die Sie angeben müssen, finden Sie [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)in der *Amazon Bedrock API-Referenz.* Wenn die Aktion erfolgreich ist, gibt die Antwort eine HTTP 200-Statusantwort zurück. Um zu überprüfen, wann der Provisioned Throughput einsatzbereit ist, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage und überprüfen Sie, ob der Status lautet`InService`. Sie können einen bereitgestellten Durchsatz nicht aktualisieren oder löschen, solange er den Status hat. `Updating` Schlägt das Update fehl, lautet der `Failed` Status und die [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Antwort enthält eine`failureMessage`. Um Tags zu einem bereitgestellten Durchsatz hinzuzufügen, senden Sie eine [TagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_TagResource.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) und geben Sie den Amazon-Ressourcennamen (ARN) des bereitgestellten Durchsatzes an. Der Anforderungstext enthält ein `tags`-Feld, bei dem es sich um ein Objekt handelt, das ein Schlüssel-Wert-Paar enthält, das Sie für jedes Tag angeben. Um Tags aus einem bereitgestellten Durchsatz zu entfernen, senden Sie eine [UntagResource](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UntagResource.html)Anfrage mit einem [Endpunkt der Amazon Bedrock-Steuerebene und geben](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp) Sie den Amazon-Ressourcennamen (ARN) des bereitgestellten Durchsatzes an. Der `tagKeys`-Anfragesparameter ist eine Liste mit den Schlüsseln für die Tags, die Sie entfernen möchten. [Siehe Codebeispiele](prov-thru-code-examples.md) ------ # Verwenden Sie einen bereitgestellten Durchsatz mit einer Amazon Bedrock-Ressource Nachdem Sie einen Provisioned Throughput erworben haben, können Sie ihn mit den folgenden Funktionen verwenden: + **Modellinferenz** — Sie können den bereitgestellten Durchsatz auf einer Amazon Bedrock-Konsole testen. Wenn Sie bereit sind, den bereitgestellten Durchsatz bereitzustellen, richten Sie Ihre Anwendung so ein, dass das bereitgestellte Modell aufgerufen wird. Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und befolgen Sie dann die Schritte: ------ #### [ Console ] **So verwenden Sie einen bereitgestellten Durchsatz im Amazon Bedrock Console Playground** 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich je nach **Anwendungsfall Chat**, **Text** oder **Bild** unter **Playgrounds aus**. 1. Klicken Sie auf **Modell auswählen**. 1. Im **1. Wählen Sie in der Spalte Kategorie** einen Anbieter oder eine benutzerdefinierte Modellkategorie aus. Dann, in der **2. Wählen Sie in der Spalte Modell** das Modell aus, dem Ihr bereitgestellter Durchsatz zugeordnet ist. 1. In der **3. Wählen Sie in der Spalte Durchsatz** Ihren bereitgestellten Durchsatz aus. 1. Wählen Sie **Anwenden** aus. Informationen zur Nutzung der Amazon Bedrock Playgrounds finden Sie unter. [Generieren von Antworten in der Konsole mithilfe von Playgrounds](playgrounds.md) ------ #### [ API ] Um Inferenzen mit einem bereitgestellten Durchsatz auszuführen, senden Sie eine, [InvokeModel[InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html)](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html), [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) - oder [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html)Anfrage mit einem [Amazon Bedrock-Laufzeitendpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Geben Sie den bereitgestellten Modell-ARN als `modelId`-Parameter an. Informationen zu den Anforderungen für den Anfragetext für verschiedene Modelle finden Sie unter. [Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md) [Siehe Codebeispiele](prov-thru-code-examples.md) ------ + **Einen bereitgestellten Durchsatz einem Agentenalias** zuordnen — Sie können einen bereitgestellten Durchsatz zuordnen, wenn Sie einen Agentenalias [erstellen](agents-deploy.md) oder [aktualisieren](agents-alias-edit.md). In der Amazon-Bedrock-Konsole wählen Sie den bereitgestellten Durchsatz, wenn Sie den Alias einrichten oder bearbeiten. In der Amazon Bedrock API geben Sie `provisionedThroughput` an, `routingConfiguration` wann Sie eine [CreateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_CreateAgentAlias.html)oder [UpdateAgentAlias](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_agent_UpdateAgentAlias.html); -Anfrage senden. # Löschen Sie einen bereitgestellten Durchsatz oder brechen Sie die auto Verlängerung ab Ihr bereitgestellter Durchsatz wird am Ende jeder Vertragslaufzeit automatisch verlängert, wobei Ihre aktuellen Konfigurationen für Eingabe- und Ausgabetokens beibehalten werden. Wenn Sie Ihren Provisioned Throughput nicht behalten möchten, können Sie ihn löschen oder bei Provisioned Throughput by Tokens die auto Verlängerung stornieren, um zu verhindern, dass er nach Ablauf der aktuellen Laufzeit verlängert wird. ## Einen bereitgestellten Durchsatz löschen Wenn Sie einen bereitgestellten Durchsatz löschen, können Sie das Modell nicht mehr mit dem Durchsatzniveau aufrufen, für das Sie es gekauft haben. Wenn Sie einen bereitgestellten Durchsatz löschen, der einem benutzerdefinierten Modell zugeordnet ist, wird das benutzerdefinierte Modell nicht gelöscht. Informationen zum Löschen eines benutzerdefinierten Modells finden Sie unter[Löschen eines benutzerdefinierten Modells](model-customization-delete.md). **Anmerkung** Sie können einen Provisioned Throughput by Model Units with Commitment nicht löschen, bevor die Vertragslaufzeit abgelaufen ist. Um zu erfahren, wie Sie einen bereitgestellten Durchsatz löschen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor: ------ #### [ Console ] 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus. 1. Wählen Sie im Abschnitt **Provisioned Throughput einen** Provisioned Throughput aus. 1. Wählen Sie im Dropdownmenü **Aktionen** die Option **Löschen** aus. 1. In der Konsole wird ein modales Formular angezeigt, das Sie darauf hinweist, dass das Löschen dauerhaft ist. Wählen Sie **Bestätigen** aus, um fortzufahren. 1. Der bereitgestellte Durchsatz wird sofort gelöscht. ------ #### [ API ] Um einen bereitgestellten Durchsatz zu löschen, senden Sie eine [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)Anfrage mit einem Endpunkt der [Amazon Bedrock-Steuerebene](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp). Geben Sie entweder den Namen des bereitgestellten Durchsatzes oder seinen ARN als. `provisionedModelId` Wenn der Löschvorgang erfolgreich ist, gibt die Antwort einen HTTP 200-Statuscode zurück. [Siehe Codebeispiele](prov-thru-code-examples.md) ------ ## auto Verlängerung für einen bereitgestellten Durchsatz stornieren Bei Provisioned Throughput by Tokens können Sie die auto Verlängerung jederzeit vor Ablauf Ihrer Laufzeit kündigen, um zu verhindern, dass ein Provisioned Throughput automatisch verlängert wird. Wenn Sie die auto Verlängerung kündigen, bleibt Ihr Provisioned Throughput bis zum Ende Ihrer Vertragslaufzeit in Betrieb. Ihnen wird weiterhin die volle Bereitstellungsgebühr für Ihre aktuelle Laufzeit berechnet, unabhängig davon, ob Sie Inference verwenden oder nicht. Nachdem Sie die auto Verlängerung für einen bereitgestellten Durchsatz storniert haben, können Sie für den Rest der Laufzeit des Abonnements keine weiteren Änderungen an Ihrem bereitgestellten Durchsatz vornehmen. **Anmerkung** Die automatische Verlängerung kann nach der Kündigung nicht wieder aktiviert werden. Wenn Sie Provisioned Throughput nach Ablauf Ihrer aktuellen Laufzeit benötigen, müssen Sie einen neuen Provisioned Throughput erwerben. Um zu erfahren, wie Sie die auto Verlängerung für einen Provisioned Throughput by Tokens stornieren können, wählen Sie die Registerkarte für Ihre bevorzugte Methode und gehen Sie dann wie folgt vor: ------ #### [ Console ] 1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter [https://console.aws.amazon.com/bedrock](https://console.aws.amazon.com/bedrock). 1. Wählen Sie im linken Navigationsbereich **Bereitgestellter Durchsatz** aus. 1. Wählen Sie im Abschnitt **Provisioned Throughput einen** Provisioned Throughput aus. 1. Wählen Sie im Drop-down-Menü „**Aktionen**“ die Option **auto Verlängerung stornieren** aus. 1. In der Konsole wird ein modales Formular angezeigt, das Sie darauf hinweist, dass diese Aktion nicht rückgängig gemacht werden kann. Wählen Sie **Bestätigen** aus, um fortzufahren. 1. Der bereitgestellte Durchsatz bleibt bis zum Ende der aktuellen Laufzeit aktiv und wird danach automatisch gelöscht. ------ #### [ API ] Um die auto Verlängerung für einen Provisioned Throughput zu stornieren, senden Sie eine [UpdateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_UpdateProvisionedModelThroughput.html)Anfrage mit einem [Amazon Bedrock-Steuerungsebenen-Endpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-cp), dessen `disableAutoRenew` Parameter auf gesetzt ist. `true` Der Provisioned Throughput bleibt bis zum Ende der aktuellen Laufzeit aktiv. [Siehe Codebeispiele](prov-thru-code-examples.md) ------ # Codebeispiele für den bereitgestellten Durchsatz Die folgenden Codebeispiele zeigen, wie Sie einen Provisioned Throughput erstellen und wie Sie ihn mithilfe des Python-SDK und des Python-SDK verwalten AWS CLI und aufrufen. Sie können einen bereitgestellten Durchsatz aus einem Basismodell oder aus einem Modell erstellen, das Sie bereits angepasst haben. Bevor Sie beginnen, müssen Sie die folgenden Voraussetzungen erfüllen: **Voraussetzungen** In den folgenden Beispielen wird das Amazon Nova Lite Modell verwendet, dessen Modell-ID lautet`amazon.nova-lite-v1:0:24k`. Falls Sie dies noch nicht getan haben, fordern Sie Zugriff auf die an, Amazon Nova Lite indem Sie die Schritte unter befolgen[Modellzugriff mit SDK und CLI verwalten](model-access.md#model-access-modify). Wenn Sie Provisioned Throughput für ein anderes Foundation-Modell oder ein benutzerdefiniertes Modell erwerben möchten, müssen Sie wie folgt vorgehen: 1. Suchen Sie die ID (für Foundation-Modelle), den Namen (für benutzerdefinierte Modelle) oder den ARN (für beide) des Modells, indem Sie einen der folgenden Schritte ausführen: + Wenn Sie einen Provisioned Throughput für ein Foundation-Modell erwerben, suchen Sie nach der ID oder dem Amazon-Ressourcennamen (ARN) eines Modells, das die Bereitstellung auf eine der folgenden Arten unterstützt: + Suchen Sie in der Tabelle nach dem Wert. + Senden Sie eine [ListFoundationModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListFoundationModels.html)Anfrage und geben Sie den `byInferenceType` Wert an`PROVISIONED`, um eine Liste der Modelle anzuzeigen, die Provisioning unterstützen. Suchen Sie den Wert im `modelArn` Feld `modelId` oder. + Wenn Sie einen Provisioned Throughput für ein benutzerdefiniertes Modell erwerben, suchen Sie auf eine der folgenden Arten nach dem Namen oder Amazon-Ressourcennamen (ARN) des Modells, das Sie angepasst haben: + Wählen Sie in der Amazon Bedrock-Konsole im linken Navigationsbereich die Option **Benutzerdefinierte Modelle** aus. Suchen Sie den Namen Ihres maßgeschneiderten Modells in der **Modellliste** oder wählen Sie ihn aus und suchen Sie den **Modell-ARN** in den **Modelldetails**. + Senden Sie eine [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)Anfrage und finden Sie den `modelArn` Wert `modelName` oder den Wert Ihres benutzerdefinierten Modells in der Antwort. 1. Ändern Sie `body` die [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)Anfrage in den folgenden Beispielen so, dass sie dem Format des Hauptteils des Modells entspricht, indem Sie sie in suchen[Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md). Wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und befolgen Sie dann die Schritte: ------ #### [ AWS CLI ] 1. Senden Sie eine [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)Anfrage zur Erstellung eines unverbindlichen Provisioned *MyPT* Throughput-Aufrufs, indem Sie den folgenden Befehl in einem Terminal ausführen: ``` aws bedrock create-provisioned-model-throughput \ --model-units 1 \ --provisioned-model-name MyPT \ --model-id amazon.nova-lite-v1:0:24k ``` 1. In der Antwort wird ein `provisioned-model-arn` zurückgegeben. Warten Sie etwas, bis die Erstellung abgeschlossen ist. Um den Status zu überprüfen, senden Sie eine [GetProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetProvisionedModelThroughput.html)Anfrage und geben Sie den Namen oder ARN des bereitgestellten Modells als an`provisioned-model-id`, indem Sie den folgenden Befehl ausführen: ``` aws bedrock get-provisioned-model-throughput \ --provisioned-model-id ${provisioned-model-arn} ``` 1. Führen Sie eine Inferenz mit Ihrem bereitgestellten Modell durch, indem Sie eine Anfrage senden. [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) Geben Sie den ARN des bereitgestellten Modells an, das in der `CreateProvisionedModelThroughput` Antwort zurückgegeben wurde, als. `model-id` Die Ausgabe wird in eine Datei mit dem Namen *output.txt* in Ihrem aktuellen Ordner geschrieben. ``` aws bedrock-runtime invoke-model \ --model-id ${provisioned-model-arn} \ --body '{ "messages": [{ "role": "user", "content": [{ "text": "Hello" }] }], "inferenceConfig": { "temperature":0.7 } }' \ --cli-binary-format raw-in-base64-out \ output.txt ``` 1. Senden Sie mit dem folgenden Befehl eine [DeleteProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_DeleteProvisionedModelThroughput.html)Anfrage zum Löschen des bereitgestellten Durchsatzes. Der bereitgestellte Durchsatz wird Ihnen nicht mehr in Rechnung gestellt. ``` aws bedrock delete-provisioned-model-throughput --provisioned-model-id MyPT ``` ------ #### [ Python (Boto) ] Die folgenden Codefragmente führen Sie durch die Erstellung eines bereitgestellten Durchsatzes, das Abrufen von Informationen dazu und das Aufrufen des bereitgestellten Durchsatzes. 1. Um einen unverbindlichen Provisioned Throughput-Aufruf zu erstellen *MyPT* und den ARN des Provisioned Throughput einer aufgerufenen Variablen zuzuweisen*provisioned\$1model\$1arn*, senden Sie die folgende Anfrage: [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html) ``` import boto3 provisioned_model_name = 'MyPT' bedrock = boto3.client(service_name='bedrock') response = bedrock.create_provisioned_model_throughput( modelUnits=1, provisionedModelName=provisioned_model_name, modelId='amazon.nova-lite-v1:0:24k' ) provisioned_model_arn = response['provisionedModelArn'] ``` 1. Warten Sie etwas, bis die Erstellung abgeschlossen ist. Sie können den Status mit dem folgenden Codeausschnitt überprüfen. Sie können entweder den Namen des bereitgestellten Durchsatzes oder den von der [CreateProvisionedModelThroughput](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_CreateProvisionedModelThroughput.html)Antwort zurückgegebenen ARN als angeben. `provisionedModelId` ``` bedrock.get_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` 1. Führen Sie die Inferenz mit Ihrem aktualisierten bereitgestellten Modell mit dem folgenden Befehl aus und verwenden Sie den ARN des bereitgestellten Modells als. `modelId` ``` import json import logging import boto3 from botocore.exceptions import ClientError class ImageError(Exception): "Custom exception for errors returned by the model" def __init__(self, message): self.message = message logger = logging.getLogger(__name__) logging.basicConfig(level=logging.INFO) def generate_text(model_id, body): """ Generate text using your provisioned custom model. Args: model_id (str): The model ID to use. body (str) : The request body to use. Returns: response (json): The response from the model. """ logger.info( "Generating text with your provisioned custom model %s", model_id) brt = boto3.client(service_name='bedrock-runtime') accept = "application/json" content_type = "application/json" response = brt.invoke_model( body=body, modelId=model_id, accept=accept, contentType=content_type ) response_body = json.loads(response.get("body").read()) finish_reason = response_body.get("error") if finish_reason is not None: raise ImageError(f"Text generation error. Error is {finish_reason}") logger.info( "Successfully generated text with provisioned custom model %s", model_id) return response_body def main(): """ Entrypoint for example. """ try: logging.basicConfig(level=logging.INFO, format="%(levelname)s: %(message)s") model_id = provisioned-model-arn body = json.dumps({ "inputText": "what isAWS?" }) response_body = generate_text(model_id, body) print(f"Input token count: {response_body['inputTextTokenCount']}") for result in response_body['results']: print(f"Token count: {result['tokenCount']}") print(f"Output text: {result['outputText']}") print(f"Completion reason: {result['completionReason']}") except ClientError as err: message = err.response["Error"]["Message"] logger.error("A client error occurred: %s", message) print("A client error occured: " + format(message)) except ImageError as err: logger.error(err.message) print(err.message) else: print( f"Finished generating text with your provisioned custom model {model_id}.") if __name__ == "__main__": main() ``` 1. Löschen Sie den bereitgestellten Durchsatz mit dem folgenden Codeausschnitt. Der bereitgestellte Durchsatz wird Ihnen nicht mehr in Rechnung gestellt. ``` bedrock.delete_provisioned_model_throughput(provisionedModelId=provisioned_model_name) ``` ------ # Kontingente für Amazon Bedrock Ihr AWS-Konto hat Standardkontingente, früher als Limits bezeichnet, für Amazon Bedrock. Führen Sie einen der folgenden Schritte aus, um Service Quotas für Amazon Bedrock anzuzeigen: + Folgen Sie den Schritten unter [Service Quotas anzeigen](https://docs.aws.amazon.com/servicequotas/latest/userguide/gs-request-quota.html) und wählen Sie **Amazon Bedrock** als Service aus. + Weitere Informationen zu den [Amazon-Bedrock-Servicekontingenten](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) finden Sie in der Allgemeine AWS-Referenz. Die Modellinferenz in Amazon Bedrock wird durch Kontingente für die Token-Nutzung gesteuert. Einige Modelle verwenden Token mit einer höheren Rate. Weitere Informationen zu diesen Raten und dazu, wie Sie Ihre Token-Nutzung optimieren können, finden Sie unter [So werden Token in Amazon Bedrock gezählt](quotas-token-burndown.md). Um die Leistung des Service aufrechtzuerhalten und eine angemessene Nutzung von Amazon Bedrock sicherzustellen, können die einem Konto zugewiesenen Standardkontingente je nach regionalen Faktoren, Zahlungsverlauf, betrügerischer Nutzung und and/or Genehmigung einer [Anfrage zur Erhöhung des Kontingents](quotas-increase.md) aktualisiert werden. **Topics** + [So werden Token in Amazon Bedrock gezählt](quotas-token-burndown.md) + [Überwachen der Tokennutzung, indem die Token vor der Ausführung der Inferenz gezählt werden](count-tokens.md) + [Anfordern einer Erhöhung der Amazon-Bedrock-Kontingente](quotas-increase.md) # So werden Token in Amazon Bedrock gezählt Wenn Modellinferenz ausführen, gibt es Kontingente für die Anzahl der Token, die verarbeitet werden können, je nachdem, welches Amazon-Bedrock-Modell Sie verwenden. Sehen Sie sich die folgende Terminologie im Zusammenhang mit Token-Kontingenten an: **** | Begriff | Definition | | --- | --- | | InputTokenCount | Die CloudWatch Amazon Bedrock-Laufzeitmetrik, die die Anzahl der Token in einer Anfrage darstellt, die als Eingabe für das Modell bereitgestellt wird. | | OutputTokenCount | Die CloudWatch Amazon Bedrock-Laufzeitmetrik, die die Anzahl der vom Modell als Antwort auf eine Anfrage generierten Token darstellt. | | CacheReadInputTokens | Die CloudWatch Amazon Bedrock-Laufzeitmetrik, die die Anzahl der Eingabe-Token darstellt, die erfolgreich aus einem Cache abgerufen wurden, anstatt vom Modell erneut verarbeitet zu werden. Dieser Wert ist 0, wenn Sie kein [Prompt-Caching](prompt-caching.md) verwenden. | | CacheWriteInputTokens | Die CloudWatch Amazon Bedrock-Laufzeitmetrik, die die Anzahl der Eingabe-Token darstellt, die erfolgreich in den Cache geschrieben wurden. Dieser Wert ist 0, wenn Sie kein [Prompt-Caching](prompt-caching.md) verwenden. | | Token pro Minute (TPM) | Ein auf Modellebene AWS festgelegtes Kontingent für die Anzahl der Token (einschließlich Eingabe- und Ausgabe-Tokens), die Sie in einer Minute verwenden können. | | Token pro Tag (TPD) | Ein auf Modellebene AWS festgelegtes Kontingent für die Anzahl der Token (einschließlich Eingabe und Ausgabe), die Sie an einem Tag verwenden können. Standardmäßig ist dieser Wert TPM x 24 x 60. Neue AWS-Konten haben jedoch die Kontingente reduziert. | | Anfragen pro Minute (RPM) | Ein auf Modellebene AWS festgelegtes Kontingent für die Anzahl der Anfragen, die Sie in einer Minute senden können. | | max\$1tokens | Ein Parameter, den Sie in Ihrer Anforderung angeben, um eine maximale Anzahl von Ausgabetoken festzulegen, die das Modell generieren kann. | | Burndown-Rate | Die Rate, mit der Eingabe- und Ausgabetoken in die Nutzung von Token-Kontingenten für das Drosselungssystem umgewandelt werden. | Die Burndown-Rate für Modelle von Anthropic Claude, Version 3.7 und höher, beträgt das **Fünffache für Ausgabetoken** (1 Ausgabetoken verbraucht 5 Token aus Ihren Kontingenten): Bei allen anderen Modellen beträgt die Burndown-Rate **1:1** (1 Ausgabetoken verbraucht 1 Token aus Ihrem Kontingent). **Topics** + [Grundlegendes zur Token-Kontingentverwaltung](#quotas-token-burndown-management) + [Grundlegendes zu den Auswirkungen des Parameters max\$1tokens](#quotas-token-burndown-max-tokens) + [Optimieren des max\$1tokens-Parameters](#quotas-token-burndown-max-tokens-optimize) ## Grundlegendes zur Token-Kontingentverwaltung Wenn Sie eine Anfrage stellen, werden die Token von Ihren TPM- und TPD-Kontingenten abgezogen. Die Berechnungen erfolgen in den folgenden Phasen: + **Zu Beginn der Anfrage** – Unter der Annahme, dass Sie Ihr RPM-Kontingent nicht überschritten haben, wird die folgende Summe von Ihren Kontingenten abgezogen. Die Anfrage wird gedrosselt, wenn Sie ein Kontingent überschreiten. ``` Total input tokens + max_tokens ``` + **Während der Verarbeitung** – Das von der Anfrage verbrauchte Kontingent wird regelmäßig angepasst, um der tatsächlichen Anzahl der generierten Ausgabetoken Rechnung zu tragen. + **Am Ende der Anfrage** – Die Gesamtzahl der von der Anfrage verbrauchten Token wird wie folgt berechnet und alle ungenutzten Token werden bis zu Ihrem Kontingent aufgefüllt: ``` InputTokenCount + CacheWriteInputTokens + (OutputTokenCount x burndown rate) ``` Wenn Sie kein [Prompt-Caching](prompt-caching.md) verwenden, ist `CacheWriteInputTokens` 0. `CacheReadInputTokens` tragen nicht zu dieser Berechnung bei. **Anmerkung** Ihnen wird nur Ihre tatsächliche Token-Nutzung in Rechnung gestellt. Wenn Sie beispielsweise mithilfe des Modells Anthropic Claude Sonnet 4 eine Anfrage mit 1 000 Eingabetoken senden und das Modell eine Antwort generiert, die 100 Token entspricht: **1 500 Token** (1 000 \$1 100 x 5) werden aus Ihren TPM- und TPD-Kontingenten aufgebraucht. Ihnen werden nur **1 100 Token** in Rechnung gestellt. ## Grundlegendes zu den Auswirkungen des Parameters max\$1tokens Der Wert `max_tokens` wird zu Beginn jeder Anfrage von Ihrem Kontingent abgezogen. Wenn Sie die TPM-Kontingente früher als erwartet erreichen, versuchen Sie `max_tokens` zu reduzieren, um die ungefähre Größe Ihrer Vervollständigungen besser zu schätzen. Die folgenden Szenarien bieten Beispiele dafür, wie Kontingentabzüge bei abgeschlossenen Anfragen mit einem Modell funktioniert hätten, das eine 5-fache Burndown-Rate für Ausgabetoken vorsieht: ### Szenario 1: Hoher max\$1tokens-Wert Gehen Sie von folgenden Parametern aus: + **InputTokenCount: 3.000** + **CacheReadInputTokens:** 4.000 + **CacheWriteInputTokens:** 1.000 + **OutputTokenCount:** 1.000 + **max\$1tokens:** 32 000 Die folgenden Kontingentabzüge werden vorgenommen: + **Erster Abzug beim Erstellen der Anfrage:** 40 000 (= 3 000 \$1 4 000 \$1 1 000 \$1 32 000) + **Endgültiger bereinigter Abzug nach Generierung der Antwort:** 9 000 (= 3 000 \$1 1 000 \$1 1 000 x 5) In diesem Szenario konnten weniger gleichzeitige Anfragen gestellt werden, da der `max_tokens`-Parameter zu hoch eingestellt war. Dadurch werden die Gleichzeitigkeit der Anfragen, der Durchsatz und die Kontingentnutzung reduziert, da die TPM-Kontingentkapazität schnell erreicht wird. ### Szenario 2: Optimierter max\$1tokens-Wert Gehen Sie von folgenden Parametern aus: + **InputTokenCount:** 3.000 + **CacheReadInputTokens:** 4.000 + **CacheWriteInputTokens:** 1.000 + **OutputTokenCount:** 1.000 + **max\$1tokens:** 1 250 Die folgenden Kontingentabzüge werden vorgenommen: + **Erster Abzug beim Erstellen der Anfrage:** 9 250 (= 3 000 \$1 4 000 \$1 1 000 \$1 1 250) + **Endgültiger bereinigter Abzug nach Generierung der Antwort:** 9 000 (= 3 000 \$1 1 000 \$1 1 000 x 5) In diesem Szenario wurde der `max_tokens`-Parameter optimiert, da der anfängliche Abzug nur geringfügig höher ist als der endgültige bereinigte Abzug ist. Dies trug dazu bei, die Gleichzeitigkeit der Anfragen, den Durchsatz und die Kontingentnutzung zu erhöhen. ## Optimieren des max\$1tokens-Parameters Durch die Optimierung des `max_tokens`-Parameters können Sie Ihre zugewiesene Kontingentkapazität effizient nutzen. Um Ihnen bei Ihrer Entscheidung über diesen Parameter zu helfen, können Sie Amazon verwenden CloudWatch, das automatisch Metriken von AWS Diensten sammelt, einschließlich Token-Nutzungsdaten in Amazon Bedrock. Token werden in den Laufzeitmetriken `InputTokenCount` und `OutputTokenCount` erfasst (weitere Metriken finden Sie unter [Amazon-Bedrock-Laufzeitmetrik](monitoring.md#runtime-cloudwatch-metrics)). Gehen Sie wie folgt vor, um die CloudWatch Überwachung als Grundlage für Ihre Entscheidung über den `max_tokens` Parameter zu verwenden: AWS-Managementkonsole 1. Melden Sie sich bei der CloudWatch Amazon-Konsole unter [https://console.aws.amazon.com/cloudwatch](https://console.aws.amazon.com/cloudwatch) an. 1. Wählen Sie im linken Navigationsbereich die Option **Dashboards** aus. 1. Wählen Sie die Registerkarte **Automatische Dashboards** aus. 1. Klicken Sie auf **Bedrock**. 1. Wählen Sie im Dashboard **Token-Anzahl nach Modell** das Erweiterungssymbol aus. 1. Wählen Sie einen Zeitraum und Bereichsparameter für die Metriken aus, um die Spitzennutzung zu berücksichtigen. 1. Aus dem Dropdown-Menü mit der Bezeichnung **Summe** können Sie verschiedene Metriken auswählen, um Ihre Token-Nutzung zu beobachten. Untersuchen Sie diese Metriken als Grundlage für Ihre Entscheidung zur Festlegung Ihres `max_tokens`-Werts. # Überwachen der Tokennutzung, indem die Token vor der Ausführung der Inferenz gezählt werden Wenn Sie die Modellinferenz ausführen, trägt die Anzahl der Token, die Sie in der Eingabe senden, zu den Kosten der Anforderung und zum Kontingent der Token bei, die Sie pro Minute und pro Tag nutzen können. Die [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)API hilft Ihnen dabei, die Token-Nutzung abzuschätzen, bevor Sie Anfragen an Foundation-Modelle senden, indem sie die Token-Anzahl zurückgibt, die verwendet würde, wenn dieselbe Eingabe in einer Inferenzanforderung an das Modell gesendet würde. **Anmerkung** Für die Verwendung der [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)API fallen keine Gebühren an. Die Tokenzählung ist modellspezifisch, da verschiedene Modelle unterschiedliche Tokenisierungsstrategien verwenden. Die von diesem Vorgang zurückgegebene Tokenanzahl entspricht der Tokenanzahl, für die eine Gebühr berechnet würde, wenn dieselbe Eingabe an das Modell zum Ausführen der Inferenz gesendet würde. Sie können die API `CountTokens` für Folgendes verwenden: + Abschätzen der Kosten vor dem Senden von Inferenzanforderungen. + Optimieren der Prompts, sodass sie innerhalb der Tokengrenzwerte liegen. + Planen der Tokennutzung in Ihren Anwendungen. **Topics** + [Unterstützte Modelle und Regionen für die Tokenzählung](#count-tokens-supported) + [Zählen der Token in einer Anforderung](#count-tokens-use) + [Ausprobieren eines Beispiels](#count-tokens-example) ## Unterstützte Modelle und Regionen für die Tokenzählung Die folgende Tabelle zeigt die Unterstützung des Foundation-Modells für die Tokenzählung: | Anbieter | Modell | Modell-ID | Unterstützung von Modellen für einzelne Regionen | | --- | --- | --- | --- | | Anthropic | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | us-west-2 | | Anthropic | Claude 3.5 Sonett | anthropic.claude-3-5-sonnet-20240620-v1:0 | ap-northeast-1 ap-southeast-1 eu-central-1 eu-central-2 us-east-1 us-west-2 | | Anthropic | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | ap-southeast-2 us-west-2 | | Anthropic | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | eu-west-2 | | Anthropic | Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | | | Anthropic | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | | ## Zählen der Token in einer Anforderung Um die Anzahl der Eingabe-Token in einer Inferenzanforderung zu zählen, senden Sie eine [CountTokens](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_CountTokens.html)Anfrage mit einem [Amazon Bedrock-Laufzeitendpunkt](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#br-rt). Geben Sie das Modell im Header und die Eingabe, für die Token gezählt werden sollen, im `body` Feld an. Der Wert des `body` Felds hängt davon ab, ob Sie Eingabe-Token für eine [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)oder eine [Converse-Anfrage](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) zählen: + Bei der Anforderung `InvokeModel` ist das `body`-Format eine Zeichenfolge, die ein JSON-Objekt darstellt, dessen Format von dem von Ihnen angegebenen Modell abhängt. + Bei der Anforderung `Converse` ist das `body`-Format ein JSON-Objekt, das die in der Konversation enthaltenen Prompts `messages` und `system` angibt. ## Ausprobieren eines Beispiels Anhand der Beispiele in diesem Abschnitt können Sie Token für die Anforderung `InvokeModel` und `Converse` mit Anthropic Claude 3 Haiku zählen. **Voraussetzungen** + Sie haben es heruntergeladen AWS SDK für Python (Boto3) und Ihre Konfiguration ist so eingerichtet, dass Ihre Anmeldeinformationen und die AWS Standardregion automatisch erkannt werden. + Ihre IAM-Identität hat Berechtigungen für die folgenden Aktionen (weitere Informationen finden Sie unter [Aktionen, Ressourcen und Bedingungsschlüssel für Amazon Bedrock](https://docs.aws.amazon.com/service-authorization/latest/reference/list_amazonbedrock.html)): + bedrock: CountTokens — Ermöglicht die Verwendung von. `CountTokens` + bedrock: InvokeModel — Erlaubt die Verwendung von und. `InvokeModel` `Converse` Sollte mindestens auf den *arn:\$1\$1Partition\$1:bedrock:\$1\$1Region\$1::foundation-model/anthropic.claude-3-haiku-20240307-v1:0* beschränkt sein. Führen Sie den folgenden Python-Code aus, um das Zählen von Tokens für eine [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)Anfrage auszuprobieren: ``` import boto3 import json bedrock_runtime = boto3.client("bedrock-runtime") input_to_count = json.dumps({ "anthropic_version": "bedrock-2023-05-31", "max_tokens": 500, "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }) response = bedrock_runtime.count_tokens( modelId="anthropic.claude-3-5-haiku-20241022-v1:0", input={ "invokeModel": { "body": input_to_count } } ) print(response["inputTokens"]) ``` Führen Sie den folgenden Python-Code aus, um die Tokenzählung für die Anforderung [Converse-Anfrage](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) auszuprobieren: ``` import boto3 import json bedrock_runtime = boto3.client("bedrock-runtime") input_to_count = { "messages": [ { "role": "user", "content": [ { "text": "What is the capital of France?" } ] }, { "role": "assistant", "content": [ { "text": "The capital of France is Paris." } ] }, { "role": "user", "content": [ { "text": "What is its population?" } ] } ], "system": [ { "text": "You're an expert in geography." } ] } response = bedrock_runtime.count_tokens( modelId="anthropic.claude-3-5-haiku-20241022-v1:0", input={ "converse": input_to_count } ) print(response["inputTokens"]) ``` # Anfordern einer Erhöhung der Amazon-Bedrock-Kontingente Die Schritte zum Anfordern einer Kontingenterhöhung für Ihr Konto hängen vom Wert in der Spalte **Anpassbar** in der Tabelle mit den Kontingenten unter [Amazon-Bedrock-Servicekontingente](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) ab: + Wenn ein Kontingent mit **Ja** markiert ist, können Sie es anpassen, indem Sie die Schritte unter [Anfordern einer Kontingenterhöhung](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) im Benutzerhandbuch zu Service Quotas befolgen. + Für jedes Modell können Sie eine Erhöhung für die folgenden Kontingente gemeinsam anfordern: + Regionsübergreifende InvokeModel-Token pro Minute für *\$1\$1model\$1* + Regionsübergreifende InvokeModel-Anfragen pro Minute für *\$1\$1model\$1* + On-Demand InvokeModel-Token pro Minute für *\$1\$1model\$1* + On-Demand InvokeModel-Anfragen pro Minute für *\$1\$1model\$1* + Maximale Anzahl von Token beim Modellaufruf pro Tag für *\$1\$1model\$1* Wenn Sie eine Erhöhung für eine beliebige Kombination dieser Kontingente beantragen möchten, fordern Sie eine Erhöhung der **regionsübergreifenden InvokeModel-Token pro Minute für das Kontingent *Regionsübergreifende Invoke-Model-Token pro Minute für \$1\$1model\$1*** an, indem Sie die Schritte unter [Anfordern einer Kontingenterhöhung](https://docs.aws.amazon.com/servicequotas/latest/userguide/request-quota-increase.html) im Benutzerhandbuch zu Service Quotas befolgen. Danach wird sich das Support-Team mit Ihnen in Verbindung setzen und Ihnen die Möglichkeit bieten, auch die anderen vier Kontingente zu erhöhen. **Anmerkung** Aufgrund der hohen Nachfrage werden Kunden bevorzugt behandelt, deren Datenverkehr das ihnen zugewiesene Kontingent überschreitet. Ihre Anfrage wird möglicherweise abgelehnt, wenn Sie diese Bedingung nicht erfüllen. # Prompt-Caching für schnellere Modellinferenz Prompt-Caching ist ein optionales Feature, das Sie mit unterstützten Modellen in Amazon Bedrock verwenden können, um die Latenz bei Inferenzantworten und die Kosten für Eingabe-Token zu reduzieren. Indem Sie Teile Ihres Kontexts zu einem Cache hinzufügen, kann das Modell den Cache nutzen, um die Neuberechnung von Eingaben zu überspringen, sodass Bedrock an den Recheneinsparungen teilhaben und Ihre Antwortlatenzen verringern kann. Prompt-Caching kann hilfreich sein, wenn Sie Workloads mit langen und sich wiederholenden Kontexten haben, die häufig für mehrere Abfragen wiederverwendet werden. Wenn Sie beispielsweise über einen Chatbot verfügen, bei dem Benutzer Dokumente hochladen und Fragen zu ihnen stellen können, kann es für das Modell zeitaufwändig sein, das Dokument jedes Mal zu verarbeiten, wenn der Benutzer eine Eingabe vornimmt. Mit Prompt-Caching können Sie das Dokument zwischenspeichern, sodass künftige Abfragen, die das Dokument enthalten, es nicht erneut verarbeiten müssen. Wenn Sie Prompt-Caching verwenden, wird Ihnen ein reduzierter Tarif für aus dem Cache gelesene Token berechnet. Je nach Modell kann für in den Cache geschriebene Token ein höherer Tarif berechnet werden als für nicht zwischengespeicherte Eingabe-Token. Für alle Token, die nicht aus dem Cache gelesen oder in den Cache geschrieben wurden, wird der Standardsatz für Eingabe-Token für dieses Modell berechnet. Weitere Informationen finden Sie auf der [Amazon-Bedrock-Preisseite](https://aws.amazon.com/bedrock/pricing/). ## Funktionsweise Wenn Sie sich für das Prompt-Caching entscheiden, erstellt Amazon Bedrock einen Cache, der aus *Cache-Checkpoints* besteht. Dies sind Markierungen, die den zusammenhängenden Unterabschnitt Ihres Prompts definieren, den Sie zwischenspeichern möchten (häufig als Prompt-Präfix bezeichnet). Diese Prompt-Präfixe sollten zwischen Anforderungen statisch sein. Änderungen am Prompt-Präfix bei nachfolgenden Anforderungen führen zu Fehleinträgen im Cache. Cache-Checkpoints haben eine Mindest- und Höchstzahl an Token, abhängig vom jeweiligen Modell, das Sie verwenden. Sie können nur dann einen Cache-Checkpoint erstellen, wenn Ihr gesamtes Prompt-Präfix der Mindestanzahl an Token entspricht. Für das Modell Anthropic Claude 3.7 Sonnet sind beispielsweise mindestens 1 024 Token pro Cache-Checkpoint erforderlich. Das bedeutet, dass Ihr erster Cache-Checkpoint nach 1 024 Token und Ihr zweiter Cache-Checkpoint nach 2 048 Token definiert werden kann. Wenn Sie versuchen, einen Cache-Checkpoint hinzuzufügen, bevor Sie die Mindestanzahl an Token erreicht haben, ist Ihre Inferenz trotzdem erfolgreich, aber Ihr Präfix wird nicht zwischengespeichert. Der Cache hat eine Gültigkeitsdauer (Time To Live, TTL), die bei jedem erfolgreichen Cache-Treffer zurückgesetzt wird. Während dieses Zeitraums bleibt der Kontext im Cache erhalten. Wenn innerhalb des TTL-Fensters keine Cache-Treffer auftreten, läuft Ihr Cache ab. Die meisten Modelle unterstützen eine TTL von 5 Minuten, Claude Opus 4,5,Claude Haiku 4.5, und unterstützen Claude Sonnet 4.5 auch eine erweiterte 1-stündige TTL-Option. Sie können das Prompt-Caching jederzeit verwenden, wenn Sie Modellinferenzen in Amazon Bedrock für unterstützte Modelle erhalten. Prompt-Caching wird von den folgenden Amazon-Bedrock-Features unterstützt: **Converse und ConverseStream APIs** Sie können eine Konversation mit einem Modell führen, bei der Sie in Ihren Prompts Cache-Checkpoints angeben. **InvokeModel und InvokeModelWithResponseStream APIs** Sie können einzelne Prompt-Anfragen einreichen, bei denen Sie das Prompt-Caching aktivieren und Ihre Cache-Checkpoints angeben. **Prompt-Caching mit regionsübergreifender Inferenz** Prompt-Caching kann in Verbindung mit regionsübergreifender Inferenz verwendet werden. Regionsübergreifende Inferenz wählt automatisch die optimale AWS Region innerhalb Ihrer Region aus, um Ihre Inferenzanfrage zu bearbeiten, wodurch die verfügbaren Ressourcen und die Modellverfügbarkeit maximiert werden. In Zeiten hoher Nachfrage können diese Optimierungen zu erhöhten Cache-Schreibvorgängen führen. **Amazon Bedrock Prompt Management** Wenn Sie einen Prompt [erstellen](prompt-management-create.md) oder [ändern](prompt-management-modify.md), können Sie wählen, ob Prompt-Caching aktiviert werden soll. Je nach Modell können Sie System-Prompts, Systemanweisungen und Nachrichten (Benutzer- und Assistentnachrichten) zwischenspeichern. Sie können Prompt-Caching auch deaktivieren. Sie APIs bieten Ihnen die größte Flexibilität und detaillierte Kontrolle über den Prompt-Cache. Sie können in Ihren Prompts einen individuellen Cache-Checkpoint festlegen. Sie können den Cache erweitern, indem Sie weitere Cache-Checkpoints erstellen, und zwar bis zur maximalen Anzahl von Cache-Checkpoints, die für das jeweilige Modell zulässig sind. Weitere Informationen finden Sie unter [Unterstützte Modelle, Regionen und Limits](#prompt-caching-models). ## Unterstützte Modelle, Regionen und Limits In der folgenden Tabelle sind die unterstützten Modelle zusammen mit ihren Token-Mindestwerten, der maximalen Anzahl von Cache-Checkpoints und Feldern, die Cache-Checkpoints zulassen, aufgeführt. | Modellname | Modell-ID | Art der Veröffentlichung | Mindestanzahl von Token pro Cache-Checkpoint | Maximale Anzahl von Cache-Checkpoints pro Anforderung | TTL wird unterstützt | Felder, die Prompt-Cache-Checkpoints akzeptieren | | --- | --- | --- | --- | --- | --- | --- | | Claude Opus4.5 | anthropic.claude-opus-4-5-20251101-v 1:0 | Allgemein verfügbar | 4.096 | 4 | 5 Minuten, 1 Stunde | „System“, „Nachrichten“ und „Tools“ | | Claude Opus4.1 | anthropic.claude-opus-4-1-20250805-v1:0 | Allgemein verfügbar | 1,024 | 4 | 5 Minuten | „System“, „Nachrichten“ und „Tools“ | | Claude Opus 4 | anthropic.claude-opus-4-20250514-v1:0 | Allgemein verfügbar | 1,024 | 4 | 5 Minuten | „System“, „Nachrichten“ und „Tools“ | | Claude Sonnet 4.5 | anthropic.claude-sonnet-4-5-20250929-v1:0 | Allgemein verfügbar | 1,024 | 4 | 5 Minuten, 1 Stunde | „System“, „Nachrichten“ und „Tools“ | | Claude Haiku 4.5 | anthropic.claude-haiku-4-5-20251001-v1:0 | Allgemein verfügbar | 4.096 | 4 | 5 Minuten, 1 Stunde | „System“, „Nachrichten“ und „Tools“ | | Claude Sonnet 4 | anthropic.claude-sonnet-4-20250514-v1:0 | Allgemein verfügbar | 1,024 | 4 | 5 Minuten | „System“, „Nachrichten“ und „Tools“ | | Claude 3.7 Sonnet | anthropic.claude-3-7-sonnet-20250219-v1:0 | Allgemein verfügbar | 1,024 | 4 | 5 Minuten | „System“, „Nachrichten“ und „Tools“ | | Claude 3.5 Haiku | anthropic.claude-3-5-haiku-20241022-v1:0 | Allgemein verfügbar | 2 048 | 4 | 5 Minuten | „System“, „Nachrichten“ und „Tools“ | | Claude 3.5 Sonnet v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | Vorversion | 1,024 | 4 | 5 Minuten | „System“, „Nachrichten“ und „Tools“ | | Amazon Nova Micro | Amazon. nova-micro-v1:0 | Allgemein verfügbar | 1K1 | 4 | 5 Minuten | „System“ und „Nachrichten“ | | Amazon Nova Lite | Amazonas. nova-lite-v1:0 | Allgemein verfügbar | 1K1 | 4 | 5 Minuten | „System“ und „Nachrichten“ 2 | | Amazon Nova Pro | Amazonas. nova-pro-v1:0 | Allgemein verfügbar | 1K1 | 4 | 5 Minuten | „System“ und „Nachrichten“ 2 | | Amazon Nova Premier | Amazonas. nova-premier-v1:0 | Allgemein verfügbar | 1K1 | 4 | 5 Minuten | „System“ und „Nachrichten“ 2 | | Amazon Nova 2 Lite | amazon.nova-2-lite-v 1:0 | Allgemein verfügbar | 1K1 | 4 | 5 Minuten | „System“ und „Nachrichten“ 2 | 1: Die Modelle von Amazon Nova unterstützen eine maximale Anzahl von 20 000 Token für Prompt-Caching. 2: Prompt-Caching ist hauptsächlich für Text-Prompts vorgesehen. Um die 1-stündige TTL-Option mit unterstützten Modellen (Claude Opus4.5, undClaude Sonnet 4.5) zu verwenden, geben Sie das Feld in Ihrem Claude Haiku 4.5 Cache-Checkpoint an. `ttl` Fügen Sie in der Converse API Ihrem Objekt etwas hinzu`"ttl": "1h"`. `cachePoint` Fügen Sie in der InvokeModel API für Claude-Modelle Ihrem `cache_control` Objekt `"ttl": "1h"` etwas hinzu. Wenn kein `ttl` Wert angegeben wird, gilt das standardmäßige 5-Minuten-Caching-Verhalten. Die 1-stündige TTL ist nützlich für länger andauernde Sitzungen oder Batchverarbeitungsszenarien, in denen Sie den Cache über längere Zeiträume beibehalten möchten. Amazon Nova bietet automatisches Prompt-Caching für alle Text-Prompts, einschließlich `User`- und `System`-Nachrichten. Dieser Mechanismus kann die Latenz verbessern, wenn Prompts mit sich wiederholenden Teilen beginnen, auch ohne explizite Konfiguration. Damit jedoch Kosteneinsparungen erzielt und konsistentere Leistungsvorteile gewährleistet werden können, empfehlen wir **Explizites Prompt-Caching**. ## Vereinfachtes Cache-Management für Claude-Modelle Für Claude-Modelle bietet Amazon Bedrock einen vereinfachten Ansatz für das Cache-Management, der die Komplexität der manuellen Platzierung von Cache-Checkpoints reduziert. Anstatt von Ihnen die Angabe exakter Cache-Checkpoint-Positionen zu verlangen, können Sie das automatische Cache-Management mit einem einzigen Haltepunkt am Ende Ihres statischen Inhalts verwenden. Wenn Sie das vereinfachte Cache-Management aktivieren, sucht das System automatisch nach Cache-Treffern an den Grenzen früherer Inhaltsblöcke und schaut dabei bis zu etwa 20 Inhaltsblöcke ab dem angegebenen Haltepunkt zurück. Auf diese Weise kann das Modell das Präfix mit der längsten Übereinstimmung in Ihrem Cache finden, ohne dass Sie die optimalen Checkpoint-Positionen vorhersagen müssen. Damit Sie dieses Verfahren nutzen können, platzieren Sie einen einzelnen Cache-Checkpoint am Ende Ihres statischen Inhalts, und zwar vor dynamischen oder variablen Inhalten. Das System findet automatisch die beste Cache-Übereinstimmung. Für eine genauere Steuerung können Sie immer noch mehrere Cache-Checkpoints (bis zu 4 bei Claude-Modellen) verwenden, um die genauen Cache-Grenzen festzulegen. Sie sollten mehrere Cache-Checkpoints verwenden, wenn Sie Abschnitte zwischenspeichern, die sich unterschiedlich häufig ändern, oder wenn Sie mehr Kontrolle darüber haben möchten, was genau zwischengespeichert wird. **Wichtig** Bei der automatischen Präfixüberprüfung werden nur etwa 20 Inhaltsblöcke von Ihrem Cache-Checkpoint aus geprüft. Wenn Ihr statischer Inhalt diesen Bereich überschreitet, sollten Sie in Erwägung ziehen, mehrere Cache-Checkpoints zu verwenden oder Ihren Prompt so umzustrukturieren, dass die am häufigsten wiederverwendeten Inhalte innerhalb dieses Bereichs platziert werden. ## Wie kann das Prompt-Caching effektiv genutzt werden Wenn Sie Eingabeaufforderungen haben, die regelmäßig verwendet werden (d. h. Systemaufforderungen, die häufiger als alle 5 Minuten verwendet werden), verwenden Sie weiterhin den 5-Minuten-Cache, da dieser ohne zusätzliche Kosten aktualisiert wird. Der 1-Stunden-Cache eignet sich am besten für die folgenden Szenarien: + Wenn Sie Eingabeaufforderungen haben, die wahrscheinlich seltener als 5 Minuten, aber häufiger als jede Stunde verwendet werden. Dies ist z. B. der Fall, wenn ein Agenten-Agent länger als 5 Minuten benötigt, oder wenn Sie eine lange Chat-Konversation mit einem Benutzer speichern und Sie im Allgemeinen erwarten, dass dieser Benutzer in den nächsten 5 Minuten nicht antwortet. + Wenn die Latenz wichtig ist und Ihre Folgeanfragen möglicherweise länger als 5 Minuten gesendet werden. + Wenn Sie die Nutzung Ihres Ratenlimits verbessern möchten, da Cache-Treffer nicht von Ihrem Ratenlimit abgezogen werden. Sie können in derselben Anfrage sowohl Cache-Controls für 1 Stunde als auch für 5 Minuten verwenden, allerdings mit einer wichtigen Einschränkung: Cache-Einträge mit längerer TTL müssen vor kürzeren stehen TTLs (d. h. ein 1-Stunden-Cache-Eintrag muss vor allen 5-minütigen Cache-Einträgen stehen). ## Erste Schritte Die folgenden Abschnitte geben Ihnen einen kurzen Überblick darüber, wie Sie das Prompt-Caching-Feature für jede Methode der Interaktion mit Modellen über Amazon Bedrock verwenden können. ### Converse-API Die [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html)-API bietet erweiterte und flexible Optionen für die Implementierung von Prompt-Caching in Multi-Turn-Konversationen. Weitere Informationen zu den Prompt-Anfragen der einzelnen Modelle finden Sie im vorherigen Abschnitt [Unterstützte Modelle, Regionen und Limits](#prompt-caching-models). **Beispielanforderung** Die folgenden Beispiele zeigen einen Cache-Checkpoint, der im Feld `messages`, `system` oder `tools` einer Anfrage an die Converse-API festgelegt ist. Sie können an jedem dieser Orte Checkpoints für eine bestimmte Anfrage platzieren. Wenn Sie beispielsweise eine Anfrage an das Modell Claude 3.5 Sonnet v2 senden, könnten Sie zwei Cache-Checkpoints in `messages` platzieren, einen Cache-Checkpoint in `system` und einen in `tools`. Ausführlichere Informationen und Beispiele für die Strukturierung und das Senden von Converse-API-Anfragen finden Sie unter [Führen einer Konversation mit den Converse-API-Operationen](conversation-inference.md). Geben Sie den gewünschten TTL-Wert wie folgt an. Wenn kein TTL-Wert angegeben ist, gilt das Standardverhalten von 5 Minuten Caching. ``` "cachePoint" : { "type": "default", "ttl" : "5m | 1h" } ``` ------ #### [ messages checkpoints ] In diesem Beispiel liefert das erste `image`-Feld ein Bild für das Modell, und das zweite `text`-Feld fordert das Modell auf, das Bild zu analysieren. Solange die Zahl der Token vor dem `cachePoint` im `content`-Objekt der Mindestanzahl von Token für das Modell entspricht, wird ein Cache-Checkpoint erstellt. ``` ... "messages": [ { "role": "user", "content": [ { "image": { "bytes": "asfb14tscve..." } }, { "text": "What's in this image?" }, { "cachePoint": { "type": "default" } } ] } ] ... ``` ------ #### [ system checkpoints ] In diesem Beispiel geben Sie Ihren System-Prompt in das `text`-Feld ein. Darüber hinaus können Sie ein `cachePoint`-Feld hinzufügen, um den System-Prompt zwischenzuspeichern. ``` ... "system": [ { "text": "You are an app that creates play lists for a radio station that plays rock and pop music. Only return song names and the artist. " }, { "cachePoint": { "type": "default" } } ], ... ``` ------ #### [ tools checkpoints ] In diesem Beispiel geben Sie Ihre Tool-Definition in das `toolSpec`-Feld ein. (Alternativ können Sie ein Tool aufrufen, das Sie zuvor definiert haben. Weitere Informationen finden Sie unter [Verwenden eines Tools, um eine Amazon-Bedrock-Modellantwort zu vervollständigen](tool-use.md).) Anschließend können Sie ein `cachePoint`-Feld hinzufügen, um das Tool zwischenzuspeichern. ``` ... toolConfig={ "tools": [ { "toolSpec": { "name": "top_song", "description": "Get the most popular song played on a radio station.", "inputSchema": { "json": { "type": "object", "properties": { "sign": { "type": "string", "description": "The call sign for the radio station for which you want the most popular song. Example calls signs are WZPZ and WKRP." } }, "required": [ "sign" ] } } } }, { "cachePoint": { "type": "default" } } ] } ... ``` ------ Die Modellantwort der Converse API enthält drei neue Felder, die spezifisch für das Zwischenspeichern von Eingabeaufforderungen sind. Die Werte `CacheReadInputTokens` und `CacheWriteInputTokens` geben an, wie viele Token aus dem Cache gelesen wurden und wie viele Token aufgrund Ihrer vorherigen Anforderung in den Cache geschrieben wurden. Die `CacheDetails` Werte geben die TTL an, die für die Anzahl der in den Cache geschriebenen Token verwendet wurde. Dies sind Werte, die Ihnen von Amazon Bedrock in Rechnung gestellt werden, und zwar zu einem Preis, der unter den Kosten für die vollständige Modellinferenz liegt. ### InvokeModel API Prompt-Caching ist standardmäßig aktiviert, wenn Sie die [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)API aufrufen. Sie können Cache-Checkpoints an jeder beliebigen Stelle in Ihrem Anforderungstext festlegen, ähnlich wie im vorherigen Beispiel für die Converse-API. ------ #### [ Anthropic Claude ] Das folgende Beispiel zeigt, wie Sie den Hauptteil Ihrer InvokeModel Anfrage für das Anthropic Claude 3.5 Sonnet v2-Modell strukturieren. Beachten Sie, dass das genaue Format und die Felder des Hauptteils für InvokeModel Anfragen je nach ausgewähltem Modell variieren können. Das Format und den Inhalt der Anforderungs- und Antworttexte für verschiedene Modelle finden Sie unter [Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md). Geben Sie den gewünschten TTL-Wert wie folgt an. Wenn kein TTL-Wert angegeben ist, gilt das Standardverhalten von 5 Minuten Caching. ``` "cache_control" : { "type": "ephemeral", "ttl" : "5m | 1h" } ``` ``` body={ "anthropic_version": "bedrock-2023-05-31", "system":"Reply concisely", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe the best way to learn programming." }, { "type": "text", "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.", "cache_control": { "type": "ephemeral" } } ] } ], "max_tokens": 2048, "temperature": 0.5, "top_p": 0.8, "stop_sequences": [ "stop" ], "top_k": 250 } ``` ------ #### [ Amazon Nova ] Das folgende Beispiel zeigt, wie Sie den Hauptteil Ihrer InvokeModel Anfrage für das Modell strukturieren. Amazon Nova Beachten Sie, dass das genaue Format und die Felder des Hauptteils für InvokeModel Anfragen je nach ausgewähltem Modell variieren können. Das Format und den Inhalt der Anforderungs- und Antworttexte für verschiedene Modelle finden Sie unter [Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md). ``` { "system": [{ "text": "Reply Concisely" }], "messages": [{ "role": "user", "content": [{ "text": "Describe the best way to learn programming" }, { "text": "Add additional context here for the prompt that meets the minimum token requirement for your chosen model.", "cachePoint": { "type": "default" } }] }], "inferenceConfig": { "maxTokens": 300, "topP": 0.1, "topK": 20, "temperature": 0.3 } } ``` ------ Weitere Informationen zum Senden einer InvokeModel Anfrage finden Sie unter[Senden Sie eine einzelne Aufforderung mit InvokeModel](inference-invoke.md). ### Playground In einem Chat-Playground der Amazon-Bedrock-Konsole können Sie die Prompt-Caching-Option aktivieren, sodass Amazon Bedrock automatisch Cache-Checkpoints für Sie erstellt. Folgen Sie den Anweisungen unter [Generieren von Antworten in der Konsole mithilfe von Playgrounds](playgrounds.md), um mit dem Erstellen von Prompts in einem Amazon-Bedrock-Playground zu beginnen. Bei unterstützten Modellen wird das Prompt-Caching im Playground automatisch aktiviert. Ist dies jedoch nicht der Fall, gehen Sie wie folgt vor, um das Prompt-Caching zu aktivieren: 1. Öffnen Sie im linken Seitenbereich das Menü **Konfigurationen**. 1. Aktivieren Sie die Option **Prompt-Caching**. 1. Führen Sie Ihre Prompts aus. Nachdem Ihre kombinierten Eingabe- und Modellantworten die für einen Checkpoint erforderliche Mindestanzahl an Token erreicht haben (die je nach Modell unterschiedlich ist), erstellt Amazon Bedrock automatisch den ersten Cache-Checkpoint für Sie. Während Sie weiter chatten, wird bei jedem weiteren Erreichen der Mindestanzahl an Token ein neuer Checkpoint erstellt, bis zu der für das Modell maximal zulässigen Anzahl von Checkpoints. Sie können Ihre Cache-Checkpoints jederzeit einsehen, indem Sie neben der Option **Prompt-Caching** die Option **Cache-Checkpoints anzeigen** auswählen, wie im folgenden Screenshot gezeigt. ![\[Benutzeroberflächen-Umschalter für Prompt-Caching in einer Text-Playground von Amazon Bedrock\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-ui-toggle.png) Sie können sehen, wie viele Token aufgrund jeder Interaktion mit dem Modell aus dem Cache gelesen und in den Cache geschrieben werden, indem Sie das Popup-Fenster mit den **Caching-Metriken** (![\[The metrics icon shown in model responses when prompt caching is enabled.\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics-icon.png)) in den Playground-Antworten aufrufen. ![\[Feld für Caching-Metriken, in dem die Anzahl der Token angezeigt wird, die aus dem Cache gelesen und in den Cache geschrieben wurden.\]](http://docs.aws.amazon.com/de_de/bedrock/latest/userguide/images/prompt-caching/bedrock-prompt-caching-metrics.png) Wenn Sie während einer Konversation den Umschalter für Prompt-Caching deaktivieren, können Sie den Chat mit dem Model fortsetzen.