Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

NVIDIA Nemotron 3 Super 120 B

NVIDIA — NVIDIA Nemotron 3 Super 120 B

Modelldetails

NVIDIA Nemotron 3 Super ist ein 120 B-parameter offenes Hybrid-MoE-Modell, das nur 12 B-Parameter aktiviert, um maximale Recheneffizienz und Genauigkeit in komplexen Multi-Agent-Anwendungen zu erzielen. Es bietet einen bis zu 7-mal höheren Durchsatz und ermöglicht schnelle, kosteneffiziente Inferenz für behördliche Aufgaben. Ein langes Kontextfenster bietet dem Modell ein Langzeitgedächtnis, wodurch verhindert wird, dass KI-Agenten den Fokus auf lange, mehrstufige Aufgaben verlieren, und gewährleistet hochgenaue Ergebnisse. Es ist vollständig mit Gewichten, Datensätzen und Rezepten geöffnet und ermöglicht eine einfache Anpassung und sichere Bereitstellung. Weitere Informationen zur Modellentwicklung und Leistung finden Sie auf der model/service Karte.

Fähigkeiten und Funktionen

Eigenschaften von Bedrock

Funktionen, die mithilfe bedrock-mantle von Endpoint unterstützt werden

Funktionen, die mithilfe von bedrock-runtime Endpoint unterstützt werden

Preisgestaltung

Die Preise finden Sie auf der Seite mit den Preisen von Amazon Bedrock.

Programmatischer Zugriff

Verwenden Sie die folgenden Modell-IDs und Endpunkt-URLs, um programmgesteuert auf dieses Modell zuzugreifen. Weitere Informationen zu den verfügbaren APIs und Endpunkten finden Sie unter Unterstützte APIs und Unterstützte Endpunkte.

Wenn Region beispielsweise us-east-1 (Nord-Virginia) ist, dann lautet die URL des Bedrock-Runtime-Endpunkts "" und für Bedrock-Mantle https://bedrock-runtime.us-east-1.amazonaws.com "“. https://bedrock-mantle.us-east-1.api.aws/v1

Dienststufen

Amazon Bedrock bietet mehrere Servicestufen, um Ihren Workload-Anforderungen gerecht zu werden. Standard bietet unverbindlichen Pay-per-Token-Zugriff. Priority bietet einen höheren Durchsatz mit einer zeitbasierten Verpflichtung. Flex bietet kostengünstigeren Zugriff für flexible, nicht zeitkritische Workloads. Reserved bietet einen dedizierten Durchsatz mit einer festen Laufzeit für vorhersehbare Workloads. Weitere Informationen finden Sie unter Servicestufen.

Regionale Verfügbarkeit

Die regionale Verfügbarkeit auf einen Blick

Bedrock bietet drei Inferenzoptionen: In-Regiondie Erfassung von Anfragen innerhalb einer einzigen Region, um die strikte Einhaltung der Vorschriften zu gewährleisten, geografische Cross-Region Routen zwischen Regionen innerhalb einer Region (USA, EU usw.) für einen höheren Durchsatz bei gleichzeitiger Wahrung der Datenresidenz und globale Cross-Region Routen überall auf der Welt für maximalen Durchsatz, wenn es keine lokalen Beschränkungen gibt. Weitere Informationen finden Sie auf der Regionale Verfügbarkeit Seite.

Einzelheiten zur Geo CRIS-Inferenz

US CRIS GovCloud

US GovCloud CRIS-Inferenz-ID: us-gov.nvidia.nemotron-super-3-120b

Kontingente und Einschränkungen

Ihr AWS-Konto verfügt über Standardkontingente, um die Leistung des Service aufrechtzuerhalten und eine angemessene Nutzung von Amazon Bedrock sicherzustellen. Die einem Konto zugewiesenen Standardkontingente können je nach regionalen Faktoren, Zahlungsverlauf, betrügerischer Nutzung und and/or Genehmigung einer Anfrage zur Erhöhung des Kontingents aktualisiert werden. Weitere Informationen finden Sie in der Kontingente für Amazon Bedrock Dokumentation und in den Grenzwerten für das Modell.

Beispiel-Code

Schritt 1 — AWS-Konto: Wenn Sie bereits ein AWS-Konto haben, überspringen Sie diesen Schritt. Wenn Sie neu bei AWS sind, registrieren Sie sich für ein AWS-Konto.

Schritt 2 — API-Schlüssel: Rufen Sie die Amazon Bedrock-Konsole auf und generieren Sie einen langfristigen API-Schlüssel.

Schritt 3 — Holen Sie sich das SDK: Um dieses Handbuch für die ersten Schritte verwenden zu können, muss Python bereits installiert sein. Installieren Sie dann die entsprechende Software, je nachdem, welche APIs Sie verwenden.

Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

Schritt 4 — Umgebungsvariablen festlegen: Konfigurieren Sie Ihre Umgebung so, dass der API-Schlüssel für die Authentifizierung verwendet wird.

Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Schritt 5 — Führen Sie Ihre erste Inferenzanfrage aus: Speichern Sie die Datei unter bedrock-first-request.py

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="nvidia.nemotron-super-3-120b",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='nvidia.nemotron-super-3-120b',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
)
print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='nvidia.nemotron-super-3-120b',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)