Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

NVIDIA Nemotron 3 Super 120B

NVIDIA — NVIDIA Nemotron 3 Super 120B

Dettagli del modello

NVIDIA Nemotron 3 Super è un modello MoE ibrido aperto con parametri da 120B, che attiva solo 12 miliardi di parametri per la massima efficienza e precisione di elaborazione in applicazioni multiagente complesse. Offre un throughput fino a 7 volte superiore, fornendo un'inferenza rapida ed economica per le attività agentiche. Una lunga finestra contestuale fornisce al modello una memoria a lungo termine, evitando che gli agenti di intelligenza artificiale perdano la concentrazione su attività lunghe e in più fasi e garantendo risultati ad alta precisione. Completamente aperto con pesi, set di dati e ricette, consente una facile personalizzazione e un'implementazione sicura. Per ulteriori informazioni sullo sviluppo e sulle prestazioni del modello, consulta la scheda del modello/servizio.

Funzionalità e caratteristiche

Caratteristiche Bedrock

Funzionalità supportate tramite endpoint bedrock-mantle

Funzionalità supportate tramite endpoint bedrock-runtime

Prezzi

Per i prezzi, consulta la pagina dei prezzi di Amazon Bedrock.

Accesso programmatico

Utilizza il modello IDs e l'endpoint seguenti URLs per accedere a questo modello a livello di codice. Per ulteriori informazioni sugli endpoint disponibili, consulta APIs APIs Supported ed Endpoints supportati.

Ad esempio, se la regione è us-east-1 (Virginia settentrionale), l'URL dell'endpoint bedrock-runtime sarà "" e per bedrock-mantle sarà https://bedrock-runtime.us-east-1.amazonaws.com "https://bedrock-mantle.us-east-1.api.aws/v1».

Livelli di servizio

Amazon Bedrock offre diversi livelli di servizio per soddisfare i tuoi requisiti di carico di lavoro. Standard fornisce pay-per-token l'accesso senza impegno. Priority offre una maggiore produttività con un impegno basato sul tempo. Flex offre un accesso a basso costo per carichi di lavoro flessibili. non-time-sensitive Reserved offre un throughput dedicato con un impegno a termine per carichi di lavoro prevedibili. Per ulteriori informazioni, consulta i livelli di servizio.

Disponibilità regionale

Disponibilità regionale a colpo d'occhio

Bedrock offre tre opzioni di inferenza: In-Region mantiene le richieste all'interno di un'unica regione per garantire la massima conformità, percorsi geografici interregionali tra regioni all'interno di un'area geografica (Stati Uniti, UE, ecc.) per una maggiore velocità effettiva nel rispetto della residenza dei dati e rotte globali interregionali in tutto il mondo per la massima produttività quando non ci sono vincoli di residenza. Disponibilità regionaleConsulta la pagina per maggiori dettagli.

Quote e limiti

Il tuo account AWS dispone di quote predefinite per mantenere le prestazioni del servizio e garantire un uso appropriato di Amazon Bedrock. Le quote predefinite assegnate a un account potrebbero essere aggiornate in base a fattori regionali, alla cronologia dei pagamenti, all'utilizzo fraudolento, all' and/or approvazione di una richiesta di aumento delle quote. Per maggiori dettagli, consulta la Quote per Amazon Bedrock documentazione e consulta i limiti del modello.

Codice di esempio

Fase 1 - Account AWS: se hai già un account AWS, salta questo passaggio. Se non conosci AWS, registrati per un account AWS.

Fase 2 - Chiave API: vai alla console Amazon Bedrock e genera una chiave API a lungo termine.

Passaggio 3 - Scarica l'SDK: per utilizzare questa guida introduttiva, devi avere Python già installato. Quindi installa il software pertinente a seconda di APIs quello che stai utilizzando.

Responses/Chat Completions API

pip install boto3 openai

Invoke/Converse API

pip install boto3

Passaggio 4 - Imposta le variabili di ambiente: configura l'ambiente per utilizzare la chiave API per l'autenticazione.

Responses/Chat Completions API

OPENAI_API_KEY="<provide your Bedrock API key>"
OPENAI_BASE_URL="https://bedrock-mantle.<your-region>.api.aws/v1"

Invoke/Converse API

AWS_BEARER_TOKEN_BEDROCK="<provide your Bedrock API key>"

Passaggio 5 - Esegui la tua prima richiesta di inferenza: salva il file come bedrock-first-request.py

Responses API

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="nvidia.nemotron-super-3-120b",
    input="Can you explain the features of Amazon Bedrock?"
    )
print(response)

Chat Completions API

from openai import OpenAI

client = OpenAI()

response = client.chat.completions.create(
    model="nvidia.nemotron-super-3-120b",
    messages=[{"role": "user", "content": "Can you explain the features of Amazon Bedrock?"}]
    )
print(response)

Invoke API

import json
import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.invoke_model(
    modelId='nvidia.nemotron-super-3-120b',
    body=json.dumps({
            'messages': [{ 'role': 'user', 'content': 'Can you explain the features of Amazon Bedrock?'}],
            'max_tokens': 1024
    })
 )
 print(json.loads(response['body'].read()))

Converse API

import boto3

client = boto3.client('bedrock-runtime', region_name='us-east-1')
response = client.converse(
    modelId='nvidia.nemotron-super-3-120b',
    messages=[
        {
            'role': 'user',
            'content': [{'text': 'Can you explain the features of Amazon Bedrock?'}]
        }
    ]
)
print(response)