Inviare prompt e generare risposte utilizzando l’API - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Inviare prompt e generare risposte utilizzando l’API

Per eseguire l’inferenza dei modelli, Amazon Bedrock offre le seguenti operazioni API:

  • InvokeModel— Invia una richiesta e genera una risposta. Il corpo della richiesta è specifico del modello. Per generare risposte in streaming, usa InvokeModelWithResponseStream.

  • Converse: invia un prompt e genera risposte con una struttura unificata in tutti i modelli. I campi di richiesta specifici del modello possono essere specificati nel campo additionalModelRequestFields. È anche possibile includere prompt di sistema e conversazioni precedenti per fornire un contesto. Per generare risposte in streaming, usa ConverseStream.

  • StartAsyncInvoke— Invia una richiesta e genera una risposta in modo asincrono che può essere recuperata in un secondo momento. Consente di generare video.

  • InvokeModelWithBidirectionalStream –

  • API Chat Completions OpenAI: usa l’API Chat Completions OpenAI con modelli supportati da Amazon Bedrock per generare una risposta.

Nota

Le restrizioni si applicano alle seguenti operazioni:InvokeModel,, e. InvokeModelWithResponseStream Converse ConverseStream Per i dettagli, consulta Restrizioni API.

Per l’inferenza del modello, è necessario definire i seguenti parametri:

  • ID modello: ID o nome della risorsa Amazon (ARN) del modello o del profilo di inferenza da utilizzare nel campo modelId per l’inferenza. La tabella seguente descrive come trovare IDs diversi tipi di risorse:

    Tipo di modello Description Ricerca dell’ID nella console Ricerca dell’ID nell’API Documentazione di riferimento
    Modelli base Modello di fondazione fornito da un provider. Scegli Modelli base nel riquadro di navigazione a sinistra, cerca un modello e cerca l’ID modello. Invia una ListFoundationModelsrichiesta GetFoundationModelo e modelId trovala nella risposta. Vedi un elenco di IDs atModelli di fondazione supportati in Amazon Bedrock.
    Profilo di inferenza Aumenta il throughput consentendo l’invocazione di un modello in più Regioni. Scegli Inferenza tra Regioni nel riquadro di navigazione a sinistra, quindi cerca un ID del profilo di inferenza. Invia una ListInferenceProfilesrichiesta GetInferenceProfileo trovala inferenceProfileId nella risposta. Vedi un elenco di IDs atRegioni e modelli supportati per i profili di inferenza.
    Prompt Prompt creato utilizzando Gestione prompt. Scegli Gestione prompt nel riquadro di navigazione a sinistra, seleziona un prompt nella sezione Prompt, quindi cerca l’ARN del prompt. Invia una ListPromptsrichiesta GetPrompto trovala promptArn nella risposta. Per informazioni sulla creazione di prompt in Gestione prompt, consulta Creare e archiviare prompt riutilizzabili con Gestione dei prompt in Amazon Bedrock.
    Throughput allocato Fornisce un livello di throughput più elevato per un modello a un costo fisso. Scegli Throughput allocato nel riquadro di navigazione a sinistra, seleziona un throughput allocato e cerca l’ARN. Invia una ListProvisionedModelThroughputsrichiesta GetProvisionedModelThroughputo e provisionedModelArn cercala nella risposta. Per informazioni sull’acquisto di throughput allocato per un modello, consulta Aumenta la capacità di invocazione del modello con Provisioned Throughput in Amazon Bedrock.
    Modello personalizzato Modello i cui parametri sono modificati rispetto a un modello di fondazione basato sui dati di addestramento. Dopo aver acquistato throughput allocato per un modello personalizzato, segui i passaggi per trovare l’ID del throughput allocato. Dopo aver acquistato throughput allocato per un modello personalizzato, segui i passaggi per trovare l’ID del throughput allocato. Per informazioni sulla personalizzazione di un modello, consulta Personalizzazione del modello per migliorarne le prestazioni per il proprio caso d’uso. Dopo la personalizzazione, è necessario acquistare throughput allocato e utilizzarne l’ID.

  • Corpo della richiesta: contiene i parametri di inferenza per un modello e altre configurazioni. A ogni modello sono associati i propri parametri di inferenza. I parametri di inferenza per un modello personalizzato o allocato dipendono dal modello base da cui è stato creato. Per ulteriori informazioni, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

Seleziona un argomento per imparare a usare l' APIsinvocazione del modello.

Argomenti