Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzare un profilo di inferenza nell’invocazione del modello
È possibile utilizzare un profilo di inferenza tra Regioni anziché un modello di fondazione per instradare le richieste a più Regioni. Per tenere traccia dei costi e dell’utilizzo di un modello in una o più Regioni, è possibile utilizzare un profilo di inferenza dell’applicazione. Per informazioni sull’utilizzo di un profilo di inferenza quando si esegue l’inferenza del modello, scegli la scheda relativa al metodo che preferisci, quindi segui la procedura:
- Console
-
Per utilizzare un profilo di inferenza con una funzionalità che lo supporti, esegui queste operazioni:
-
Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all'indirizzo https://console.aws.amazon.com/bedrock
. -
Vai alla pagina della funzionalità per cui desideri utilizzare un profilo di inferenza. Ad esempio, seleziona Spazio di sviluppo per chat/testo nel riquadro di navigazione a sinistra.
-
Scegli Seleziona modello, quindi scegli il modello. Ad esempio, scegli Amazon, quindi Nova Premier.
-
In Inferenza, seleziona Profili di inferenza nel menu a discesa.
-
Seleziona il profilo di inferenza da utilizzare, ad esempio US Nova Premier, quindi scegli Applica.
-
- API
-
È possibile utilizzare un profilo di inferenza quando si esegue l’inferenza da qualsiasi Regione inclusa nel profilo stesso con le seguenti operazioni API:
-
InvokeModeloppure InvokeModelWithResponseStream— Per utilizzare un profilo di inferenza nell'invocazione del modello, segui i passaggi indicati Invia una sola richiesta con InvokeModel e specifica l'Amazon Resource Name (ARN) del profilo di inferenza nel campo.
modelIdPer un esempio, consulta Utilizzare un profilo di inferenza nell’invocazione del modello. -
Converse o ConverseStream— Per utilizzare un profilo di inferenza nell'invocazione del modello con l'ConverseAPI, segui i passaggi indicati e Inferenza utilizzando l'API Converse specifica l'ARN del profilo di inferenza nel campo.
modelIdPer un esempio, consulta Utilizzare un profilo di inferenza in una conversazione. -
RetrieveAndGenerate: per utilizzare un profilo di inferenza durante la generazione di risposte dai risultati di query a una knowledge base, segui i passaggi indicati nella scheda API in Test della knowledge base con query e risposte e specifica l’ARN del profilo di inferenza nel campo
modelArn. Per ulteriori informazioni, consulta Utilizzare un profilo di inferenza per generare una risposta. -
CreateEvaluationJob— Per inviare un profilo di inferenza per la valutazione del modello, segui i passaggi nella scheda API Avvio di un processo di valutazione automatica del modello in Amazon Bedrock e specifica l'ARN del profilo di inferenza nel campo.
modelIdentifier -
CreatePrompt— Per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt creato in Gestione dei prompt, segui i passaggi nella scheda API Creare un prompt utilizzando Gestione prompt e specifica l'ARN del profilo di inferenza nel campo.
modelId -
CreateFlow— Per utilizzare un profilo di inferenza durante la generazione di una risposta per un prompt in linea definito all'interno di un nodo di prompt in un flusso, segui i passaggi nella scheda API in. Creare e progettare un flusso in Amazon Bedrock Nella definizione del nodo prompt, specifica l’ARN del profilo di inferenza nel campo
modelId. -
CreateDataSource— Per utilizzare un profilo di inferenza durante l'analisi di informazioni non testuali in un'origine dati, segui i passaggi nella sezione API e Opzioni di analisi per l’origine dati specifica l'ARN del profilo di inferenza nel campo.
modelArn
Nota
Se si utilizza un profilo di inferenza tra Regioni (definito dal sistema), è possibile utilizzare l’ARN o l’ID del profilo di inferenza stesso.
-
