Creazione di un processo di inferenza in batch - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un processo di inferenza in batch

Dopo aver configurato un bucket Amazon S3 con file per l’esecuzione dell’inferenza del modello, puoi creare un processo di inferenza in batch. Prima di iniziare, verifica di aver configurato i file in conformità con le istruzioni fornite in Formattazione e caricamento dei propri dati di inferenza in batch.

Nota

Per inviare un processo di inferenza in batch utilizzando un VPC, è necessario utilizzare l’API. Seleziona la scheda API per scoprire come includere la configurazione VPC.

Per scoprire come creare un processo di inferenza in batch, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi sotto indicati.

Console
Per creare un processo di inferenza in batch

  1. Accedi a Console di gestione AWS con un'identità IAM che dispone delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock in https://console.aws.amazon.com/bedrock.

  2. Seleziona Inferenza in batch nel riquadro di navigazione a sinistra.

  3. Nella sezione Processi di inferenza in batch, scegli Crea processo.

  4. Nella sezione Dettagli del processo, assegna al processo di inferenza in batch un Nome del processo e seleziona un modello da utilizzare per il processo di inferenza in batch scegliendo Seleziona modello.

  5. Nella sezione Tipo di invocazione del modello, scegli il formato API per i dati di input. Scegli InvokeModelse i dati di input utilizzano formati di richiesta specifici del modello o scegli Converse se i dati di input utilizzano il formato API Converse. Il valore predefinito è InvokeModel.

  6. Nella sezione Dati di input, scegli Sfoglia S3 e seleziona una posizione S3 per il tuo processo di inferenza in batch. L’inferenza in batch elabora tutti i file JSONL e i relativi file di contenuto in quella posizione S3, indipendentemente dal fatto che si tratti di una cartella S3 o di un singolo file JSONL.

    Nota

    Se i dati di input si trovano in un bucket S3 che appartiene a un account diverso da quello da cui stai inviando il processo, per inviare il processo di inferenza in batch devi utilizzare l’API. Per informazioni su come effettuare questa operazione, seleziona la scheda API in alto.

  7. Nella sezione Dati di output, scegli Browse S3 e seleziona una posizione S3 in cui archiviare i file di output dal tuo processo di inferenza in batch. Per impostazione predefinita, i dati di output verranno crittografati da un. Chiave gestita da AWS Per scegliere una chiave KMS personalizzata, seleziona Personalizza impostazioni di crittografia (avanzate) e scegli la chiave desiderata. Per ulteriori informazioni sulla crittografia delle risorse Amazon Bedrock e sulla configurazione di una chiave KMS personalizzata, consulta Crittografia dei dati.

    Nota

    Se prevedi di scrivere i dati di output su un bucket S3 che appartiene a un account diverso da quello da cui stai inviando il processo, per inviare il processo di inferenza in batch devi utilizzare l’API. Per informazioni su come effettuare questa operazione, seleziona la scheda API in alto.

  8. Nella sezione Accesso al servizio, seleziona una delle seguenti opzioni:

    • Usa un ruolo di servizio esistente: seleziona un ruolo di servizio nell’elenco a discesa. Per ulteriori informazioni sulla configurazione di un ruolo personalizzato con le autorizzazioni appropriate, consulta Autorizzazioni richieste per l’inferenza in batch.

    • Crea e utilizza un nuovo ruolo di servizio: inserisci un nome per il ruolo di servizio.

  9. (Facoltativo) Per associare i tag al processo di inferenza in batch, espandi la sezione Tag e aggiungi una chiave e un valore opzionale per ogni tag. Per ulteriori informazioni, consulta Assegnazione di tag alle risorse Amazon Bedrock.

  10. Scegliere Create batch inference job (Crea attività di inferenza batch).

API

Per creare un processo di inferenza in batch, invia una CreateModelInvocationJobrichiesta con un endpoint del piano di controllo Amazon Bedrock.

I seguenti campi sono obbligatori:

Campo Caso d’uso
jobName Specificare un nome per il processo.
roleArn Specificare il nome della risorsa Amazon (ARN) del ruolo di servizio con le autorizzazioni per creare e gestire il processo. Per ulteriori informazioni, consulta Creazione di un ruolo di servizio per l’inferenza in batch.
modelId Specificare l’ID o l’ARN del modello da utilizzare nell’inferenza.
inputDataConfig Specificare la posizione S3 che contiene i dati di input. L’inferenza in batch elabora tutti i file JSONL e i relativi file di contenuto in quella posizione S3, indipendentemente dal fatto che si tratti di una cartella S3 o di un singolo file JSONL. Per ulteriori informazioni, consulta Formattazione e caricamento dei propri dati di inferenza in batch.
outputDataConfig Specificare la posizione S3 in cui scrivere le risposte del modello.

I seguenti campi sono facoltativi:

Campo Caso d’uso
modelInvocationType Per specificare il formato API dei dati di input. Imposta Converse per utilizzare il formato API Converse o InvokeModel (impostazione predefinita) per utilizzare formati di richiesta specifici del modello. Per ulteriori informazioni sul formato di richiesta Converse, consulta Converse.
timeoutDurationInOre Specificare la durata in ore al termine della quale il processo scadrà.
tag Specificare eventuali tag da associare al processo. Per ulteriori informazioni, consulta Assegnazione di tag alle risorse Amazon Bedrock.
vpcConfig Specificare la configurazione VPC da utilizzare per proteggere i dati durante il processo. Per ulteriori informazioni, consulta Protezione dei processi di inferenza in batch con un VPC.
clientRequestToken Per garantire che la richiesta API venga completata solo una volta. Per ulteriori informazioni, consulta Garanzia di idempotenza.

La risposta restituisce un jobArn che è possibile utilizzare per altre chiamate API relative all’inferenza in batch.