Creare un processo di valutazione del modello umana

Come creare un processo di valutazione del modello che utilizza lavoratori umani

1. Apri la console Amazon Bedrock.

2. Nel riquadro di navigazione in Inferenza e valutazione, seleziona Valutazioni.

3. Nel riquadro Valutazione del modello, in Umano, scegli Crea e seleziona Valutazione umana: porta il tuo team di lavoro.

4. Nella pagina Specifica i dettagli dei processi, procedi come segue:

   1. Nome di valutazione: assegna al processo di valutazione del modello un nome che descriva il processo. Viene mostrato nell’elenco dei processi di valutazione del modello. Il nome deve essere univoco nell’account in una Regione AWS.

   2. Descrizione (facoltativa): fornisci una descrizione facoltativa.

   3. Scegli Avanti.

5. Nella pagina Configura la valutazione, in Origine dell’inferenza seleziona l’origine per la valutazione del modello. Puoi valutare le prestazioni dei modelli Amazon Bedrock o di altri modelli fornendo i dati di risposta all’inferenza nel tuo set di dati dei prompt. Puoi selezionare fino a due origini dell’inferenza. Per i processi con due origini, non devi scegliere lo stesso tipo per entrambe le origini. Puoi selezionare un modello Amazon Bedrock e fornire i dati di risposta all’inferenza per la seconda origine. Per valutare i modelli Amazon Bedrock, procedi come segue:

   1. In Seleziona l’origine, seleziona Modelli Bedrock.

   2. Scegli Seleziona modello per scegliere il modello da valutare.

   3. Per selezionare un secondo modello, scegli Aggiungi modello e ripeti le fasi precedenti.

6. Per importare i tuoi dati di risposta all’inferenza, procedi come segue:

   1. In Seleziona l’origine scegli Porta le tue risposte di inferenza.

   2. Per Nome dell’origine, inserisci un nome per il modello che hai utilizzato per creare i dati di risposta. Il nome inserito deve corrispondere al parametro modelIdentifier nel set di dati dei prompt.

   3. Per selezionare una seconda origine, scegli Aggiungi modello e ripeti le fasi precedenti.

7. Per Tipo di attività, seleziona il tipo di attività che vuoi che il modello esegua durante il processo di valutazione del modello. Tutte le istruzioni per il modello devono essere incluse nei prompt stessi. Il tipo di attività non controlla le risposte del modello.

8. Nel riquadro Set di dati, fornisci quanto segue.

   1. In Scegli un set di dati dei prompt, specifica l’URI S3 del file del set di dati dei prompt oppure scegli Sfoglia S3 per vedere i bucket S3 disponibili. In un set di dati dei prompt personalizzato puoi avere un massimo di 1.000 prompt.

   2. In Destinazione dei risultati della valutazione, specifica l’URI S3 della directory in cui vuoi salvare i risultati del processo di valutazione del modello oppure scegli Sfoglia S3 per visualizzare i bucket S3 disponibili.

9. (Facoltativo) In Chiave KMS - facoltativo, fornisci l’ARN di una chiave gestita dal cliente che vuoi utilizzare per crittografare il processo di valutazione del modello.

10. Nel riquadro Ruolo IAM di Amazon Bedrock - Autorizzazioni, procedi come segue. Per ulteriori informazioni sulle autorizzazioni necessarie per le valutazioni del modello, consulta Requisiti del ruolo di servizio per i processi di valutazione del modello.

    1. Per utilizzare un ruolo di servizio di Amazon Bedrock esistente, scegli Usa un ruolo esistente. Altrimenti, usa Crea un nuovo ruolo per specificare i dettagli del tuo nuovo ruolo di servizio IAM.

    2. In Nome del ruolo di servizio, scegli il nome del ruolo del servizio.

    3. Quando è tutto pronto, scegli Crea ruolo per creare il nuovo ruolo di servizio IAM.

11. Scegli Next (Successivo).

12. In Team di lavoro, utilizza il menu a discesa Seleziona team per selezionare un team esistente oppure crea un nuovo team nel seguente modo:

    1. In Nome team, inserisci un nome per il team.

    2. In Indirizzi e-mail, inserisci gli indirizzi e-mail dei lavoratori umani del tuo team.

    3. In Numero di lavoratori per prompt, seleziona il numero di lavoratori che valutano ogni prompt. Dopo aver esaminato le risposte a ciascun prompt in base al numero di lavoratori selezionato, il prompt e le relative risposte verranno ritirati dal team di lavoro. Il report sui risultati finali includerà tutte le valutazioni di ciascun lavoratore.

       Importante

       I modelli linguistici di grandi dimensioni sono noti per produrre occasionalmente contenuti pericolosi o offensivi. Durante questa valutazione, ai tuoi dipendenti potrebbe essere mostrato materiale pericoloso o offensivo. Assicurati di prendere le misure adeguate per prepararli e informarli prima che lavorino alla valutazione. Possono rifiutare e interrompere le attività o fare delle pause durante la valutazione accedendo allo strumento di valutazione umana.

13. In Ruolo IAM del flusso di lavoro umano - Autorizzazioni, seleziona un ruolo esistente oppure seleziona Crea un nuovo ruolo.

14. Scegli Next (Successivo).

15. In Istruzioni per la valutazione, fornisci istruzioni per completare l’attività. Puoi visualizzare in anteprima l’interfaccia utente di valutazione utilizzata dal team di lavoro per valutare risposte, incluse le metriche, metodi di valutazione e istruzioni. Questa anteprima si basa sulla configurazione che hai creato per questo processo.

16. Scegli Next (Successivo).

17. Rivedi la configurazione e scegli Crea per creare il processo.

    Nota

    Una volta avviato correttamente il processo, lo stato passa a In corso. Al termine del processo, lo stato cambia in Completato. Mentre un processo di valutazione del modello è ancora in corso, puoi scegliere di interromperlo prima che tutte le risposte dei modelli siano state valutate dal tuo team di lavoro. A tale scopo, scegli Interrompi la valutazione nella pagina di destinazione della valutazione del modello. Di conseguenza lo Stato del processo di valutazione del modello diventerà Arresto in corso. Una volta che il processo di valutazione del modello è stato interrotto correttamente, puoi eliminarlo.