Creación de un trabajo de evaluación de modelos con intervención humana

Para crear un trabajo de evaluación de modelos con trabajadores humanos:

1. Abra la consola de Amazon Bedrock.

2. En el panel de navegación, en Inferencia y evaluación, seleccione Evaluaciones.

3. En el panel Evaluación del modelo, en Humano, elija Crear y seleccione Humano: utilice a su propio equipo de trabajo.

4. En la página Especificar detalles del proyecto, haga lo siguiente:

   1. Nombre de la evaluación: asigne al trabajo de evaluación de modelos un nombre que describa el trabajo. Este nombre se muestra en su lista de trabajos de evaluación de modelos. El nombre debe ser único en su cuenta en una Región de AWS.

   2. Descripción (opcional): proporcione una descripción opcional.

   3. Elija Siguiente.

5. En la página Configure la evaluación, en Origen de inferencia, seleccione el origen para la evaluación del modelo. Puede evaluar el rendimiento de los modelos de Amazon Bedrock o de otros modelos proporcionando sus propios datos de respuesta de inferencia en el conjunto de datos de peticiones. Puede seleccionar un máximo de dos orígenes de inferencia. Para los trabajos con dos orígenes, no tiene que elegir el mismo tipo para ambos orígenes; puede seleccionar un modelo de Amazon Bedrock y proporcionar sus propios datos de respuesta de inferencia para el segundo origen. Para evaluar modelos de Amazon Bedrock, haga lo siguiente:

   1. En Seleccione un origen, seleccione Modelos de Bedrock.

   2. En Seleccionar el modelo, elija el modelo que desea evaluar.

   3. Para seleccionar un segundo modelo, elija Agregar modelo y repita los pasos anteriores.

6. Para traer sus propios datos de respuesta de inferencia, haga lo siguiente:

   1. En Seleccione un origen, seleccione Traiga sus propias respuestas de inferencia.

   2. En Nombre del origen, introduzca un nombre para el modelo que utilizó para crear los datos de respuesta. El nombre que introduzca debe coincidir con el parámetro modelIdentifier del conjunto de datos de peticiones.

   3. Para añadir un segundo origen, elija Agregar modelo y repita los pasos anteriores.

7. En Tipo de tarea, seleccione el tipo de tarea que desea que el modelo realice durante el trabajo de evaluación de modelos. Todas las instrucciones del modelo deben incluirse en las propias peticiones. El tipo de tarea no controla las respuestas del modelo.

8. En el panel Conjuntos de datos, debe proporcionar lo siguiente.

   1. En Elija un conjunto de datos de peticiones, especifique el URI de S3 del archivo de conjunto de datos de peticiones o elija Explorar S3 para ver los buckets de S3 disponibles. Puede tener un máximo de 1000 peticiones en un conjunto de datos de peticiones personalizado.

   2. En Destino de los resultados de la evaluación, especifique el URI de S3 del directorio en el que desee guardar los resultados del trabajo de evaluación de modelos o elija Explorar S3 para ver los buckets de S3 disponibles.

9. (Opcional) En Clave de KMS (opcional), proporcione el ARN de la clave de administrada por el cliente que desea utilizar para cifrar el trabajo de evaluación de modelos.

10. En el panel Rol de IAM de Amazon Bedrock: permisos, haga lo siguiente. Para obtener más información sobre los permisos necesarios para las evaluaciones de modelos, consulte Requisitos de rol de servicio para los trabajos de evaluación de modelos.

    1. Para utilizar un rol de servicio de Amazon Bedrock existente, seleccione Utilizar un rol existente. De lo contrario, utilice Crear un nuevo rol para especificar los detalles del nuevo rol de servicio de IAM.

    2. En Rol de servicio, elija el nombre del rol de servicio de IAM.

    3. Cuando esté todo listo, elija Crear rol para crear el nuevo rol de servicio de IAM.

11. Elija Siguiente.

12. En Equipo de trabajo, use el menú desplegable Seleccione un equipo para seleccionar un equipo existente o cree uno nuevo de la siguiente manera:

    1. En Nombre del equipo, escriba un nombre para su equipo.

    2. En Direcciones de correo electrónico, introduzca las direcciones de correo electrónico de los trabajadores humanos de su equipo.

    3. En Número de trabajadores por petición, seleccione el número de trabajadores que evalúan cada petición. Una vez revisadas las respuestas de cada petición según el número de trabajadores que haya seleccionado, la petición y sus respuestas se retirarán de la circulación por parte del equipo de trabajo. El informe de resultados final incluirá todas las calificaciones de cada trabajador.

       importante

       Se sabe que los modelos de lenguaje grandes alucinan de vez en cuando y producen contenido tóxico u ofensivo. Es posible que a sus trabajadores se les muestre material tóxico u ofensivo durante esta evaluación. Asegúrese de tomar las medidas adecuadas para formarlos y notificarlos antes de que trabajen en la evaluación. Pueden rechazar y dejar en pausa las tareas o tomarse descansos durante la evaluación mientras acceden a la herramienta de evaluación humana.

13. En Rol de IAM del flujo de trabajo humano: permisos, seleccione un rol existente o seleccione Crear un nuevo rol.

14. Elija Siguiente.

15. En Instrucciones de evaluación, proporcione instrucciones para completar la tarea. Puede obtener una vista previa de la interfaz de usuario de evaluación que su equipo de trabajo utiliza para evaluar las respuestas, incluidas las métricas, los métodos de calificación y sus instrucciones. Esta vista previa se basa en la configuración que ha creado para este trabajo.

16. Elija Siguiente.

17. Revise la configuración del trabajo y elija Crear para crear el trabajo.

    nota

    Una vez que el trabajo se haya iniciado correctamente, el estado cambiará a En curso. Cuando el trabajo haya finalizado, el estado cambiará a Completado. Mientras el trabajo de evaluación del modelo esté en curso, puede optar por detenerlo antes de que su equipo de trabajo haya evaluado todas las respuestas del modelo. Para ello, seleccione Detener la evaluación en la página de inicio de la evaluación del modelo. Esto cambiará el estado del trabajo de evaluación del modelo a Detener. Una vez que el trabajo de evaluación del modelo se haya detenido correctamente, puede eliminarlo.