Criar um trabalho de avaliação de modelo usando métricas personalizadas

Abra o console do Amazon Bedrock.

No painel à esquerda, em Inferência e avaliação, selecione Avaliações.

No painel Avaliações de modelos, escolha Criar e selecione Automático: Modelo como juiz.

Para inserir os detalhes da avaliação de modelo, faça o seguinte:

1. No painel Detalhes da avaliação do modelo, em Nome da avaliação, insira um nome para seu trabalho de avaliação. O nome que você escolher deve ser exclusivo em sua Região da AWS.

2. Opcionalmente, em Descrição: opcional, insira uma descrição para o trabalho de avaliação.

3. Em Modelo de avaliador, escolha Selecionar modelo e selecione o modelo avaliador que você deseja que realize seu trabalho de avaliação. Observe que o modelo selecionado aqui é usado para avaliar o modelo gerador em relação a qualquer métrica incorporada que você selecionar. É possível escolher um modelo avaliador diferente para usar em suas métricas personalizadas em uma etapa posterior.

Insira a fonte de inferência para o trabalho de avaliação. Com as avaliações de modelo do Amazon Bedrock, você pode avaliar o desempenho dos modelos do Amazon Bedrock ou de outros modelos fornecendo seus próprios dados de resposta de inferência no conjunto de dados de prompts. Para selecionar um modelo do Amazon Bedrock, faça o seguinte:

1. No painel Fonte de inferência, em Selecionar origem, escolha Modelos do Bedrock.

2. Em Selecionar modelo, escolha Selecionar modelo.

3. No pop-up, selecione o modelo que você deseja avaliar e escolha Aplicar.

4. (Opcional) Para alterar os parâmetros de inferência do modelo, em Configuração de inferência, escolha Atualizar.

Para trazer seus próprios dados de resposta de inferência, faça o seguinte:

1. No painel Fonte de inferência, em Selecionar origem, escolha Trazer suas próprias respostas de inferência.

2. Em Nome da origem, insira um nome para o modelo usado para criar os dados de resposta. O nome inserido deve corresponder ao parâmetro modelIdentifier no conjunto de dados de prompts.

Escolha qualquer métrica integrada com a qual você deseja que o modelo avaliador avalie as respostas do modelo gerador selecionando-as no painel Métricas.

Para adicionar mais uma métrica personalizada, primeiro selecione o modelo avaliador que você deseja usar para avaliar suas métricas. No painel Métricas personalizadas, faça o seguinte:

1. Escolha Selecionar modelo.

2. Na janela pop-up, selecione o modelo que você quer usar.

3. Escolha Aplicar.

Em Nome da métrica, insira um nome para a métrica.

Você pode configurar uma métrica de três maneiras: fornecendo um arquivo JSON que especifica a métrica, editando um prompt de métrica integrada existente por meio de um modelo ou inserindo um prompt diretamente no console para uso do modelo avaliador.

Para criar uma métrica por meio de um arquivo JSON, faça o seguinte:

1. Em Escolher tipo de métrica, selecione Importar arquivo JSON.

2. Em Importar arquivo JSON, selecione Escolher arquivo.

3. Usando o seletor de arquivos, selecione o arquivo JSON com a definição de sua métrica personalizada e escolha Abrir. Para saber mais sobre o esquema para especificar uma métrica personalizada usando um arquivo JSON e ver alguns exemplos de arquivo, consulte Criar um arquivo JSON para criar uma métrica personalizada.

4. (Opcional) Para criar outra métrica, escolha Adicionar métricas personalizadas. É possível criar até dez métricas personalizadas para um trabalho de avaliação.

   Quando terminar de criar suas métricas personalizadas, vá para a Etapa 13 para configurar os conjuntos de dados para o trabalho de avaliação.

Para criar uma métrica personalizada por meio de um modelo integrado, faça o seguinte:

1. Em Escolher tipo de métrica, selecione Usar um modelo.

2. Em Selecionar um modelo, use a lista suspensa para escolher um prompt de métrica integrado existente para usar como ponto de partida para sua métrica personalizada.

3. Em Instruções, edite o prompt que você selecionou para adequá-lo ao seu caso de uso. Para ver as práticas recomendadas e uma lista dos elementos necessários ao criar um prompt de métrica personalizada, consulte Criar um prompt para uma métrica personalizada.

4. Se você quiser que seu trabalho de avaliação produza saídas estruturadas com pontuações classificadas, deixe a opção Esquema de saída habilitado (recomendado) marcada. Sua configuração de métricas não precisa incluir um esquema de saída, mas recomendamos que você defina um. Se você não usar um esquema, os resultados exibidos incluirão somente explicações sem pontuações ou visualização de dados.

5. Em Tipo de escala, selecione Numérico ou String de acordo com seu caso de uso e insira suas definições de escala e descrição nas caixas de texto. Para ver orientações e práticas recomendadas sobre a definição de escalas de saída, consulte Especificar um esquema de saída (escala de classificação).

6. (Opcional) Para criar outra métrica, escolha Adicionar métricas personalizadas. É possível criar até dez métricas personalizadas para um trabalho de avaliação.

   Quando terminar de criar suas métricas personalizadas, vá para a Etapa 13 para configurar os conjuntos de dados para o trabalho de avaliação.

Para criar uma métrica personalizada do zero no console, faça o seguinte:

1. Em Escolher tipo de métrica, selecione Personalizado.

2. Em Instruções, insira o prompt da métrica personalizada diretamente na caixa de texto. Para ver as práticas recomendadas e uma lista dos elementos necessários ao criar um prompt de métrica personalizada, consulte Criação de prompts e práticas recomendadas.

3. Se você quiser que seu trabalho de avaliação produza saídas estruturadas com pontuações classificadas, deixe a opção Esquema de saída habilitado (recomendado) marcada. Sua configuração de métricas não precisa incluir um esquema de saída, mas recomendamos que você defina um. Se você não usar um esquema, os resultados exibidos incluirão somente explicações sem pontuações ou visualização de dados.

4. Em Tipo de escala, selecione Numérico ou String de acordo com seu caso de uso e insira suas definições de escala e descrição nas caixas de texto. Para ver orientações e práticas recomendadas sobre a definição de escalas de saída, consulte Especificar um esquema de saída (escala de classificação).

5. (Opcional) Para criar outra, escolha Adicionar métricas personalizadas. É possível criar até dez métricas personalizadas para um trabalho de avaliação.

   Quando terminar de criar suas métricas personalizadas, vá para a próxima etapa para configurar os conjuntos de dados do trabalho de avaliação.

Defina os locais de entrada e saída para o conjunto de dados e os resultados fazendo o seguinte:

1. No painel Conjuntos de dados, em Escolha um conjunto de dados de prompts, insira o URI do Amazon S3 para o conjunto de dados de prompts ou escolha Procurar no S3 e selecione o arquivo. Para ver uma definição do formato de conjunto de dados de prompts necessário para um trabalho de avaliação de modelo como avaliador, consulte Criar um conjunto de dados de prompts para um trabalho de avaliação de modelo que utilizam um modelo como avaliador.

2. Em Resultados da avaliação, insira um local do Amazon S3 para que o Amazon Bedrock salve seus resultados ou escolha Procurar no S3 para selecionar um local.

Em Perfil do IAM do Amazon Bedrock: Permissões, selecione Criar e usar um novo perfil de serviço para que o Amazon Bedrock crie um perfil do IAM para o trabalho de avaliação ou selecione Usar um perfil de serviço existente para escolher um perfil do IAM existente. Para ver uma lista das permissões necessárias para criar e executar um trabalho de avaliação, consulte Pré-requisitos.

(Opcional) Para usar sua própria chave do KMS para criptografar dados de avaliação, em KMSkey: opcional, marque Personalizar configurações de criptografia (avançadas) e selecione sua chave do AWS KMS. Por padrão, o Amazon Bedrock criptografa os dados do trabalho de avaliação com uma chave do Amazon Bedrock com uma chave do Amazon AWS Bedrock.

Selecione Criar para concluir a criação do trabalho de avaliação.