Avaliação de RFT

O que é avaliação de RFT?

A avaliação de RFT permite que você avalie o desempenho do seu modelo usando funções de recompensa personalizadas antes, durante ou após o treinamento de aprendizado por reforço. Ao contrário das avaliações padrão que usam métricas predefinidas, a avaliação de RFT permite que você defina seus próprios critérios de sucesso por meio de uma função do Lambda que pontua os resultados do modelo com base em seus requisitos específicos.

Por que avaliar com o RFT?

A avaliação é crucial para determinar se o processo de ajuste fino do RL:

Quando usar a avaliação de RFT

Use a avaliação de RFT nestes cenários:

Requisitos de formato de dados

Estrutura de dados de entrada

Os dados de entrada da avaliação de RFT devem seguir o formato de ajuste fino por reforço da OpenAI. Cada exemplo é um objeto JSON que contém:

Exemplo de formato de dados

{  
  "messages": [  
    {  
      "role": "user",  
      "content": [  
        {  
          "type": "text",  
          "text": "Solve for x. Return only JSON like {\"x\": <number>}. Equation: 2x + 5 = 13"  
        }  
      ]  
    }  
  ],  
  "reference_answer": {  
    "x": 4  
  }  
}

Limitações atuais

Preparação da sua fórmula de avaliação

Exemplo de bloco de notas

Para obter um exemplo completo, consulte Cadernos de avaliação.

Configuração do exemplo de fórmula

run:  
  name: nova-lite-rft-eval-job    
  model_type: amazon.nova-lite-v1:0:300k    
  model_name_or_path: s3://escrow_bucket/model_location # [MODIFIABLE] S3 path to your model or model identifier  
  replicas: 1 # [MODIFIABLE] For SageMaker Training jobs only; fixed for HyperPod jobs  
  data_s3_path: "" # [REQUIRED FOR HYPERPOD] Leave empty for SageMaker Training jobs and use TrainingInput in sagemaker python SDK  
  output_s3_path: "" # [REQUIRED] Output artifact S3 path for evaluation results  
  
evaluation:  
  task: rft_eval # [FIXED] Do not modify  
  strategy: rft_eval # [FIXED] Do not modify  
  metric: all # [FIXED] Do not modify  
  
# Inference Configuration  
inference:  
  max_new_tokens: 8192 # [MODIFIABLE] Maximum tokens to generate  
  top_k: -1 # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0 # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0 # [MODIFIABLE] Sampling temperature (0 = deterministic)  
  top_logprobs: 0 # [MODIFIABLE] Set between 1-20 to enable logprobs output  
  
# =============================================================================  
# Bring Your Own Reinforcement Learning Environment  
# =============================================================================  
rl_env:  
  reward_lambda_arn: arn:aws:lambda:<region>:<account_id>:function:<reward-function-name>

Funções de recompensa predefinidas

Duas funções de recompensa predefinidas (prime_code e prime_math) estão disponíveis como uma camada do Lambda para facilitar a integração com suas funções de RFT do Lambda.

Visão geral

Essas funções predefinidas fornecem recursos de avaliação prontos para uso para:

Configuração rápida

função prime_code

Avalia as tarefas de geração de código Python executando o código em casos de teste e avaliando a exatidão.

Exemplo de formato de conjunto de dados de entrada

{"messages":[{"role":"user","content":"Write a function that returns the sum of two numbers."}],"reference_answer":{"inputs":["3\n5","10\n-2","0\n0"],"outputs":["8","8","0"]}}
{"messages":[{"role":"user","content":"Write a function to check if a number is even."}],"reference_answer":{"inputs":["4","7","0","-2"],"outputs":["True","False","True","True"]}}

Recursos principais do

prime_math function

Avalia o raciocínio matemático e as capacidades de resolução de problemas com suporte matemático simbólico.

Formato de entrada

{"messages":[{"role":"user","content":"What is the derivative of x^2 + 3x?."}],"reference_answer":"2*x + 3"}

Recursos principais do

Requisitos de formato de dados

Para avaliação de código

Para avaliação matemática

Práticas recomendadas

Tratamento de erros

Ambas as funções incluem tratamento robusto de erros para:

Criação da função de recompensa

Requisitos do ARN do Lambda

O ARN do Lambda precisa seguir este formato:

"arn:aws:lambda:*:*:function:*SageMaker*"

Se o Lambda não tiver esse esquema de nomenclatura, a tarefa falhará com este erro:

[ERROR] Unexpected error: lambda_arn must contain one of: ['SageMaker', 'sagemaker', 'Sagemaker'] when running on SMHP platform (Key: lambda_arn)

Formato de solicitação do Lambda

Sua função do Lambda recebe dados neste formato:

[  
  {  
    "id": "sample-001",  
    "messages": [  
      {  
        "role": "user",  
        "content": [  
          {  
            "type": "text",  
            "text": "Do you have a dedicated security team?"  
          }  
        ]  
      },  
      {  
        "role": "nova_assistant",  
        "content": [  
          {  
            "type": "text",  
            "text": "As an AI developed by Company, I don't have a dedicated security team..."  
          }  
        ]  
      }  
    ],  
    "reference_answer": {  
      "compliant": "No",  
      "explanation": "As an AI developed by Company, I do not have a traditional security team..."  
    }  
  }  
]

Formato de resposta do Lambda

Sua função do Lambda deve retornar dados neste formato:

[  
  {  
    "id": "sample-001",  
    "aggregate_reward_score": 0.75,  
    "metrics_list": [  
      {  
        "name": "accuracy",  
        "value": 0.85,  
        "type": "Metric"  
      },  
      {  
        "name": "fluency",  
        "value": 0.90,  
        "type": "Reward"  
      }  
    ]  
  }  
]

Campos de resposta

permissões do IAM

Permissões obrigatórias

O seu perfil de execução do SageMaker precisa ter as permissões para invocar sua função do Lambda. Adicione esta política ao seu perfil de execução do SageMaker:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "lambda:InvokeFunction"  
      ],  
      "Resource": "arn:aws:lambda:region:account-id:function:function-name"  
    }  
  ]  
}

Função de execução do Lambda

O perfil de execução de uma função do Lambda precisa de permissões básicas de execução do Lambda:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Action": [  
        "logs:CreateLogGroup",  
        "logs:CreateLogStream",  
        "logs:PutLogEvents"  
      ],  
      "Resource": "arn:aws:logs:*:*:*"  
    }  
  ]  
}

Se sua função do Lambda acessar outros serviços da AWS (por exemplo, S3 para dados de referência, DynamoDB para registro em log), adicione essas permissões ao perfil de execução do Lambda.

Execução da tarefa de avaliação

Conceitos básicos dos resultados da avaliação

Formato de saída

A tarefa de avaliação gera resultados para a localização específica do S3 no formato JSONL. Cada linha contém os resultados da avaliação de um exemplo:

{  
  "id": "sample-001",  
  "aggregate_reward_score": 0.75,  
  "metrics_list": [  
    {  
      "name": "accuracy",  
      "value": 0.85,  
      "type": "Metric"  
    },  
    {  
      "name": "fluency",  
      "value": 0.90,  
      "type": "Reward"  
    }  
  ]  
}

Como interpretar os resultados do

Pontuação de recompensa agregada

Métricas individuais

Benchmarks de desempenho

O que constitui um desempenho “bom” depende do seu caso de uso:

Solução de problemas

Problemas comuns

Lista de verificação de depuração

Práticas recomendadas

Próximas etapas

Depois de concluir a avaliação de RFT: