Preparação de dados para ajuste fino multimodal

Confira abaixo as diretrizes e os requisitos para preparar dados para o ajuste dos modelos de compreensão:

Criar exemplos de treinamento eficazes

Os dados de treinamento devem demonstrar o comportamento que você deseja que o modelo apresente. O STF ensina ao modelo como responder, não o que ele deve saber. Se você estiver criando exemplos de treinamento principalmente para injetar conhecimento factual (por exemplo, “O que o código de erro E-45 significa?” com a resposta “E-45 indica que o tempo limite de um sensor esgotou”), considere se RAG ou engenharia de prompts poderiam obter o mesmo resultado sem ajuste fino.

Ao converter dados de origem para o formato conversacional, siga estes princípios:

Padrões comuns de transformação de dados

Os padrões a seguir ilustram como converter formatos comuns de dados corporativos em exemplos eficazes de treinamento em SFT.

Padrão 1: registros estruturados para classificação ou pesquisa

Quando seus dados de origem forem uma tabela ou um banco de dados de registros com campos como issue, cause e resolution, formate cada registro como uma pergunta do usuário com os campos de entrada relevantes e a resposta do assistente como os campos de saída pretendidos.

// train.jsonl
{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a technical support assistant. Given an issue description, identify the most likely root cause and recommended resolution."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "A user reports: 'Application crashes on startup after the latest update.' What is the likely cause and resolution?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "Cause: Incompatible configuration file from the previous version.\nResolution: Delete the local configuration cache and restart the application to regenerate default settings."
        }
      ]
    }
  ]
}

Padrão 2: dados hierárquicos ou taxonômicos para perguntas e respostas estruturadas

Quando os dados de origem forem uma hierarquia ou taxonomia de códigos, como árvores de categorias de produtos ou sistemas de classificação, gere perguntas que peçam ao modelo para navegar pela hierarquia. Inclua o contexto de classificação no prompt do sistema ou no turno do usuário.

// train.jsonl
{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a product catalog assistant. Answer questions about product categories and classifications accurately."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What top-level category does product code 'EL-4520' belong to, and what subcategories does it include?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "Product code EL-4520 belongs to the Electronics category. It includes the subcategories: Audio Equipment, Portable Speakers, and Wireless Accessories."
        }
      ]
    }
  ]
}

Padrão 3: documentos procedimentais para diálogo instrucional

Quando os dados de origem consistirem em procedimentos operacionais padrão, runbooks ou guias passo a passo, converta procedimentos em perguntas orientadas a tarefas. O usuário pergunta como realizar uma tarefa e o assistente fornece as etapas em um formato consistente.

// train.jsonl
{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are an IT operations assistant. Provide step-by-step instructions based on approved runbooks and standard operating procedures."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "How do I reset a user's multi-factor authentication when they have lost access to their device?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "Follow these steps to reset a user's multi-factor authentication:\n1. Verify the user's identity using the approved verification procedure.\n2. Disable the existing MFA configuration in the identity management console.\n3. Generate a new temporary access code and send it to the user's verified email.\n4. Instruct the user to log in with the temporary code and re-enroll their new device.\n5. Confirm the new MFA device is working by requesting a test authentication.\n6. Document the reset in the support ticket."
        }
      ]
    }
  ]
}

Formatos de exemplo de conjunto de dados

Os exemplos de formatos de conjunto de dados a seguir fornecem um guia para você seguir.

// train.jsonl
{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a digital assistant with a friendly personality"
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What is the capital of Mars?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "Mars does not have a capital. Perhaps it will one day."
        }
      ]
    }
  ]
}

// train.jsonl{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a helpful assistant designed to answer questions crisply and to the point"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "How many white items are visible in this video?"
                },
                {
                    "video": {
                        "format": "mp4",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-video.mp4",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "There are at least eight visible items that are white"
            }]
        }
    ]
}

Restrições de conjunto de dados

O Amazon Nova aplica as restrições a seguir nas personalizações de modelos para modelos de compreensão.