Acesso e segurança para modelos de peso aberto - Amazon Bedrock
Pré-requisitosPermissões do Lambda para funções de recompensa

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Acesso e segurança para modelos de peso aberto

Antes de começar o ajuste fino de reforço (RFT), certifique-se de entender que tipo de acesso o Amazon Bedrock precisa para operações específicas de RFT. O RFT requer permissões adicionais além do ajuste fino padrão devido aos seus recursos de execução da função de recompensa.

Pré-requisitos

Antes de usar o ajuste fino OpenAI compatível com o Amazon Bedrock APIs, certifique-se de ter o seguinte:

  1. Uma AWS conta com permissões apropriadas para acessar o Amazon Bedrock

  2. Autenticação — Você pode se autenticar usando:

    • Chave de API Amazon Bedrock (necessária para o OpenAI SDK e disponível para solicitações HTTP)

    • AWS credenciais (com suporte para solicitações HTTP)

    nota

    Se você estiver usando chaves de API de curto e longo prazo do Amazon Bedrock, certifique-se de que sua função tenha acesso às seguintes permissões de política do IAM: e Role. AmazonBedrockMantleFullAccess AWSLambda

  3. OpenAISDK (opcional) — Instale o SDK do OpenAI Python se estiver usando solicitações baseadas em SDK.

  4. Variáveis de ambiente — Defina as seguintes variáveis de ambiente:

    • OPENAI_API_KEY— Defina sua chave de API Amazon Bedrock

    • OPENAI_BASE_URL— Defina como o endpoint Amazon Bedrock da sua região (por exemplo,) https://bedrock-mantle.us-west-2.api.aws/v1

    Para obter mais informações, consulte API de respostas.

  5. Dados de treinamento formatados como arquivos JSONL com a finalidade. fine-tune Para obter mais informações, consulte Prepare dados para modelos de peso aberto.

Permissões do Lambda para funções de recompensa

Você deve adicionar permissões de invocação do Lambda. Veja a seguir um exemplo de política que você pode usar:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Você também pode usar modelos hospedados pelo Amazon Bedrock como juízes para configurar funções de recompensa. Você precisará adicionar permissões específicas para invocar modelos básicos na função de execução do Lambda. Em sua função lambda, você pode configurar essas políticas gerenciadas LLMs para avaliação. Consulte AmazonBedrockLimitedAccess.

Veja a seguir um exemplo para invocar os modelos da fundação Amazon Bedrock como juiz usando a API Invoke:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}