开放式重量模型的访问权限和安全性 - Amazon Bedrock
先决条件奖励函数的 Lambda 权限

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

开放式重量模型的访问权限和安全性

在开始钢筋微调 (RFT) 之前，请务必了解 Amazon Bedrock 需要什么样的访问权限才能进行 RFT 特定的操作。由于RFT具有奖励功能执行功能，因此除了标准微调外，还需要其他权限。

先决条件

在使用与 Amazon Bedrock OpenAI 兼容的微调之前 APIs，请确保您具备以下条件：

  1. 具有适当权限访问 Amazon Bedrock 的 AWS 账户

  2. 身份验证-您可以使用以下方式进行身份验证：

    • Amazon Bedrock API 密钥（OpenAI软件开发工具包需要且可用于 HTTP 请求）

    • AWS 凭证（支持 HTTP 请求）

    注意

    如果您使用的是 Amazon Bedrock 短期/长期 API 密钥，请确保您的角色有权访问以下 IAM 策略权限：和角色。AmazonBedrockMantleFullAccess AWSLambda

  3. OpenAI软件开发工具包（可选）— 如果使用基于 SDK 的OpenAI请求，请安装 Python 开发工具包。

  4. 环境变量-设置以下环境变量：

    • OPENAI_API_KEY— 设置为你的 Amazon Bedrock API 密钥

    • OPENAI_BASE_URL— 设置为您所在地区的 Amazon Bedrock 终端节点（例如，https://bedrock-mantle.us-west-2.api.aws/v1）

    有关更多信息，请参阅 响应 API。

  5. 为此，训练数据格式化为 JSONL 文件。fine-tune有关更多信息，请参阅 为开放式权重模型准备数据。

奖励函数的 Lambda 权限

您必须添加 Lambda 调用权限。以下显示了您可以使用的策略示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

您也可以使用 Amazon Bedrock 托管的模型作为评委来设置奖励功能。您需要向 Lambda 执行角色添加调用基础模型的特定权限。在您的 lambda 角色中，您可以配置这些 LLMs 用于评分的托管策略。请参阅AmazonBedrockLimitedAccess。

以下是使用 Invoke API 调用 Amazon Bedrock 基础模型作为判断的示例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}