提出推理请求

推理是根据提供给模型的输入生成输出的过程。在向 Amazon Bedrock 发送推理请求之前，您需要允许您的角色执行模型调用 API 操作。这取决于您使用的终端节点。

bedrock-mantle 终端节点

如果您的角色附加了AmazonBedrockMantleInferenceAccess AWS 托管策略，则可以跳过此部分。否则，请附加以下权限以允许通过bedrock-mantle端点进行推理（响应 API、聊天完成、消息 API）：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

bedrock-runtime 终端节点

如果您的角色附加了AmazonBedrockFullAccess AWS 托管策略，则可以跳过此部分。否则，请附加以下权限以允许通过bedrock-runtime终端节点进行推理（Converse 和 Invoke API）：

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

有关每种权限的详细明细，请参阅运行模型推理的先决条件。