Faire des demandes d'inférence

L'inférence est le processus qui consiste à générer une sortie à partir d'une entrée fournie à un modèle. Avant de pouvoir envoyer une demande d'inférence à Amazon Bedrock, vous devez autoriser votre rôle à effectuer les actions de l'API d'invocation du modèle. Cela dépend du terminal que vous utilisez.

Point de terminaison bedrock-mantle

Si la politique AmazonBedrockMantleInferenceAccess AWS gérée est attachée à votre rôle, vous pouvez ignorer cette section. Sinon, associez les autorisations suivantes pour permettre l'inférence via le bedrock-mantle point de terminaison (API Responses, Chat Completions, API Messages) :

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

Point de terminaison bedrock-runtime

Si la politique AmazonBedrockFullAccess AWS gérée est attachée à votre rôle, vous pouvez ignorer cette section. Sinon, attachez les autorisations suivantes pour permettre l'inférence via le bedrock-runtime point de terminaison (API Converse et Invoke) :

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Pour une description détaillée de chaque autorisation, voirConditions préalables à l’exécution de l’inférence de modèle.