Effettuare richieste di inferenza

L'inferenza è il processo di generazione di un output da un input fornito a un modello. Prima di poter inviare una richiesta di inferenza ad Amazon Bedrock, devi consentire al tuo ruolo di eseguire le azioni dell'API di invocazione del modello. Dipende dall'endpoint che stai utilizzando.

Endpoint bedrock-mantle

Se al tuo ruolo è allegata la policy AmazonBedrockMantleInferenceAccess AWS gestita, puoi saltare questa sezione. Altrimenti, allega le seguenti autorizzazioni per consentire l'inferenza tramite l'bedrock-mantleendpoint (API Responses, Chat Completions, Messages API):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "MantleInferencePermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock-mantle:CreateInference",
                "bedrock-mantle:GetProject",
                "bedrock-mantle:ListProjects",
                "bedrock-mantle:ListTagsForResources"
            ],
            "Resource": "*"
        }
    ]
}

Endpoint bedrock-runtime

Se al tuo ruolo è allegata la policy AmazonBedrockFullAccess AWS gestita, puoi saltare questa sezione. Altrimenti, allega le seguenti autorizzazioni per consentire l'inferenza tramite l'bedrock-runtimeendpoint (API Converse e Invoke):

{
    "Version": "2012-10-17", 
    "Statement": [
        {
            "Sid": "ModelInvocationPermissions",
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream",
                "bedrock:GetInferenceProfile",
                "bedrock:ListInferenceProfiles",
                "bedrock:RenderPrompt",
                "bedrock:GetCustomModel",
                "bedrock:ListCustomModels",
                "bedrock:GetImportedModel",
                "bedrock:ListImportedModels",
                "bedrock:GetProvisionedModelThroughput",
                "bedrock:ListProvisionedModelThroughputs",
                "bedrock:GetGuardrail",
                "bedrock:ListGuardrails",
                "bedrock:ApplyGuardrail"
            ],
            "Resource": "*"
        }
    ]
}

Per un'analisi dettagliata di ogni autorizzazione, consulta. Prerequisiti per l’esecuzione dell’inferenza del modello