View a markdown version of this page

Accès et sécurité pour les modèles à poids ouvert - Amazon Bedrock
Conditions préalablesAutorisations Lambda pour les fonctions de récompense

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Accès et sécurité pour les modèles à poids ouvert

Avant de commencer à affiner le renforcement (RFT), assurez-vous de bien comprendre le type d'accès dont Amazon Bedrock a besoin pour ses opérations. RFT-specific RFT nécessite des autorisations supplémentaires au-delà du réglage précis standard en raison de ses capacités d'exécution de la fonction de récompense.

Conditions préalables

Avant d'utiliser les API de réglage fin OpenAI compatibles avec Amazon Bedrock, assurez-vous de disposer des éléments suivants :

  1. Un AWS compte avec les autorisations appropriées pour accéder à Amazon Bedrock

  2. Authentification — Vous pouvez vous authentifier en utilisant :

    • Clé d'API Amazon Bedrock (requise pour le OpenAI SDK et disponible pour les requêtes HTTP)

    • AWS informations d'identification (prises en charge pour les requêtes HTTP)

    Note

    Si vous utilisez les clés d'API à court term/long terme d'Amazon Bedrock, assurez-vous que votre rôle a accès aux autorisations de politique IAM suivantes : et. AmazonBedrockMantleFullAccess Autorisations Lambda pour les fonctions de récompense

  3. OpenAISDK (facultatif) — Installez le SDK OpenAI Python si vous utilisez SDK-based des requêtes.

  4. Variables d'environnement : définissez les variables d'environnement suivantes :

    • OPENAI_API_KEY— Réglé sur votre clé d'API Amazon Bedrock

    • OPENAI_BASE_URL— Définissez le point de terminaison Amazon Bedrock de votre région (par exemple,https://bedrock-mantle.us-west-2.api.aws/v1)

    Pour de plus amples informations, veuillez consulter API de réponses.

  5. Les données d'entraînement sont formatées sous forme de fichiers JSONL dans ce but. fine-tune Pour de plus amples informations, veuillez consulter Préparer les données pour les modèles à pondération ouverte.

Autorisations Lambda pour les fonctions de récompense

Vous devez ajouter des autorisations d'appel Lambda. Voici un exemple de politique que vous pouvez utiliser :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

Vous pouvez également utiliser les modèles hébergés par Amazon Bedrock en tant que juges pour configurer les fonctions de récompense. Vous devrez ajouter des autorisations spécifiques pour appeler des modèles de base au rôle d'exécution Lambda. Dans votre rôle Lambda, vous pouvez configurer ces politiques gérées pour les LLM à des fins de notation. Consultez AmazonBedrockLimitedAccess.

Voici un exemple d'appel des modèles de fondation Amazon Bedrock en tant que juge à l'aide de l'API Invoke :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}