Création d’un jeu de données d’invite pour une évaluation RAG dans Amazon Bedrock

Pour évaluer la récupération et la génération pour une base de connaissances Amazon Bedrock ou pour votre propre système de génération à enrichissement contextuel (RAG), vous fournissez un jeu de données d’invite. Lorsque vous fournissez des données de réponse à partir de votre propre système RAG, Amazon Bedrock ignore l’étape d’invocation de la base de connaissances et effectue la tâche d’évaluation directement sur vos données.

Les jeux de données d’invite doivent être stockés dans Amazon S3 et utiliser le format de ligne JSON et l’extension de fichier .jsonl. Chaque ligne doit être un objet JSON valide. Votre jeu de données peut contenir jusqu’à 1 000 invites par tâche d’évaluation. Pour les tâches d’évaluation de la récupération et de la génération, le nombre maximum de tours par conversation est de 5. Pour les évaluations de la récupération uniquement, vous ne pouvez spécifier qu’un seul tour.

La configuration CORS n'est pas requise pour les tâches d'évaluation automatisées. Pour les tâches d'évaluation basées sur l'homme, CORS est requis sur le compartiment de sortie S3. Pour en savoir plus, veuillez consulter la section Autorisation CORS (Cross Origin Resource Sharing) nécessaire sur les compartiments S3.

Consultez les rubriques suivantes pour en savoir plus sur les paires clé-valeur requises en fonction du type de tâche d’évaluation que vous sélectionnez.