View a markdown version of this page

Utilisation de S3 Vectors avec les bases de connaissances d’Amazon Bedrock - Amazon Simple Storage Service
Présentation de l’intégrationQuand utiliser cette intégrationModèles de vectorisation pris en chargeConditions préalables et autorisationsCréation d’une base de connaissances avec S3 VectorsGestion et interrogation de votre base de connaissancesLimitations

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de S3 Vectors avec les bases de connaissances d’Amazon Bedrock

S3 Vectors s'intègre aux bases de connaissances Amazon Bedrock et à Amazon SageMaker AI Unified Studio afin de simplifier et de réduire le coût du stockage vectoriel pour les applications de génération augmentée (RAG) par récupération.

Pour plus d’informations sur les commandes de l’interface de ligne de commande de haut niveau qui intègrent les modèles de vectorisation Amazon Bedrock aux opérations S3 Vectors, consultez les rubriques suivantes.

Présentation de l’intégration

Lorsque vous créez une base de connaissances dans Amazon Bedrock, vous pouvez sélectionner S3 Vectors comme magasin de vecteurs. Cette intégration fournit les éléments suivants :

  • Économies de coûts pour les applications RAG utilisant de grands jeux de données vectorielles.

  • Intégration fluide avec le flux de travail RAG entièrement géré d’Amazon Bedrock.

  • Gestion automatique des vecteurs gérée par le service Amazon Bedrock.

  • Latence des requêtes froides inférieure à une seconde et latence des requêtes chaudes de 100 millisecondes seulement pour les opérations de récupération de la base de connaissances.

Les bases de connaissances Amazon Bedrock fournissent un flux de travail end-to-end RAG entièrement géré. Lorsque vous créez une base de connaissances avec S3 Vectors, Amazon Bedrock extrait automatiquement les données de votre source de données S3, convertit le contenu en blocs de texte, génère des vectorisations et les stocke dans votre index vectoriel. Vous pouvez ensuite interroger la base de connaissances et générer des réponses basées sur des blocs récupérés de vos données sources.

Quand utiliser cette intégration

Envisagez d’utiliser S3 Vectors avec les bases de connaissances d’Amazon Bedrock lorsque vous avez besoin des éléments suivants :

  • Stockage vectoriel rentable pour les grands jeux de données où le temps de latence des requêtes inférieur à une seconde répond aux exigences de votre application.

  • Récupération de documents basée sur du texte et des images pour des cas d’utilisation tels que la recherche dans les manuels, les politiques et le contenu visuel.

  • Applications RAG qui privilégient l’optimisation des coûts de stockage par rapport aux réponses à très faible latence.

  • Opérations vectorielles gérées sans avoir à apprendre directement les opérations de l’API S3 Vectors. Vous pouvez continuer à utiliser les interfaces Amazon Bedrock que vous connaissez déjà.

  • Stockage vectoriel à long terme associé à la durabilité et à la capacité de mise à l’échelle d’Amazon S3

Cette intégration est idéale pour les entreprises qui créent des applications RAG qui ont besoin de rechercher et de récupérer des informations à partir de contenus écrits et d’images, pour lesquelles les avantages économiques de S3 Vectors correspondent à des exigences de performances de requête acceptables.

Modèles de vectorisation pris en charge

Consultez les modèles pris en charge pour les intégrations vectorielles dans le guide de l'utilisateur d'Amazon Bedrock.

Conditions préalables et autorisations

Avant de créer une base de connaissances avec S3 Vectors, assurez-vous de disposer des éléments suivants :

  • Autorisations IAM appropriées pour S3 Vectors et les services Amazon Bedrock. Pour plus d’informations sur les autorisations IAM pour S3 Vectors, consultez Identity and Access Management dans S3 Vectors. Pour plus d’informations sur les autorisations IAM associées à votre rôle de service de bases de connaissances d’Amazon Bedrock afin d’accéder à S3 Vectors, consultez Autorisations permettant d’accéder à votre magasin de vecteurs dans Amazon S3 Vectors dans le Guide de l’utilisateur Amazon Bedrock.

  • Vos documents sources ont été préparés pour être intégrés à la base de connaissances.

  • Compréhension des exigences de votre modèle de vectorisation.

Lors de la configuration des configurations de sécurité, vous pouvez choisir un rôle IAM qui autorise Amazon Bedrock à accéder aux services requis AWS . Vous pouvez soit laisser Amazon Bedrock créer le rôle de service, soit utiliser votre propre rôle personnalisé. Si vous utilisez un rôle personnalisé, configurez une stratégie de compartiment de vecteur qui limite l’accès au compartiment de vecteur et à l’index vectoriel au rôle personnalisé.

Pour obtenir des informations détaillées sur les autorisations requises et les rôles IAM, consultez Création d’un rôle de service pour les bases de connaissances d’Amazon Bedrock dans le Guide de l’utilisateur Amazon Bedrock. Le rôle de service doit également disposer d'autorisations pour les vecteurs S3 et les opérations AWS KMS d'API.

Création d’une base de connaissances avec S3 Vectors

Vous pouvez créer une base de connaissances qui utilise S3 Vectors à l’aide de deux méthodes.

Méthode 1 : utilisation de la console Amazon Bedrock

Lorsque vous créez une base de connaissances dans la console Amazon Bedrock, vous pouvez sélectionner « compartiment de vecteur S3 » comme option de magasin de vecteurs. Vous avez deux options de configuration :

Pour step-by-step obtenir des instructions détaillées, consultez Créer une base de connaissances en vous connectant à une source de données dans les bases de connaissances Amazon Bedrock du guide de l'utilisateur d'Amazon Bedrock.

Méthode 2 : utilisation d'Amazon SageMaker Unified Studio

Vous pouvez également créer et gérer des bases de connaissances avec S3 Vectors via Amazon Bedrock dans Amazon SageMaker AI Unified Studio. Cela fournit un environnement de développement unifié pour créer et tester des applications d’IA qui utilisent des bases de connaissances.

Amazon Bedrock in SageMaker AI Unified Studio est conçu pour les utilisateurs qui ont besoin de fonctionnalités de bloc-notes intégrées et qui travaillent sur plusieurs services d' AWS apprentissage automatique et d'analyse. Vous pouvez créer rapidement un compartiment de vecteur S3 et le configurer comme magasin de vecteurs pour vos bases de connaissances lorsque vous créez des applications d’IA générative.

Pour plus d'informations sur l'utilisation des vecteurs S3 avec Amazon Bedrock dans SageMaker AI Unified Studio, consultez la section Ajouter une source de données à votre application Amazon Bedrock dans le guide de l'utilisateur d'SageMaker AI Unified Studio.

Gestion et interrogation de votre base de connaissances

Synchronisation et gestion des données

Les bases de connaissances d’Amazon Bedrock proposent des opérations de tâches d’ingestion afin de synchroniser vos sources de données et vos vectorisations. Lorsque vous synchronisez votre source de données, Amazon Bedrock scanne chaque document et vérifie s’il a été indexé dans le magasin de vecteurs. Vous pouvez également indexer directement des documents dans le magasin de vecteurs à l'aide de IngestKnowledgeBaseDocumentscette opération. Une bonne pratique consiste à créer un magasin de vecteurs distinct pour chaque base de connaissances afin de garantir la synchronisation des données.

Lorsque vous supprimez une base de connaissances ou une ressource de source de données, Amazon Bedrock propose deux politiques de suppression de données : Delete (par défaut) et Retain. Si vous choisissez cette politique Delete, les vecteurs de l’index vectoriel et du compartiment de vecteur sont automatiquement supprimés.

Interrogation et récupération

Une fois que votre base de connaissances est configurée, vous pouvez procéder comme suit :

  • Récupérez des blocs de vos données sources à l’aide de l’opération d’API Récupérer.

  • Générez des réponses basées sur les fragments récupérés à l'aide de l'opération RetrieveAndGenerateAPI.

  • Testez les requêtes directement dans la console Amazon Bedrock.

Les réponses sont renvoyées avec des citations des données sources d’origine.

Limitations

Envisagez d’utiliser S3 Vectors avec les bases de connaissances d’Amazon Bedrock lorsque vous avez besoin des limitations suivantes :

  • Recherche sémantique uniquement : S3 Vectors prend en charge la recherche sémantique, mais pas les fonctionnalités de recherche hybrides.

  • Limites de taille de S3 Vectors : chaque vecteur a une limite de taille totale des métadonnées et une limite de taille pour les métadonnées filtrables, ce qui peut limiter les métadonnées personnalisées et les options de filtrage. Lorsque vous utilisez S3 Vectors comme magasin de vecteurs avec les bases de connaissances Amazon Bedrock, vous pouvez joindre jusqu'à 1 Ko de métadonnées personnalisées et 35 clés de métadonnées par vecteur.

  • Contraintes liées à la stratégie de segmentation : lorsque vous utilisez un nombre de jetons très élevé avec un découpage hiérarchique dans les bases de connaissances Amazon Bedrock, vous pouvez dépasser les limites de taille maximale des métadonnées, car les relations entre les fragments parent-enfant et le contexte hiérarchique sont stockés sous forme de métadonnées non filtrables dans les vecteurs S3. Pour plus d'informations sur les limites de taille des métadonnées par vecteur, consultezLimites et restrictions.

  • Vecteurs à virgule flottante uniquement : les vectorisations binaires ne sont pas prises en charge.

Pour obtenir des conseils complets sur l’utilisation des bases de connaissances d’Amazon Bedrock, consultez Récupération des données et génération des réponses basées sur l’IA avec les bases de connaissances Amazon Bedrock dans le Guide de l’utilisateur d’Amazon Bedrock.