Personnalisation de l’ingestion pour une source de données

Vous pouvez personnaliser l'ingestion vectorielle lorsque vous connectez une source de données dans le AWS Management Console ou en modifiant la valeur du vectorIngestionConfiguration champ lors de l'envoi d'une CreateDataSourcedemande.

Sélectionnez une rubrique pour savoir comment inclure des configurations permettant de personnaliser l’ingestion lors de la connexion à une source de données :

Utiliser une analyse syntaxique intelligente

Les bases de connaissances gérées utilisent l'analyse intelligente par défaut. L'analyse intelligente est une stratégie d'analyse gérée par un service qui sélectionne automatiquement la meilleure approche d'analyse pour votre contenu. Il n'est pas nécessaire de configurer un modèle d'analyse ou de fournir des paramètres supplémentaires.

Pour utiliser l'analyse intelligente, vous pouvez soit omettre le parsingConfiguration champ dans levectorIngestionConfiguration, soit le spécifier explicitement comme suit :

{
    "parsingConfiguration": {
        "parsingStrategy": "SMART_PARSING"
    }
}

Choix d’une stratégie de découpage

Vous pouvez personnaliser la façon dont les documents contenus dans vos données sont découpés à des fins de stockage et d’extraction. Pour en savoir plus sur les options de découpage des données dans les bases de connaissances Amazon Bedrock, consultez Fonctionnement du découpage du contenu pour les bases de connaissances.

Dans le, AWS Management Console vous choisissez la stratégie de segmentation lorsque vous vous connectez à une source de données. Avec l'API Amazon Bedrock, vous incluez un ChunkingConfigurationdans le chunkingConfiguration champ du VectorIngestionConfiguration.

Si vous omettez cette configuration ou si vous spécifiez la stratégie de segmentation par défaut, le service utilise un découpage de taille fixe avec 300 jetons et un chevauchement de 20 %.

{
    "chunkingConfiguration": {
        "chunkingStrategy": "DEFAULT"
    }
}

Développez la section correspondant à la stratégie de segmentation que vous souhaitez utiliser :

{
    "chunkingStrategy": "NONE"
}

{
    "chunkingStrategy": "FIXED_SIZE",
    "fixedSizeChunkingConfiguration": {
        "maxTokens": number,
        "overlapPercentage": number
    }
}