Personalizar a ingestão para uma fonte de dados

Você pode personalizar a ingestão de vetores ao conectar uma fonte de dados no Console de gerenciamento da AWS ou modificando o valor do vectorIngestionConfiguration campo ao enviar uma CreateDataSourcesolicitação.

Selecione um tópico para saber como incluir configurações para personalizar a ingestão ao se conectar a uma fonte de dados:

Use a análise inteligente

As bases de conhecimento gerenciadas usam análise inteligente por padrão. A análise inteligente é uma estratégia de análise gerenciada por serviços que seleciona automaticamente a melhor abordagem de análise para seu conteúdo. Você não precisa configurar um modelo de análise nem fornecer configurações adicionais.

Para usar a análise inteligente, você pode omitir o parsingConfiguration campo do vectorIngestionConfiguration ou especificá-lo explicitamente da seguinte forma:

{
    "parsingConfiguration": {
        "parsingStrategy": "SMART_PARSING"
    }
}

Escolher uma estratégia de fragmentação

Você pode personalizar a forma como os documentos em sua fontes de dados são agrupados para armazenamento e recuperação. Para saber mais sobre as opções para fragmentar dados nas Bases de Conhecimento do Amazon Bedrock, consulte Como a fragmentação de conteúdo funciona para bases de conhecimento.

No, Console de gerenciamento da AWS você escolhe a estratégia de fragmentação ao se conectar a uma fonte de dados. Com a API Amazon Bedrock, você inclui um ChunkingConfigurationno chunkingConfiguration campo do VectorIngestionConfiguration.

Se você omitir essa configuração ou especificar a estratégia de fragmentação padrão, o serviço usará fragmentação de tamanho fixo com 300 tokens e 20% de sobreposição.

{
    "chunkingConfiguration": {
        "chunkingStrategy": "DEFAULT"
    }
}

Expanda a seção que corresponde à estratégia de fragmentação que você deseja usar:

{
    "chunkingStrategy": "NONE"
}

{
    "chunkingStrategy": "FIXED_SIZE",
    "fixedSizeChunkingConfiguration": {
        "maxTokens": number,
        "overlapPercentage": number
    }
}