View a markdown version of this page

Test e interrogazione di basi di conoscenza multimodali - Amazon Bedrock
Tipi di query supportatiComprensione dei metadati di risposta

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Test e interrogazione di basi di conoscenza multimodali

Dopo aver acquisito i contenuti multimodali, puoi testare e interrogare la tua knowledge base utilizzando la console o l'API. I tipi di query disponibili dipendono dall'approccio di elaborazione scelto.

Console
Per testare la tua knowledge base dalla console

  1. Dalla pagina dei dettagli della knowledge base, scorri fino alla sezione Test knowledge base.

  2. Scegli il tipo di query:

    • Solo recupero standard: interroga e recupera informazioni da fonti di dati in un'unica Knowledge Base.

    • Recupero e generazione di risposte: interroga una singola Knowledge Base e genera risposte basate sui risultati recuperati utilizzando un modello di base.

      Nota

      Se si dispone di contenuti multimodali, è necessario utilizzare il parser BDA per il recupero e la generazione di risposte.

  3. Configura le opzioni aggiuntive in base alle esigenze:

    • Chunk di origine: specifica il numero massimo di blocchi di origine da restituire

    • Tipo di ricerca: Seleziona il tipo di ricerca per personalizzare la strategia di interrogazione

    • Filtri per metadati: applica filtri per restringere i risultati della ricerca

    • Guardrail: seleziona un guardrail esistente o creane uno nuovo

  4. Inserisci una query di testo o carica un'immagine (solo Nova Multimodal Embeddings) per cercare i tuoi contenuti multimodali. Utilizzate il pulsante degli allegati per caricare immagini per la ricerca di somiglianze visive.

  5. Esamina i risultati, che includono:

    • Blocchi di contenuto recuperati con punteggi di pertinenza

    • Riferimenti e timestamp dei file di origine (per) audio/video

    • Metadati, inclusi tipi di file e informazioni di elaborazione

    • Per i contenuti multimediali, controlli di riproduzione con posizionamento automatico dei segmenti in base ai timestamp recuperati

API

Gli esempi seguenti mostrano come utilizzare l'API Amazon Bedrock Agent Runtime per interrogare la tua knowledge base multimodale a livello di codice:

Esempio di interrogazione testuale

Ricerca utilizzando l'immissione di testo:

aws bedrock-agent-runtime retrieve \
--knowledge-base-id <knowledge-base-id> \
--retrieval-query text="robot automation in manufacturing"
Esempio di interrogazione di immagini (solo Nova Multimodal Embeddings)

Cerca utilizzando un'immagine caricata:

{
    "knowledgeBaseId": "<knowledge-base-id>",
    "retrievalQuery": {
        "imageQuery": {
            "inlineContent": {
                "mimeType": "image/jpeg",
                "data": "<base64-encoded-image>"
            }
        }
    }
}

Tipi di query supportati

Interrogazioni di testo

Supportato con gli approcci Nova Multimodal Embeddings e BDA. Effettua ricerche utilizzando testo in linguaggio naturale per trovare contenuti pertinenti su tutti i tipi di media.

Interrogazioni sulle immagini

Supportato solo con Nova Multimodal Embeddings. Carica immagini per trovare contenuti visivamente simili nella tua knowledge base.

Comprensione dei metadati di risposta

Le risposte alle interrogazioni multimodali includono metadati aggiuntivi per i contenuti multimediali:

Attribuzione della fonte

Posizione del file originale (sourceURI) e posizione di archiviazione multimodale (SupplementalURI) per un accesso affidabile

Metadati temporali

Timestamp di inizio e fine per i segmenti audio e video, che consentono una navigazione precisa verso i contenuti pertinenti

Informazioni sul tipo di contenuto

Indicatori di formato di file, metodo di elaborazione e modalità per aiutare le applicazioni a gestire i diversi tipi di contenuto in modo appropriato

Struttura dei metadati del database vettoriale

Quando il contenuto multimodale viene elaborato e archiviato, nel database vettoriale viene utilizzata la seguente struttura di metadati:

  • campo di testo: per i file multimediali elaborati con Nova Multimodal Embeddings, questo campo contiene una stringa vuota poiché il contenuto è incorporato come contenuto multimediale nativo anziché come testo

  • campo di metadati: contiene informazioni strutturate tra cui dettagli sulla fonte e riferimenti ai contenuti correlati:

    {
  "source": {
    "sourceType": "S3",
    "s3Location": {
      "uri": "s3://source-bucket/path/to/file.mp4"
    }
  },
  "relatedContent": [{
    "type": "S3",
    "s3Location": {
      "uri": "s3://multimodal-storage-bucket/processed/file.mp4"
    }
  }]
}

  • Auto-created campi: Campi aggiuntivi per il filtraggio e l'identificazione:

    • x-amz-bedrock-kb-source-uri: URI di origine originale per le operazioni di filtraggio

    • x-amz-bedrock-kb-data-source-id: identificatore della fonte di dati per tracciare l'origine dei contenuti

    • x-amz-bedrock-kb-chunk-start-time-in-millis: data e ora di inizio in millisecondi per i segmenti audio e video

    • x-amz-bedrock-kb-chunk-end-time-in-millis: data e ora di fine in millisecondi per i segmenti audio e video

    • x-amz-bedrock-kb-source-file-mime-type: tipo MIME del file sorgente

    • x-amz-bedrock-kb-source-file-modality: modalità del file sorgente (TESTO, IMMAGINE, AUDIO, VIDEO)

Importante

Le applicazioni devono utilizzare i timestamp forniti per estrarre e riprodurre segmenti specifici da file audio e video. La knowledge base restituisce riferimenti a file completi, non a clip presegmentate.