Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

crawler web

Il Web Crawler si connette e esegue la scansione degli URL specificati per l'utilizzo nella tua knowledge base gestita. Il web crawler attraversa le pagine HTML a partire dagli URL iniziali, seguendo i link secondari in base all'ambito e ai limiti della scansione. Puoi anche fornire gli URL della mappa del sito come punti di partenza. Il Web Crawler rispetta robots.txt in conformità con RFC 9309.

Funzionalità supportate

Metodi di autenticazione

Il Web Crawler supporta quattro metodi di autenticazione. Scegliete il metodo che corrisponde al modo in cui il sito di destinazione autentica gli utenti. Per i siti pubblici senza accesso, usa. NO_AUTH

Prerequisiti

Per il sito web che vuoi sottoporre a scansione, assicurati di:

Nel tuo AWS account, assicurati di:

Come configurare un'origine dati del Web Crawler

La configurazione di un'origine dati Web Crawler prevede i seguenti passaggi:

Crea la fonte di dati

Console

Per connettere il Web Crawler alla tua knowledge base gestita

1. In Origine dati, fornisci un nome per la tua origine dati.

2. Seleziona Web Crawler dal menu a discesa della fonte di dati.

3. In Sorgente, scegli URL di origine (fino a 10 URL di punto di partenza) o Sitemap di origine (fino a 3 URL di mappa del sito).

4. Inserisci i tuoi URL nell'area di testo Aggiungi URL, uno per riga.

5. In Autenticazione, seleziona Nessuna autenticazione, Autenticazione di base, Autenticazione tramite modulo o Autenticazione SAML. Per qualsiasi metodo diverso da Nessuna autenticazione, seleziona o crea un Gestione dei segreti AWS segreto per memorizzare le tue credenziali.

6. (Facoltativo) Espandi l'ambito di sincronizzazione per impostare la profondità di scansione (0-10), il numero massimo di link per URL (1—1000), il numero massimo di URL sottoposti a scansione al minuto (1—300) e l'ambito di scansione: predefinito (stesso host e stesso percorso URL iniziale dell'URL iniziale), solo host (stesso host, qualsiasi percorso) o sottodomini (stesso dominio primario, inclusi i sottodomini).

7. (Facoltativo) Espandi i modelli di filtro URL per aggiungere espressioni regolari che includono o escludono URL specifici.

API

Per creare un'origine dati Web Crawler, invia una CreateDataSourcerichiesta a un endpoint in fase di costruzione Agents for Amazon Bedrock. L' AWS Command Line Interface esempio seguente crea un'origine dati che esegue la scansione di un sito pubblico senza autenticazione. Per una descrizione di ogni campo, consultate il riferimento ai parametri del connettore che segue.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

Il webcrawler-managed-connector.json file contiene quanto segue:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Per un sito autenticato, imposta su authType BASIC_AUTH FORMSAML, o e aggiungi un secretArn aconnectionConfiguration.

Per le knowledge base gestite, CreateDataSource è asincrono: lo stato dell'origine dati passa dal CREATING momento in cui l'operazione viene completata. AVAILABLE

Parametri dei connettori

La configurazione dell'origine dati utilizza i seguenti parametri del connettore. Per utilizzare il Web Crawler, specificate WEB come tipo di connettore. connectorParameters Per i campi che racchiudono connectorParameters (come deletionProtectionConfiguration emediaExtractionConfiguration), consultate. Connettere un’origine dati

Credenziali di autenticazione

Se il tuo sito Web richiede l'autenticazione, archivia le credenziali in modo segreto. Gestione dei segreti AWS Il formato segreto dipende dal tipo di autenticazione scelto.

Autenticazione di base (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Autenticazione tramite modulo (FORM)

Per l'autenticazione basata su moduli, fornite espressioni XPath che identificano il campo del nome utente, il campo della password e il pulsante di invio nella pagina di accesso.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Autenticazione SAML () SAML

Per l'autenticazione SAML, fornisci l'URL della pagina di accesso del provider di identità SAML e le espressioni XPath per i campi del modulo.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Risoluzione dei problemi