Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Robot Web

Le Web Crawler se connecte aux URL que vous spécifiez pour les utiliser dans votre base de connaissances gérée et les analyse. Le Web Crawler parcourt les pages HTML à partir de vos URL de départ, en suivant les liens enfants en fonction de l'étendue et des limites de votre exploration. Vous pouvez également fournir des URL de plan de site comme point de départ. Le Web Crawler respecte le fichier robots.txt conformément à la RFC 9309.

Fonctionnalités prises en charge

Méthodes d’authentification

Le Web Crawler prend en charge quatre méthodes d'authentification. Choisissez la méthode qui correspond à la manière dont le site cible authentifie les utilisateurs. Pour les sites publics sans connexion, utilisezNO_AUTH.

Conditions préalables

Pour le site Web que vous souhaitez explorer, assurez-vous de :

Dans votre AWS compte, assurez-vous de :

Comment configurer une source de données Web Crawler

La configuration d'une source de données Web Crawler implique les étapes suivantes :

Création de la source de données

Console

Pour connecter le Web Crawler à votre base de connaissances gérée

1. Sous Source de données, attribuez un nom à votre source de données.

2. Sélectionnez Web Crawler dans le menu déroulant des sources de données.

3. Sous Source, choisissez URL source (jusqu'à 10 URL de point de départ) ou plans de site source (jusqu'à 3 URL de plan de site).

4. Entrez vos URL dans la zone de texte Ajouter des URL, une par ligne.

5. Sous Authentification, sélectionnez Aucune authentification, Authentification de base, Authentification par formulaire ou Authentification SAML. Pour toute méthode autre que l'absence d'authentification, sélectionnez ou créez un AWS Secrets Manager secret pour stocker vos informations d'identification.

6. (Facultatif) Élargissez le champ de synchronisation pour définir la profondeur d'analyse (0 à 10), le nombre maximum de liens par URL (1 à 1 000), le nombre maximum d'URL explorées par minute (1 à 300) et le champ d'analyse : par défaut (même hôte et même chemin d'URL initial que l'URL de départ), hôte uniquement (même hôte, n'importe quel chemin) ou sous-domaines (même domaine principal, y compris les sous-domaines).

7. (Facultatif) Développez les modèles de filtre d'URL pour ajouter des expressions régulières qui incluent ou excluent des URL spécifiques.

API

Pour créer une source de données Web Crawler, envoyez une CreateDataSourcedemande avec un point de terminaison Agents for Amazon Bedrock Build-time. L' AWS Command Line Interface exemple suivant crée une source de données qui explore un site public sans authentification. Pour une description de chaque champ, reportez-vous à la référence des paramètres du connecteur ci-dessous.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

Le webcrawler-managed-connector.json fichier contient les éléments suivants :

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Pour un site authentifié, définissez authType sur BASIC_AUTHFORM, ouSAML, et ajoutez un secretArn àconnectionConfiguration.

Pour les bases de connaissances gérées, CreateDataSource c'est asynchrone : le statut de la source de données passe de « CREATING à » AVAILABLE lorsque l'opération est terminée.

Paramètres du connecteur

La configuration de la source de données utilise les paramètres de connecteur suivants. Pour utiliser le Web Crawler, spécifiez WEB le type de connecteur. connectorParameters Pour les champs encapsulés connectorParameters (tels que deletionProtectionConfiguration etmediaExtractionConfiguration), reportez-vous à la sectionConnexion d’une sources de données.

Informations d’identification d’authentification

Si votre site Web nécessite une authentification, conservez vos informations d'identification en AWS Secrets Manager secret. Le format du secret dépend du type d'authentification que vous choisissez.

Authentification de base (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Authentification par formulaire (FORM)

Pour l'authentification par formulaire, fournissez des expressions XPath qui identifient le champ du nom d'utilisateur, le champ du mot de passe et le bouton d'envoi sur la page de connexion.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Authentification SAML () SAML

Pour l'authentification SAML, fournissez l'URL de la page de connexion du fournisseur d'identité SAML et les expressions XPath pour les champs du formulaire.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Résolution des problèmes