Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Web Crawler de

El Web Crawler se conecta y rastrea las URL que especifique para utilizarlas en su base de conocimientos gestionada. El rastreador web recorre las páginas HTML a partir de las URL iniciales y sigue los enlaces secundarios según el alcance y los límites del rastreo. También puedes proporcionar las URL de los mapas del sitio como puntos de partida. El rastreador web respeta el archivo robots.txt de acuerdo con el RFC 9309.

Características admitidas

Métodos de autenticación

El Web Crawler admite cuatro métodos de autenticación. Elija el método que coincida con la forma en que el sitio de destino autentica a los usuarios. Para sitios públicos sin inicio de sesión, utilice. NO_AUTH

Requisitos previos

Para el sitio web que quieres rastrear, asegúrate de:

En su AWS cuenta, asegúrese de:

Cómo configurar una fuente de datos de Web Crawler

La configuración de una fuente de datos de Web Crawler implica los siguientes pasos:

Cree la fuente de datos

Console

Para conectar el Web Crawler a su base de conocimientos gestionada

1. En Fuente de datos, proporcione un nombre para la fuente de datos.

2. Seleccione Web Crawler en el menú desplegable de fuentes de datos.

3. En Fuente, selecciona URL de origen (hasta 10 URL de punto de partida) o Mapas de sitio de origen (hasta 3 URL de mapa del sitio).

4. Introduce tus URL en el área de texto Añadir URL, una por línea.

5. En Autenticación, selecciona Sin autenticación, Autenticación básica, Autenticación con formulario o Autenticación SAML. Para cualquier método que no sea Sin autenticación, selecciona o crea un AWS Secrets Manager secreto para almacenar tus credenciales.

6. (Opcional) Amplíe el alcance de sincronización para establecer la profundidad de rastreo (0—10), el máximo de enlaces por URL (1—1000), el máximo de URL rastreadas por minuto (1—300) y el alcance del rastreo: predeterminado (el mismo host y la misma ruta de URL inicial que la URL inicial), solo host (el mismo host, cualquier ruta) o subdominios (el mismo dominio principal, incluidos los subdominios).

7. (Opcional) Amplíe los patrones de filtrado de URL para añadir expresiones regulares que incluyan o excluyan direcciones URL específicas.

API

Para crear una fuente de datos de Web Crawler, envíe una CreateDataSourcesolicitud con un punto final de tiempo de compilación de Agents for Amazon Bedrock. En el siguiente AWS Command Line Interface ejemplo, se crea una fuente de datos que rastrea un sitio público sin autenticación. Para obtener una descripción de cada campo, consulte la siguiente referencia de parámetros del conector.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

El webcrawler-managed-connector.json archivo contiene lo siguiente:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Para un sitio autenticado, authType BASIC_AUTH configúrelo en FORMSAML, o y añada un secretArn aconnectionConfiguration.

En el caso de las bases de conocimiento gestionadas, CreateDataSource es asíncrono: el estado de la fuente de datos pasa de CREATING a AVAILABLE cuando se completa la operación.

Parámetros de conector

La configuración de la fuente de datos utiliza los siguientes parámetros de conector. Para utilizar el Web Crawler, especifique WEB el tipo de conector. connectorParameters Para ver los campos que se connectorParameters ajustan (como deletionProtectionConfiguration ymediaExtractionConfiguration), consulteConexión de un origen de datos.

Credenciales de autenticación

Si su sitio web requiere autenticación, guarde sus credenciales en AWS Secrets Manager secreto. El formato secreto depende del tipo de autenticación que elija.

Autenticación básica (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Autenticación mediante formulario (FORM)

Para la autenticación basada en formularios, proporcione expresiones XPath que identifiquen el campo de nombre de usuario, el campo de contraseña y el botón de envío en la página de inicio de sesión.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Autenticación SAML () SAML

Para la autenticación SAML, proporcione la URL de la página de inicio de sesión del proveedor de identidad SAML y las expresiones XPath para los campos del formulario.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Resolución de problemas