本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

网络爬虫

Web Crawler 会连接并抓取您指定用于托管知识库的 URL。Web Crawler 从您的种子 URL 开始遍历 HTML 页面，并根据您的抓取范围和限制跟踪子链接。您也可以提供站点地图 URL 作为起点。根据 RFC 9309，Web Crawler 尊重 robots.txt。

支持的功能

身份验证方法

Web Crawler 支持四种身份验证方法。选择与目标站点对用户进行身份验证的方式相匹配的方法。对于没有登录的公共网站，请使用NO_AUTH。

先决条件

对于要抓取的网站，请确保：

在您的 AWS 账户中，请确保：

如何设置 Web Crawler 数据源

设置 Web Crawler 数据源涉及以下步骤：

创建数据源

Console

将 Web Crawler 连接到您的托管知识库

1. 在 “数据源” 下，为您的数据源提供一个名称。

2. 从数据源下拉列表中选择 Web Crawler。

3. 在来源下，选择来源网址（最多 10 个起点网址）或来源站点地图（最多 3 个站点地图网址）。

4. 在添加网址文本区域中输入您的网址，每行一个。

5. 在 “身份验证” 下，选择 “无身份验证”、“基本身份验证”、“表单身份验证” 或 “SAML 身份验证”。对于除无身份验证以外的任何方法，请选择或创建 AWS Secrets Manager 密钥来存储您的凭据。

6. （可选）扩展同步范围以设置抓取深度 (0—10)、每个 URL 的最大链接数 (1—1000)、每分钟抓取的最大网址数 (1—300) 以及抓取范围：默认（与种子 URL 相同的主机和相同的初始 URL 路径）、仅限主机（相同的主机、任何路径）或子域名（相同的主域，包括子域名）。

7. （可选）展开 URL 过滤模式以添加包含或排除特定 URL 的正则表达式。

API

要创建 Web Crawler 数据源，请使用 Amazon Bedrock 构建时终端节点的代理发送CreateDataSource请求。以下 AWS Command Line Interface 示例创建了一个无需身份验证即可对公共网站进行爬网的数据源。有关每个字段的描述，请参阅下面的连接器参数参考。

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

该webcrawler-managed-connector.json文件包含以下内容：

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

对于经过身份验证的站点BASIC_AUTH，authType请设置为FORMSAML、或，然后添加secretArn到connectionConfiguration。

对于托管知识库，CreateDataSource这是异步的：操作完成后，数据源状态AVAILABLE会从CREATING变为。

连接器参数

数据源配置使用以下连接器参数。要使用 Web Crawler，请在中指定WEB为连接器类型。connectorParameters有关换行字段connectorParameters（例如deletionProtectionConfiguration和mediaExtractionConfiguration），请参阅连接数据来源。

身份验证凭证

如果您的网站需要身份验证，请将您的凭据存储在 AWS Secrets Manager 密钥中。密钥格式取决于您选择的身份验证类型。

基本身份验证 (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

表单身份验证 (FORM)

对于基于表单的身份验证，请提供标识登录页面上的用户名字段、密码字段和提交按钮的 XPath 表达式。

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML 身份验证 () SAML

对于 SAML 身份验证，请提供 SAML 身份提供商的登录页面 URL 和表单字段的 XPath 表达式。

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

问题排查