翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Web Crawler

Web Crawler は、マネージドナレッジベースで使用するために指定した URLs に接続してクロールします。Web Crawler はシード URLs から始まる HTML ページを横断し、クロールの範囲と制限に従って子リンクをたどります。サイトマップ URLs点として指定することもできます。Web Crawler は、RFC 9309 に従って robots.txt を尊重します。

サポートされている機能

認証方法

Web Crawler は 4 つの認証方法をサポートしています。ターゲットサイトがユーザーを認証する方法に一致する方法を選択します。サインインしていないパブリックサイトの場合は、 を使用しますNO_AUTH。

前提条件

クロールするウェブサイトについては、以下を確認してください。

AWS アカウントで、以下を確認してください。

Web Crawler データソースをセットアップする方法

Web Crawler データソースのセットアップには、次のステップが含まれます。

データソースを作成する

Console

Web Crawler をマネージドナレッジベースに接続するには

1. データソースで、データソースの名前を指定します。

2. データソースドロップダウンからウェブクローラーを選択します。

3. Source で、ソース URLs (最大 10 個の開始点 URLsまたはソースサイトマップ (最大 3 個のサイトマップ URLsを選択します。

4. URLs を追加するURLs テキスト領域に URL を 1 行に 1 つずつ入力します。

5. 認証で、認証なし、基本認証、フォーム認証、または SAML 認証を選択します。認証なし以外の方法では、認証情報を保存する AWS Secrets Manager シークレットを選択または作成します。

6. (オプション) 同期スコープを展開して、クロール深度 (0～10)、URL あたりの最大リンク数 (1～1000)、1 分あたりにクロールされる最大 URLs (1～300)、クロールスコープ: デフォルト (同じホストとシード URL と同じ初期 URL パス）、ホストのみ (同じホスト、任意のパス）、またはサブドメイン (サブドメインを含む同じプライマリドメイン) を設定します。

7. (オプション) URL フィルターパターンを展開して、特定の URLs を含む正規表現または除外する正規表現を追加します。

API

Web Crawler データソースを作成するには、Amazon Bedrock エージェントのビルドタイムエンドポイントを使用して CreateDataSource リクエストを送信します。次の AWS Command Line Interface 例では、認証なしでパブリックサイトをクロールするデータソースを作成します。各フィールドの説明については、以下のコネクタパラメータリファレンスを参照してください。

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

webcrawler-managed-connector.json ファイルには以下が含まれています。

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

認証されたサイトの場合は、 authTypeを BASIC_AUTH、FORM、または に設定しSAML、 secretArnを に追加しますconnectionConfiguration。

マネージドナレッジベースの場合、 CreateDataSourceは非同期です。オペレーションが完了すると、データソースのステータスは から CREATING に移行AVAILABLEします。

コネクタパラメータ

データソース設定では、次のコネクタパラメータを使用します。Web Crawler を使用するには、 でコネクタタイプWEBとして を指定しますconnectorParameters。ラップするフィールド connectorParameters ( deletionProtectionConfigurationや などmediaExtractionConfiguration) については、「」を参照してくださいデータソースを接続する。

認証情報

ウェブサイトで認証が必要な場合は、認証情報を AWS Secrets Manager シークレットに保存します。シークレット形式は、選択した認証タイプによって異なります。

基本認証 (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

フォーム認証 (FORM)

フォームベースの認証の場合は、ユーザー名フィールド、パスワードフィールドを識別する XPath 式を指定し、ログインページで送信ボタンを指定します。

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML 認証 (SAML)

SAML 認証の場合は、フォームフィールドに SAML ID プロバイダーのログインページの URL と XPath 式を指定します。

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

トラブルシューティング