翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# 取得のみの RAG 評価ジョブのプロンプトデータセットを作成する
<a name="knowledge-base-evaluation-prompt-retrieve"></a>

取得のみの評価ジョブには、JSON Lines 形式を使用したプロンプトデータセットが必要です。データセットには最大 1000 個のプロンプトを含めることができます。

## Amazon Bedrock がナレッジベースを呼び出す取得のみの評価ジョブのデータセットを準備する
<a name="knowledge-base-evaluation-prompt-retrieve-invoke"></a>

Amazon Bedrock がナレッジベースを呼び出す取得のみの評価ジョブを作成するには、プロンプトデータセットに次のキーと値のペアが含まれている必要があります。
+ `referenceResponses` – この親キーは、エンドツーエンドの RAG システムから返される予定のグラウンドトゥルース応答を指定するために使用されます。このパラメータは、ナレッジベースから取得される予定の文章やチャンクを表すものではありません。グラウンドトゥルースは `text` キーに指定します。`referenceResponses` は、評価ジョブで**コンテキストカバレッジ**メトリクスを選択した場合に必要です。
+ `prompt` – この親キーは、RAG システムが応答するプロンプト (ユーザークエリ) を指定するために使用されます。

以下は、6 つの入力を含み、JSON Lines 形式を使用するカスタムデータセットの例です。

```
{"conversationTurns":[{"prompt":{"content":[{"text":{{"Provide the prompt you want to use during inference"}}}]},"referenceResponses":[{"content":[{"text":{{"Specify a ground-truth response"}}}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"Provide the prompt you want to use during inference"}}}]},"referenceResponses":[{"content":[{"text":{{"Specify a ground-truth response"}}}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"Provide the prompt you want to use during inference"}}}]},"referenceResponses":[{"content":[{"text":{{"Specify a ground-truth response"}}}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"Provide the prompt you want to use during inference"}}}]},"referenceResponses":[{"content":[{"text":{{"Specify a ground-truth response"}}}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"Provide the prompt you want to use during inference"}}}]},"referenceResponses":[{"content":[{"text":{{"Specify a ground-truth response"}}}]}]}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"Provide the prompt you want to use during inference"}}}]},"referenceResponses":[{"content":[{"text":{{"Specify a ground-truth response"}}}]}]}]}
```

次のプロンプトは、わかりやすいように展開されています。実際のプロンプトデータセットでは、各行 (プロンプト) が有効な JSON オブジェクトである必要があります。

```
{
    "conversationTurns": [
        {
            "prompt": {
                "content": [
                    {
                        "text": "What is the recommended service interval for your product?"
                    }
                ]
            },
            "referenceResponses": [
                {
                    "content": [
                        {
                            "text": "The recommended service interval for our product is two years."
                        }
                    ]
                }
            ]
        }
    ]
}
```

## 独自の推論レスポンスデータを使用して取得のみの評価ジョブのデータセットを準備する
<a name="knowledge-base-evaluation-prompt-retrieve-byoir"></a>

独自の推論レスポンスデータを指定する取得のみの評価ジョブを作成するには、プロンプトデータセットに以下が含まれている必要があります。
+ `prompt` – この親キーは、推論レスポンスデータの生成に使用したプロンプト (ユーザークエリ) を指定するために使用されます。
+ `referenceResponses` – この親キーは、エンドツーエンドの RAG システムから返される予定のグラウンドトゥルース応答を指定するために使用されます。このパラメータは、ナレッジベースから取得される予定の文章やチャンクを表すものではありません。グラウンドトゥルースは `text` キーに指定します。`referenceResponses` は、評価ジョブで**コンテキストカバレッジ**メトリクスを選択した場合に必要です。
+ `referenceContexts` (オプション) – このオプションの親キーは、RAG ソースから取得される予定のグラウンドトゥルース文章を指定するために使用されます。このキーは、独自のカスタム評価メトリクスで使用する場合にのみ含める必要があります。Amazon Bedrock が提供する組み込みメトリクスは、このプロパティを使用しません。
+ `knowledgeBaseIdentifier` – 取得結果の生成に使用される RAG ソースを識別するお客様定義の文字列。
+ `retrievedResults` – 取得結果のリストを含む JSON オブジェクト。結果ごとに、オプションの `name` とオプションの `metadata` をキーと値のペアとして指定できます。

以下は、6 つの入力を含み、JSON Lines 形式を使用するカスタムデータセットの例です。

```
{"conversationTurns":[{"prompt":{"content":[{"text":{{"The prompt you used to generate your response"}}}]},"referenceResponses":[{"content":[{"text":{{"A ground-truth response"}}}]}],"referenceContexts":[{"content":[{"text":{{"A ground truth for a received passage"}}}]}],"output":{"knowledgeBaseIdentifier":{{"A string identifying your RAG source"}},"retrievedResults":{"retrievalResults":[{"name":{{"(Optional) a name for your reference context"}},"content":{"text":{{"The output from your RAG inference"}}},"metadata":{{{"(Optional) a key for your metadata"}}:{{"(Optional) a metadata value"}}}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"The prompt you used to generate your response"}}}]},"referenceResponses":[{"content":[{"text":{{"A ground-truth response"}}}]}],"referenceContexts":[{"content":[{"text":{{"A ground truth for a received passage"}}}]}],"output":{"knowledgeBaseIdentifier":{{"A string identifying your RAG source"}},"retrievedResults":{"retrievalResults":[{"name":{{"(Optional) a name for your reference context"}},"content":{"text":{{"The output from your RAG inference"}}},"metadata":{{{"(Optional) a key for your metadata"}}:{{"(Optional) a metadata value"}}}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"The prompt you used to generate your response"}}}]},"referenceResponses":[{"content":[{"text":{{"A ground-truth response"}}}]}],"referenceContexts":[{"content":[{"text":{{"A ground truth for a received passage"}}}]}],"output":{"knowledgeBaseIdentifier":{{"A string identifying your RAG source"}},"retrievedResults":{"retrievalResults":[{"name":{{"(Optional) a name for your reference context"}},"content":{"text":{{"The output from your RAG inference"}}},"metadata":{{{"(Optional) a key for your metadata"}}:{{"(Optional) a metadata value"}}}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"The prompt you used to generate your response"}}}]},"referenceResponses":[{"content":[{"text":{{"A ground-truth response"}}}]}],"referenceContexts":[{"content":[{"text":{{"A ground truth for a received passage"}}}]}],"output":{"knowledgeBaseIdentifier":{{"A string identifying your RAG source"}},"retrievedResults":{"retrievalResults":[{"name":{{"(Optional) a name for your reference context"}},"content":{"text":{{"The output from your RAG inference"}}},"metadata":{{{"(Optional) a key for your metadata"}}:{{"(Optional) a metadata value"}}}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"The prompt you used to generate your response"}}}]},"referenceResponses":[{"content":[{"text":{{"A ground-truth response"}}}]}],"referenceContexts":[{"content":[{"text":{{"A ground truth for a received passage"}}}]}],"output":{"knowledgeBaseIdentifier":{{"A string identifying your RAG source"}},"retrievedResults":{"retrievalResults":[{"name":{{"(Optional) a name for your reference context"}},"content":{"text":{{"The output from your RAG inference"}}},"metadata":{{{"(Optional) a key for your metadata"}}:{{"(Optional) a metadata value"}}}}]}}}]}
{"conversationTurns":[{"prompt":{"content":[{"text":{{"The prompt you used to generate your response"}}}]},"referenceResponses":[{"content":[{"text":{{"A ground-truth response"}}}]}],"referenceContexts":[{"content":[{"text":{{"A ground truth for a received passage"}}}]}],"output":{"knowledgeBaseIdentifier":{{"A string identifying your RAG source"}},"retrievedResults":{"retrievalResults":[{"name":{{"(Optional) a name for your reference context"}},"content":{"text":{{"The output from your RAG inference"}}},"metadata":{{{"(Optional) a key for your metadata"}}:{{"(Optional) a metadata value"}}}}]}}}]}
```

次のプロンプトは、わかりやすいように展開されています。実際のプロンプトデータセットでは、各行 (プロンプト) が有効な JSON オブジェクトである必要があります。

```
{
  "conversationTurns": [
    {
      "prompt": {
        "content": [
          {
            "text": "What is the recommended service interval for your product?"
          }
        ]
      },
      "referenceResponses": [
        {
          "content": [
            {
              "text": "The recommended service interval for our product is two years."
            }
          ]
        }
      ],
      "referenceContexts": [
        {
          "content": [
            {
              "text": "A ground truth for a received passage"
            }
          ]
        }
      ],
       "output": {
        "knowledgeBaseIdentifier": "RAG source 1",
        "retrievedResults": {
          "retrievalResults": [
            {
              "name": "(Optional) a name for your retrieval",
              "content": {
                "text": "The recommended service interval for our product is two years."
              },
              "metadata": {
                "(Optional) a key for your metadata": "(Optional) a value for your metadata"
              }
            }
          ]
        }
      }
    }
  ]
}
```