本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 建立僅限擷取的 RAG 評估任務
<a name="knowledge-base-evaluation-create-ro"></a>

您可以使用 AWS 管理主控台 AWS CLI或支援的 AWS SDK 建立 RAG 評估任務。

這種類型的任務需要存取評估工具模型。如需支援的評估工具模型清單，請參閱 [支援的模型](evaluation-kb.md#evaluation-kb-supported)。

若要使用下列指示建立任務，您也需要提示資料集。若尚未建立，請參閱 [在 Amazon Bedrock 中建立 RAG 評估的提示資料集](knowledge-base-evaluation-prompt.md)。

------
#### [ Console ]

1. 開啟 [Amazon Bedrock 主控台](https://console.aws.amazon.com/bedrock/home)。

1. 在**推論與評估**下的左側窗格中，選取**評估**。

1. 在 **RAG 評估**窗格中，選擇**建立**。

1. 執行下列動作，輸入您的 RAG 評估詳細資訊：

   1. 在**評估名稱**下方的**評估詳細資訊**窗格中，輸入評估任務的名稱。您選擇的名稱在 中必須是唯一的 AWS 區域。

   1. 或者，在**描述 - *選用***下，輸入評估任務的描述。

   1. 在**評估工具模型**下，選擇**選取模型**，然後選取您要執行評估的評估工具模型。

1. 輸入評估任務的推論來源。透過 Amazon Bedrock RAG 評估，您可以在[提示資料集](knowledge-base-evaluation-prompt.md)中提供自己的推論回應資料，藉此評估 Amazon Bedrock 知識庫或其他 RAG 來源的效能。若要選取 Amazon Bedrock 知識庫，請執行下列動作：

   1. 在**推論來源**窗格的**選取來源**下，選取 **Bedrock 知識庫**。

   1. 在**選擇知識庫**下，使用下拉式清單選取知識庫。

1. 若要使用您自己的推論回應資料，請執行下列動作：

   1. 在**推論來源**窗格的**選取來源**下，選取**引入自己的推論回應**。

   1. 針對**來源名稱**，輸入您用來建立回應資料的 RAG 來源名稱。您輸入的名稱必須符合[提示資料集](knowledge-base-evaluation-prompt.md)中的 `knowledgeBaseIdentifier` 參數。

1. 在**推論來源**窗格**的評估類型**下，選取**僅擷取**。

1. 在**指標**窗格中選取至少一個指標，以選取您想要讓評估工具模型使用的內建指標。

1. 執行下列動作，為您的資料集和結果定義輸入和輸出位置：

   1. 在**資料集**窗格**選擇提示資料集**下，輸入提示資料集的 Amazon S3 URI，或選擇**瀏覽 S3** 並選取您的檔案。若要查看僅擷取評估任務所需提示資料集格式的定義，請參閱 [為僅擷取 RAG 評估任務建立提示資料集](knowledge-base-evaluation-prompt-retrieve.md)。

   1. 在**評估結果**下，輸入 Amazon Bedrock 的 Amazon S3 位置以儲存結果，或選擇**瀏覽 S3** 以選取位置。

1. 在 **Amazon Bedrock IAM 角色 - 許可**下，選取**建立並使用新的服務角色**，讓 Amazon Bedrock 為評估任務建立新的 IAM 角色，或選取**使用現有的服務角色**來挑選現有的 IAM 角色。如需建立和執行評估任務所需的許可清單，請參閱 [先決條件](knowledge-base-evaluation-create.md#knowledge-base-evaluation-create-prereqs)。

1. （選用） 若要使用您自己的 KMS 金鑰來加密評估資料，請在 **KMSkey - *選用***下，勾選**自訂加密設定 （進階）**，然後選取您的 AWS KMS 金鑰。根據預設，Amazon Bedrock 會使用 AWS擁有的 KMS 金鑰來加密評估任務資料。

1. 選擇**建立**來完成建立評估任務。

------
#### [ AWS CLI ]

**為 Amazon Bedrock 知識庫建立僅擷取評估任務**
+ 使用範例 JSON 檔案執行下列 AWS CLI 命令。

  ```
  aws bedrock create-evaluation-job --cli-input-json file://{{my_eval_job.json}}
  ```

  ```
  {
      "jobName": {{"my_rag_eval"}},
      "roleArn": {{"arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974"}},
      "applicationType": "RagEvaluation",
      "evaluationConfig": {
          "automated": {
              "datasetMetricConfigs": [
                  {
                      "taskType": "General",
                      "dataset": {
                          "name": "text_dataset",
                          "datasetLocation": {
                              "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieval-only/retrieve-eval-byoir.jsonl"
                          }
                      },
                      "metricNames": [
                          "Builtin.ContextCoverage",
                          "Builtin.ContextRelevance"
                      ]
                  }
              ],
              "evaluatorModelConfig": {
                  "bedrockEvaluatorModels": [
                      {
                          "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0"
                      }
                  ]
              }
          }
      },
     "inferenceConfig": {
          "ragConfigs": [
              {
                  "knowledgeBaseConfig": {
                      "retrieveConfig": {
                          "knowledgeBaseId": "{{your-knowledge-base-id}}",
                          "knowledgeBaseRetrievalConfiguration": {
                              "vectorSearchConfiguration": {
                                  "numberOfResults": 3
                              }
                          }
                      }
                  }
              }
          ]
      },
      "outputDataConfig": {
          "s3Uri": "s3://amzn-s3-demo-bucket/output/"
      }
  }
  ```

**使用您自己的推論回應資料建立僅擷取評估任務**
+ 使用範例 JSON 檔案執行下列 AWS CLI 命令。

  ```
  aws bedrock create-evaluation-job --cli-input-json file://{{my_eval_job.json}}
  ```

  ```
  {
      "jobName": {{"my_rag_eval"}},
      "roleArn": {{"arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-Role-Amazon-Bedrock-IAM-Role-20250218T063974"}},
      "applicationType": "RagEvaluation",
      "evaluationConfig": {
          "automated": {
              "datasetMetricConfigs": [
                  {
                      "taskType": "General",
                      "dataset": {
                          "name": "text_dataset",
                          "datasetLocation": {
                              "s3Uri": "s3://amzn-s3-demo-bucket/input/retrieval-only/retrieve-eval-byoir.jsonl"
                          }
                      },
                      "metricNames": [
                          "Builtin.ContextCoverage",
                          "Builtin.ContextRelevance"
                      ]
                  }
              ],
              "evaluatorModelConfig": {
                  "bedrockEvaluatorModels": [
                      {
                          "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0"
                      }
                  ]
              }
          }
      },
      "inferenceConfig": {
          "ragConfigs": [
              {
                  "precomputedRagSourceConfig": {
                      "retrieveSourceConfig": {
                          "ragSourceIdentifier": {{"my_rag_source"}}
                      }
                  }
              }
          ]
      },
      "outputDataConfig": {
          "s3Uri": "s3://amzn-s3-demo-bucket/output/"
      }
  }
  ```

------
#### [ SDK for Python ]

下列 python 範例示範如何使用 為 Amazon Bedrock 知識庫建立僅限擷取任務 適用於 Python (Boto3) 的 AWS SDK 。若要進一步了解如何使用 Boto3 建立評估任務，請參閱 Boto3 文件[https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/create_evaluation_job.html](https://boto3.amazonaws.com/v1/documentation/api/1.35.6/reference/services/bedrock/client/create_evaluation_job.html)中的 。

```
import boto3
client = boto3.client('bedrock')

job_response = client.create_evaluation_job(
    jobName="my_evaluation_job",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/service-role/Amazon-Bedrock-IAM-RoleAmazon-Bedrock-IAM-Role",
    applicationType="RagEvaluation",
    inferenceConfig={
        "ragConfigs": [
            {
                "knowledgeBaseConfig": {
                    "retrieveConfig": {
                        "knowledgeBaseId": "your-knowledge-base-id",
                        "knowledgeBaseRetrievalConfiguration": {
                            "vectorSearchConfiguration": {
                                "numberOfResults": 10,
                                "overrideSearchType": "HYBRID"
                            }
                        }
                    }
                }
            }
        ]
    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "Summarization",
                    "dataset": {
                        "name": "RagDataset",
                        "datasetLocation": {
                            "s3Uri": "s3://amzn-s3-demo-bucket/input_data/data_3_rng.jsonl"
                        }
                    },
                    "metricNames": [
                        "Builtin.ContextCoverage"
                    ]
                }
            ],
            "evaluatorModelConfig":
                {
                    "bedrockEvaluatorModels": [{
                        "modelIdentifier": "meta.llama3-1-70b-instruct-v1:0"
                    }]
                }
        }
    }
)

print(job_request)
```

------