本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 使用内置指标创建模型评测作业
<a name="model-evaluation-built-in-metrics"></a>

要按照以下说明操作来创建作业，您需要一个提示数据集。如果尚未创建提示数据集，请参阅[为使用模型作为评判工具的模型评测作业创建提示数据集](model-evaluation-prompt-datasets-judge.md)。

------
#### [ Console ]

1. 打开 [Amazon Bedrock 控制台](https://console.aws.amazon.com/bedrock/home)。

1. 在左侧窗格中的**推理和评测**下，选择**评测**。

1. 在**模型评测**窗格中，选择**创建**，然后选择**自动评测：模型作为评判工具**。

1. 通过执行以下操作来输入您的模型评测详细信息：

   1. 在**模型评测详细信息**窗格中的**评测名称**下，输入评测作业的名称。您选择的名称在您的 AWS 区域内必须是唯一的。

   1. （可选）在**描述 - *可选***下，输入评测作业的描述。

   1. 在**评测器模型**下，选择**选择模型**，然后选择要执行评测的评判模型。

1. 输入评测作业的推理来源。借助 Amazon Bedrock 模型评测，您既可以评测 Amazon Bedrock 模型的性能，又可以通过在[提示数据集](model-evaluation-prompt-datasets-judge.md)内提供自己的推理响应数据来评测其他模型的性能。要选择 Amazon Bedrock 模型，请执行以下操作：

   1. 在**推理来源**窗格中的**选择来源**下，选择 **Bedrock 模型**。

   1. 在**选择模型**下，选择**选择模型**。

   1. 在弹出窗口中，选择要评测的模型，然后选择**应用**。

   1. （可选）要更改模型的推理参数，请为**推理配置**选择**更新**。

1. 要自带推理回复数据，请执行以下操作：

   1. 在**推理来源**窗格中的**选择来源**下，选择**自带推理回复**。

   1. 对于**来源名称**，输入用于创建响应数据的模型的名称。您输入的名称必须与[提示数据集](model-evaluation-prompt-datasets-judge.md#model-evaluation-prompt-datasets-judge-byoir)内的 `modelIdentifier` 参数相匹配。

1. 通过在**指标**窗格中选择至少一个指标，选择您希望评测器模型用来对生成器模型响应评分的内置指标。

1. 通过执行以下操作来定义数据集和结果的输入位置和输出位置：

   1. 在**数据集**窗格中的**选择提示数据集**下，输入提示数据集的 Amazon S3 URI，或者选择**浏览 S3** 并选择您的文件。要查看模型作为评判工具的评测作业所需的提示数据集格式的定义，请参阅[为使用模型作为评判工具的模型评测作业创建提示数据集](model-evaluation-prompt-datasets-judge.md)。

   1. 在**评估结果**下，输入 Amazon Bedrock 的 Amazon S3 位置以保存您的结果，或者选择**浏览 S3** 以选择一个位置。

1. 在 **Amazon Bedrock IAM 角色 - 权限**下，选择**创建和使用新的服务角色**，让 Amazon Bedrock 为评测作业创建新的 IAM 角色，或者选择**使用现有服务角色**来选取现有 IAM 角色。有关创建和运行评测作业所需权限的列表，请参阅[先决条件](model-evaluation-judge-create.md#model-evaluation-judge-create-prereqs)。

1. （可选）要使用您自己的 KMS 密钥来加密您的评测数据，请在 **KMSkey - *可选***下，选中**自定义加密设置（高级）**，然后选择您的 AWS KMS 密钥。默认情况下，Amazon Bedrock 使用 AWS 拥有的 KMS 密钥对您的评测作业数据进行加密。

1. 选择**创建**以完成评测作业的创建。

------
#### [ AWS CLI ]
+   
**Example AWS CLI 命令和 JSON 文件，用于为 Amazon Bedrock 模型创建评测作业**  

  ```
  aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json
  ```

  ```
  {
      "jobName": "model-eval-llmaj",
      "roleArn": "arn:aws:iam::111122223333:role/Amazon-Bedrock-ModelAsAJudgeTest",
      "applicationType": "ModelEvaluation",
      "evaluationConfig": {
          "automated": {
              "datasetMetricConfigs": [
                  {
                      "taskType": "General",
                      "dataset": {
                          "name": "text_dataset",
                          "datasetLocation": {
                              "s3Uri": "s3://amzn-s3-demo-bucket/input_datasets/text_dataset_input.jsonl"
                          }
                      },
                      "metricNames": [
                          "Builtin.Correctness",
                          "Builtin.Completeness"
                      ]
                  }
              ],
              "evaluatorModelConfig": {
                  "bedrockEvaluatorModels": [
                      {
                          "modelIdentifier": "anthropic.claude-3-haiku-20240307-v1:0"
                      }
                  ]
              }
          }
      },
      "inferenceConfig": {
          "models": [
              {
                  "bedrockModel": {
                      "modelIdentifier": "anthropic.claude-v2",
                      "inferenceParams": "{\"inferenceConfig\":{\"maxTokens\":512,\"temperature\":1,\"topP\":0.999,\"stopSequences\":[\"stop\"]},\"additionalModelRequestFields\":{\"top_k\": 128}}"
                  }
              }
          ]
      },
      "outputDataConfig": {
          "s3Uri": "s3://amzn-s3-demo-bucket/output_data/"
      }
  }
  ```  
**Example AWS CLI 命令和 JSON 文件，用于创建您可在其中提供自己的推理响应数据的评测作业**  

  ```
  aws bedrock create-evaluation-job --cli-input-json file://my_eval_job.json
  ```

  ```
  {
      "jobName": "model-eval-llmaj",
      "roleArn": "arn:aws:iam::111122223333:role/Amazon-Bedrock-ModelAsAJudgeTest",
      "evaluationConfig": {
          "automated": {
              "datasetMetricConfigs": [
                  {
                      "taskType": "General",
                      "dataset": {
                          "name": "text_dataset",
                          "datasetLocation": {
                              "s3Uri": "s3://amzn-s3-demo-bucket/input/model-eval/fitness-dataset-model-eval-byoi.jsonl"
                          }
                      },
                      "metricNames": [
                          "Builtin.Correctness",
                          "Builtin.Completeness"
                      ]
                  }
              ],
              "evaluatorModelConfig": {
                  "bedrockEvaluatorModels": [
                      {
                          "modelIdentifier": "us.meta.llama3-1-70b-instruct-v1:0"
                      }
                  ]
              }
          }
      },
      "inferenceConfig": {
          "models": [
              {
                  "precomputedInferenceSource": {
                      "inferenceSourceIdentifier": "my_model"
                  }
              }
          ]
      },
      "outputDataConfig": {
          "s3Uri": "s3://amzn-s3-demo-bucket/output/"
      }
  }
  ```

------