本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 在 Amazon Bedrock 中启动自动模型评测作业
<a name="model-evaluation-jobs-management-create"></a>

您可以使用 AWS 管理控制台、 AWS CLI或支持的 AWS SDK 创建自动模型评估任务。在自动模型评测作业中，所选模型会使用来自支持的内置数据集或您自己的自定义提示数据集的提示来执行推理。每个作业还会要求您选择一个任务类型。任务类型会为您提供一些推荐的指标和内置提示数据集。要了解有关可用的任务类型和指标的更多信息，请参阅 [Amazon Bedrock 中的模型评测任务类型](model-evaluation-tasks.md)。

以下示例向您展示了如何使用 Amazon Bedrock 控制台、 AWS CLI适用于 Python 的软件开发工具包创建自动模型评估任务。

所有自动模型评测作业都需要您创建 IAM 服务角色。要详细了解设置模型评测作业的 IAM 要求，请参阅[模型评估作业的服务角色要求](model-evaluation-security-service-roles.md)。

以下示例展示了如何创建自动模型评测作业。在 API 中，您还可以通过在 `modelIdentifier` 字段中指定[推理配置文件](cross-region-inference.md)的 ARN 来在作业中包含推理配置文件。

------
#### [ Amazon Bedrock console ]

按照以下流程使用 Amazon Bedrock 控制台创建模型评测作业。要成功完成此流程，请确保您的 IAM 用户、组或角色拥有足够的权限来访问控制台。要了解更多信息，请参阅[创建自动模型评测作业所需的控制台权限](model-evaluation-type-automatic.md#base-for-automatic)。

此外，您要在模型评测作业中指定的任何自定义提示数据集都必须将所需的 CORS 权限添加到 Amazon S3 存储桶。要详细了解如何添加所需的 CORS 权限，请参阅[必需的 S3 存储桶的跨源资源共享（CORS）权限](model-evaluation-security-cors.md)。

**创建自动模型评测作业**

1. 打开 Amazon Bedrock 控制台：[https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home)

1. 在导航窗格中，选择**模型评估**。

1. 在**建立评估**卡的**自动**下，选择**创建自动评估**。

1. 在**创建自动评估**页面上，提供以下信息：

   1. **评估名称** — 为模型评估作业指定一个可描述该作业的名称。此名称将显示在模型评估作业列表中。此名称在您的 AWS 区域的账户中必须是唯一的。

   1. **描述**（可选）— 提供可选描述。

   1. **模型** — 选择要在模型评估作业中使用的模型。

      要详细了解 Amazon Bedrock 中可用的模型以及如何访问这些模型，请参阅[访问 Amazon Bedrock 基础模型](model-access.md)。

   1. （可选）要更改推理配置，请选择**更新**。

      更改推理配置会更改所选模型生成的响应。要了解有关可用推理参数的更多信息，请参阅 [基础模型的推理请求参数和响应字段](model-parameters.md)。

   1. **任务类型** — 选择您希望模型在模型评估作业期间尝试执行的任务类型。

   1. **指标和数据集** — 可用指标列表和内置提示数据集会根据您选择的任务而变化。您可以从**可用的内置数据集**列表中进行选择，也可以选择**使用您自己的提示数据集**。如果您选择使用自己的提示数据集，请输入提示数据集文件的确切 S3 URI，或者选择**浏览 S3** 搜索提示数据集。

   1. **评估结果** – 指定您希望将结果保存到的目录的 S3 URI。选择**浏览 S3** 搜索 Amazon S3 中的位置。

   1. （可选）要使用客户自主管理型密钥，请选择**自定义加密设置（高级）**。然后，提供您要使用的 AWS KMS 密钥的 ARN。

   1. **Amazon Bedrock IAM 角色** – 选择**使用现有角色**以使用已拥有所需权限的 IAM 服务角色，或者选择**创建新角色**来创建新的 IAM 服务角色。

1. 然后选择 **Create**。

状态变为**已完成**后，您可以查看作业的报告卡。

------
#### [ SDK for Python ]

以下示例使用 Python 创建了一个自动评测作业。

```
import boto3
client = boto3.client('bedrock')

job_request = client.create_evaluation_job(
    jobName="api-auto-job-titan",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/role-name",
    inferenceConfig={
        "models": [
            {
                "bedrockModel": {
                    "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
                    "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
                }

            }
        ]

    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "QuestionAndAnswer",
                    "dataset": {
                        "name": "Builtin.BoolQ"
                    },
                    "metricNames": [
                        "Builtin.Accuracy",
                        "Builtin.Robustness"
                    ]
                }
            ]
        }
    }
)

print(job_request)
```

------
#### [ AWS CLI ]

在中 AWS CLI，您可以使用`help`命令来查看哪些参数是必需的，以及哪些参数`create-evaluation-job`在中指定时是可选的 AWS CLI。

```
aws bedrock create-evaluation-job help
```

```
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'
```

------