本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 在 Amazon Bedrock 中啟動自動模型評估任務
<a name="model-evaluation-jobs-management-create"></a>

您可以使用 AWS 管理主控台 AWS CLI或支援的 AWS SDK 建立自動模型評估任務。在自動模型評估任務中，您選取的模型會使用來自支援內建資料集的提示，或您自己的自訂提示資料集來執行推論。每個任務還需要您選取任務類型。任務類型為您提供一些建議的指標和內建提示資料集。若要進一步了解可用任務類型和指標，請參閱 [Amazon Bedrock 中的模型評估任務類型](model-evaluation-tasks.md)。

下列範例說明如何使用 Amazon Bedrock 主控台 AWS CLI SDK for Python 建立自動模型評估任務。

所有自動模型評估任務都需要您建立 IAM 服務角色。若要進一步了解設定模型評估任務的 IAM 要求，請參閱 [模型評估任務的服務角色要求](model-evaluation-security-service-roles.md)。

下列範例示範如何建立自動模型評估任務。在 API 中，您也可以在 `modelIdentifier` 欄位中指定其 ARN，在任務中包含[推論設定檔](cross-region-inference.md)。

------
#### [ Amazon Bedrock console ]

使用下列程序以使用 Amazon Bedrock 主控台建立模型評估任務。若要成功完成此程序，請確定您的 IAM 使用者、群組或角色具有足夠的許可來存取主控台。如需詳細資訊，請參閱 [建立自動模型評估任務所需的主控台許可](model-evaluation-type-automatic.md#base-for-automatic)。

此外，您想要在模型評估任務中指定的任何自訂提示資料集，都必須將必要的 CORS 許可新增至 Amazon S3 儲存貯體。若要進一步了解新增必要的 CORS 許可，請參閱 [S3 儲存貯體上所需的跨來源資源分享 (CORS) 許可](model-evaluation-security-cors.md)。

**若要建立自動模型評估任務**

1. 開啟 Amazon Bedrock 主控台：[https://console.aws.amazon.com/bedrock/home](https://console.aws.amazon.com/bedrock/home)

1. 在導覽窗格中，選擇**模型評估**。

1. 在**建立評估**卡的**自動**下方，選擇**建立自動評估**。

1. 在**建立自動評估**頁面上，提供下列資訊

   1. **評估名稱** — 為模型評估任務指定一個描述任務的名稱。此名稱會顯示在您的模型評估任務清單中。在 AWS 區域中，您帳戶內的這個名稱必須是唯一的。

   1. **描述** (選用) — 提供選擇性描述。

   1. **模型** — 選擇您要在模型評估任務中使用的模型。

      若要進一步了解 Amazon Bedrock 中的可用模型以及存取方法，請參閱 [存取 Amazon Bedrock 基礎模型](model-access.md)。

   1. (選用) 若要變更推論組態，請選擇**更新**。

      變更推論組態會變更所選模型產生的回應。若要進一步了解可用推論參數，請參閱 [基礎模型的推論請求參數和回應欄位](model-parameters.md)。

   1. **任務類型** — 選擇您希望模型在模型評估任務期間嘗試執行的任務類型。

   1. **指標和資料集** — 可用指標和內建提示資料集的清單會根據您選取的任務而變更。您可以從**可用的內建資料集**清單中做選擇，也可以選擇內建**使用您自己的提示資料集**。如果您選擇使用自己的提示資料集，請輸入提示資料集檔案的確切 S3 URI，或選擇**瀏覽 S3 **以搜尋提示資料集。

   1. **評估結果** — 指定要儲存結果的目錄的 S3 URI。選擇**瀏覽 S3** 以搜尋 Amazon S3 中的位置。

   1. (選用) 若要啟用客戶受管金鑰使用，請選擇**自訂加密設定 (進階)**。然後，提供您要使用的 AWS KMS 金鑰的 ARN。

   1. **Amazon Bedrock IAM 角色** — 選擇**使用現有角色**以使用已具備必要許可的 IAM 服務角色，或選擇**建立新角色**以建立新的 IAM 服務角色。

1. 然後，選擇 **Create** (建立)。

一旦狀態變更為**已完成**，您就可以檢視任務的報告卡。

------
#### [ SDK for Python ]

下列範例會使用 Python 建立自動評估任務。

```
import boto3
client = boto3.client('bedrock')

job_request = client.create_evaluation_job(
    jobName="api-auto-job-titan",
    jobDescription="two different task types",
    roleArn="arn:aws:iam::111122223333:role/role-name",
    inferenceConfig={
        "models": [
            {
                "bedrockModel": {
                    "modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
                    "inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"
                }

            }
        ]

    },
    outputDataConfig={
        "s3Uri":"s3://amzn-s3-demo-bucket-model-evaluations/outputs/"
    },
    evaluationConfig={
        "automated": {
            "datasetMetricConfigs": [
                {
                    "taskType": "QuestionAndAnswer",
                    "dataset": {
                        "name": "Builtin.BoolQ"
                    },
                    "metricNames": [
                        "Builtin.Accuracy",
                        "Builtin.Robustness"
                    ]
                }
            ]
        }
    }
)

print(job_request)
```

------
#### [ AWS CLI ]

在 中 AWS CLI，您可以使用 `help`命令來查看需要哪些參數，以及在 `create-evaluation-job`中指定哪些參數是選用的 AWS CLI。

```
aws bedrock create-evaluation-job help
```

```
aws bedrock create-evaluation-job \
--job-name 'automatic-eval-job-cli-001' \
--role-arn 'arn:aws:iam::111122223333:role/role-name' \
--evaluation-config '{"automated": {"datasetMetricConfigs": [{"taskType": "QuestionAndAnswer","dataset": {"name": "Builtin.BoolQ"},"metricNames": ["Builtin.Accuracy","Builtin.Robustness"]}]}}' \
--inference-config '{"models": [{"bedrockModel": {"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1","inferenceParams":"{\"inferenceConfig\":{\"maxTokens\": 512,\"temperature\":0.7,\"topP\":0.9}}"}}]}' \
--output-data-config '{"s3Uri":"s3://automatic-eval-jobs/outputs"}'
```

------