本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
# 评估指标格式
使用以下指标格式评估模型的质量：
+ 模型评估摘要
+ mlFlo
+ TensorBoard
## 模型评估摘要
提交评估任务时，您需要指定 S AWS 3 的输出位置。 SageMaker 自动将评估摘要.json 文件上传到该位置。基准摘要 S3 路径如下：
```
s3:////output/output//eval_results/
```
**通过 S AWS 3 地点**
------
#### [ SageMaker Studio ]
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
`.json`从 AWS S3 位置直接读取或在 UI 中自动可视化：
```
{
"results": {
"custom|gen_qa_gen_qa|0": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
},
"all": {
"rouge1": 0.9152812653966208,
"rouge1_stderr": 0.003536439199232507,
"rouge2": 0.774569918517409,
"rouge2_stderr": 0.006368825746765958,
"rougeL": 0.9111255645823356,
"rougeL_stderr": 0.003603841524881021,
"em": 0.6562150055991042,
"em_stderr": 0.007948251702846893,
"qem": 0.7522396416573348,
"qem_stderr": 0.007224355240883467,
"f1": 0.8428757602152095,
"f1_stderr": 0.005186300690881584,
"f1_score_quasi": 0.9156170336744968,
"f1_score_quasi_stderr": 0.003667700152375464,
"bleu": 100.00000000000004,
"bleu_stderr": 1.464411857851008
}
}
}
```
## mlFlow 记录
**提供你的 SageMaker mlFlow 资源 ARN**
SageMaker 当您首次使用模型自定义功能时，Studio 使用在每个 Studio 域上配置的默认 mlFlow 应用程序。 SageMaker Studio 在提交评估作业时使用与 mlFlow 应用关联的默认 ARN。
您也可以提交评估任务并明确提供 mlFlow 资源 ARN，以便将指标流式传输到上述关联 server/app 追踪中进行实时分析。
**SageMaker Python SD**
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
模型级别和系统级指标可视化：
## TensorBoard
使用 AWS S3 输出位置提交您的评估任务。 SageMaker 自动将 TensorBoard 文件上传到该位置。
SageMaker 将 TensorBoard 文件上传到以下位置的 AWS S3：
```
s3:////output/output//tensorboard_results/eval/
```
**按如下方式传递 AWS S3 位置**
------
#### [ SageMaker Studio ]
------
#### [ SageMaker Python SDK ]
```
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
evaluate_base_model=False
)
execution = evaluator.evaluate()
```
------
**模型级别指标示例**
