本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。
Amazon Bedrock 中用于模型评测的文本摘要
文本摘要用于新闻摘要、法律文件、学术论文、内容预览和内容策划的创建等任务。用于训练模型的文本的模糊性、连贯性、偏差和流畅性以及信息丢失、准确性、相关性或上下文不匹配等问题都会影响响应的质量。
重要
对于文本摘要，存在一个已知的系统问题，该问题会影响 Cohere 模型成功完成毒性评测。
支持将以下内置数据集用于文本摘要任务类型。
- Gigaword
-
Gigaword 数据集由新闻文章标题组成。此数据集用于文本摘要任务。
下表汇总了计算指标和推荐的内置数据集。要使用或支持的 AWS SDK 成功指定可用的内置数据集 AWS CLI，请使用Built-in数据集 (API) 列中的参数名称。
| 任务类型 | 指标 | Built-in 数据集（控制台） | Built-in 数据集 (API) | 计算指标 |
|---|---|---|---|---|
| 文本摘要 | 准确性 | Gigaword | Builtin.Gigaword |
BERTScore |
| 毒性 | Gigaword | Builtin.Gigaword |
毒性 | |
| 稳健性 | Gigaword | Builtin.Gigaword |
BERTScore 和 deltaBERTScore |
要详细了解每个内置数据集的计算指标的计算方法，请参阅 在 Amazon Bedrock 中查看模型评测作业报告和指标。
