内容领域 3： 基础模型的应用
领域 3 涵盖了基础模型的应用，占考试计分内容的 28%。
任务
任务说明 3.1： 描述设计使用基础模型 (FM) 的应用程序时有哪些注意事项。
目标：
确定用于选择 FM 的评估标准（例如：成本、模态、延迟、多语言能力、模型规模、模型复杂度、定制能力、输入/输出长度、Prompt 缓存）。
描述推理参数对模型响应的影响（例如：温度、输入/输出长度）。
定义检索增强生成 (RAG) 并描述其在业务中的应用（例如：Amazon Bedrock 知识库）。
确定有助于在向量数据库中存储嵌入的 AWS 服务（例如：Amazon OpenSearch Service、Amazon Aurora、Amazon Neptune、Amazon RDS for PostgreSQL）。
解释 FM 定制的各种方法的成本权衡（例如：预训练、微调、上下文学习、RAG、模型蒸馏）。
定义 AI 代理的角色并描述 AI 代理的业务应用程序。
任务说明 3.2： 选择有效的提示工程技术。
目标：
定义提示工程的概念与构建要素（例如：上下文、指令、负面提示）。
定义用于提示工程的技术（例如：思维链、零样本、单样本、少量样本、提示模板）。
确定和描述提示工程的益处和最佳实践（例如：响应质量改进、实验、防护机制、发现、特异性和简洁性，使用多条注释）。
定义提示工程的潜在风险和局限性（例如：暴露、投毒、劫持、监狱突破）。
描述利用 Amazon Bedrock Prompt Management 实现的提示词版本控制与管理策略。
任务说明 3.3： 描述基础模型的训练和微调过程。
目标：
描述训练基础模型的关键要素（例如：预训练、微调、持续预训练、蒸馏）。
定义微调基础模型的方法（例如：指令优化、针对特定领域调整模型、迁移学习、持续预训练）。
描述如何准备数据以微调基础模型（例如：数据策管、监管、调整大小、标记、代表性、人类反馈强化学习 [RLHF]）。
任务说明 3.4： 描述评估基础模型性能的方法。
目标：
确定评估 FM 性能的方法（例如：人工参与评估、基准数据集、Amazon Bedrock 模型评估）。
识别用于评估 FM 性能的相关指标（例如：面向召回率的要点提取评估指标 [ROUGE]、双语评估替补指标 [BLEU]、BERTScore、LLM 评审员）。
确定 FM 能否有效满足业务目标（例如：生产力、用户参与度、任务工程）。
确定评估使用 FM 构建的应用程序的性能的方法（例如：RAG、代理、工作流）。
确定 AI 应用程序的业务目标一致性指标（例如：任务完成率、用户满意度、每次交互成本）。
