内容领域 3： 基础模型的应用
领域 3 涵盖了基础模型的应用，占考试计分内容的 28%。
任务
任务说明 3.1： 描述设计使用基础模型 (FM) 的应用程序时有哪些注意事项。
目标：
确定选择预训练模型的标准（例如，成本、模态、延迟、多语言、模型大小、模型复杂性、自定义、输入/输出长度、提示缓存）。
描述推理参数对模型响应的影响（例如，温度、输入/输出长度）。
定义检索增强生成 (RAG) 并描述其在业务中的应用（例如，Amazon Bedrock 知识库）。
确定有助于在向量数据库中存储嵌入的 AWS 服务（例如，Amazon OpenSearch Service、Amazon Aurora、Amazon Neptune、Amazon RDS for PostgreSQL）。
解释各种基础模型自定义方法（例如，预训练、微调、上下文学习、RAG）的成本权衡。
描述代理在多步骤任务中的作用（例如，Amazon Bedrock 代理、代理式 AI、模型上下文协议）。
任务说明 3.2： 选择有效的提示工程技术。
目标：
定义提示工程的概念和结构（例如，上下文、指令、否定提示、模型潜在空间、提示路由）。
定义用于提示工程的技术（例如，思维链、零样本、单样本、少量样本、提示模板）。
确定和描述提示工程的益处和最佳实践（例如，响应质量改进、实验、防护机制、发现、特异性和简洁性，使用多条注释）。
定义提示工程的潜在风险和局限性（例如，暴露、投毒、劫持、监狱突破）。
任务说明 3.3： 描述基础模型的训练和微调过程。
目标：
描述训练基础模型的关键要素（例如，预训练、微调、持续预训练、蒸馏）。
定义微调基础模型的方法（例如，指令优化、针对特定领域调整模型、迁移学习、持续预训练）。
描述如何准备数据以微调基础模型（例如，数据策管、监管、调整大小、标记、代表性、人类反馈强化学习 [RLHF]）。
任务说明 3.4： 描述评估基础模型性能的方法。
目标：
确定评估基础模型性能的方法（例如，人工评估、基准数据集、Amazon Bedrock 模型评估）。
确定评估基础模型性能的相关指标（例如，用于摘要和机器翻译评估的查全率导向研究 [ROUGE]、双语评估替换 [BLEU]、BERTScore）。
确定基础模型能否有效满足业务目标（例如，生产力、用户参与度、任务工程）。
确定评估使用基础模型构建的应用程序性能的方法（例如 RAG、代理、工作流）。
