内容领域 1: 基础模型集成、数据管理和合规性
任务 1.1: 分析需求,设计生成式人工智能解决方案。
技能 1.1.1: 根据具体业务需求和技术限制,创建全面的架构设计(例如,使用合适的基础模型、集成模式、部署策略)。
技能 1.1.2: 开发技术概念验证实施方案,来验证可行性、性能特征和商业价值,然后进行全面部署(例如,使用 Amazon Bedrock)。
技能 1.1.3: 创建标准化技术组件,确保跨多个部署场景中实现一致的实施(例如,使用 AWS Well-Architected Framework、AWS WA 工具生成式人工智能剖析)。
任务 1.2: 选择并配置基础模型。
技能 1.2.1: 评估和选择基础模型,确保很好地契合特定的业务使用案例和技术要求(例如,使用性能基准、能力分析、限制评估等)。
技能 1.2.2: 创建灵活的架构模式,可以动态选择模型和切换提供商,而且无需修改代码(例如,使用 AWS Lambda、Amazon API Gateway、AWS AppConfig)。
技能 1.2.3: 设计具备韧性的 AI 系统,可确保服务中断期间的持续运行(例如,使用 AWS Step Functions 断路器模式,针对在有限区域提供的模型使用 Amazon Bedrock 跨区域推理,跨区域模型部署,优雅降级策略)。
技能 1.2.4: 实施基础模型自定义部署和生命周期管理(例如,使用 Amazon SageMaker AI,部署特定于领域的经过微调的模型;低秩自适应 [LoRA] 等参数-效率自适应技术和用于模型部署的适配器;用于版本控制和部署自定义模型的 SageMaker 模型注册表;用于更新模型的自动部署管道;失败部署的回滚策略;管理生命周期来停用和替换模型)。
任务 1.3: 实施数据验证和处理管道,用于基础模型的使用。
技能 1.3.1: 创建全面的数据验证工作流,确保数据符合质量标准以便供基础模型使用(例如,使用 AWS Glue 数据质量自动监测功能、SageMaker Data Wrangler、自定义 Lambda 函数、Amazon CloudWatch 指标)。
技能 1.3.2: 创建数据处理工作流来处理复杂的数据类型,包括文本、图像、音频和表格数据等,这些数据在用于基础模型时有专门的处理要求(例如,使用 Amazon Bedrock 多模态模型、SageMaker Processing、AWS Transcribe、高级多模态管道架构)。
技能 1.3.3: 根据特定于模型的要求,为基础模型推理设置输入数据的格式(例如,为 Amazon Bedrock API 请求使用 JSON 格式,适用于 SageMaker AI 终端节点的结构化数据准备,为基于对话的应用程序使用对话格式)。
技能 1.3.4: 改善输入数据质量以提高基础模型回复的质量和一致性(例如,使用 Amazon Bedrock 重新格式化文本,使用 Amazon Comprehend 提取实体,使用 Lambda 函数对数据进行标准化)。
任务 1.4: 设计和实施向量存储解决方案。
技能 1.4.1: 创建专门用于基础模型增强的高级向量数据库架构,实现超越传统搜索功能的高效语义检索(例如,使用 Amazon Bedrock 知识库实现分层组织;使用带 Neural 插件的 Amazon OpenSearch Service 用于 Amazon Bedrock 集成,来进行基于主题的分割;Amazon RDS 与 Amazon S3 文档存储库结合使用;Amazon DynamoDB 与向量数据库结合使用来处理元数据和嵌入)。
技能 1.4.2: 开发全面的元数据框架,提高基础模型交互的搜索查准率和上下文感知能力(例如,使用 S3 对象元数据作为文档时间戳,用于创作者信息的自定义属性,使用标记系统进行领域分类)。
技能 1.4.3: 实施高性能向量数据库架构,来大规模优化语义搜索性能以便用于基础模型检索(例如,使用 OpenSearch 分片策略,针对专用领域的多索引方法,分层索引技术)。
技能 1.4.4: 使用 AWS 服务创建集成组件来连接资源(例如,文档管理系统,知识库,用于生成式人工智能应用程序中全面数据集成的内部 wiki)。
技能 1.4.5: 设计和部署数据维护系统,确保向量存储包含当前的准确信息,以便用于基础模型增强(例如,使用递增更新机制、实时更改检测系统、自动同步工作流、定期刷新管道)。
任务 1.5: 设计用于增强基础模型的检索机制。
技能 1.5.1: 开发高效的文档分割方法来优化检索性能,用于基础模型上下文增强(例如,使用 Amazon Bedrock 分块功能,使用 Lambda 函数实施固定大小分块,根据内容结构采用分层式分块的自定义处理)。
技能 1.5.2: 选择和配置优化的嵌入解决方案,为语义搜索高效地创建向量表示(例如,使用基于维度和领域拟合的 Amazon Titan 嵌入,评估 Amazon Bedrock 嵌入模型的性能特征,使用 Lambda 函数批量生成嵌入)。
技能 1.5.3: 部署和配置向量搜索解决方案,启用语义搜索功能用于增强基础模型(例如,使用具有向量搜索功能的 OpenSearch Service,带有 pgvector 扩展的 Amazon Aurora,具有托管向量存储功能的 Amazon Bedrock 知识库)。
技能 1.5.4: 创建高级搜索架构,提高针对基础模型上下文检索到的信息的相关性和准确率(例如,使用 OpenSearch 进行语义搜索、结合使用关键字和向量的混合搜索,Amazon Bedrock 重排器模型)。
技能 1.5.5: 开发先进的查询处理系统来提高检索有效性和结果质量,以便用于增强基础模型(例如,使用 Amazon Bedrock 进行查询扩展,使用 Lambda 函数进行查询分解,使用 Step Functions 进行查询转换)。
技能 1.5.6: 创建一致的访问机制,实现与基础模型的无缝集成(例如,使用函数调用接口进行向量搜索,使用模型上下文协议 [MCP] 客户端进行向量查询,使用标准化 API 模式进行检索增强)。
任务 1.6: 为基础模型交互实施提示工程策略和监管措施。
技能 1.6.1: 创建高效的模型指令框架来控制基础模型的行为和输出(例如,使用 Amazon Bedrock 提示管理器强制实施角色定义,使用 Amazon Bedrock 防护机制强制实施负责任 AI 指导原则,使用模板配置对回复进行格式化处理)。
技能 1.6.2: 构建交互式 AI 系统用于维护上下文并改善用户与基础模型的互动(例如,Step Functions 可用于澄清工作流,Amazon Comprehend 可用于意图识别,DynamoDB 可用于对话历史记录存储)。
技能 1.6.3: 实施全面的提示管理和监管系统,对基础模型操作进行监督来确保实现操作一致性(例如,使用 Amazon Bedrock 提示管理器创建参数化模板和审批工作流,使用 Amazon S3 存储模板存储库,使用 AWS CloudTrail 跟踪使用情况,使用 Amazon CloudWatch Logs 记录访问活动)。
技能 1.6.4: 开发质量保证系统,确保基础模型的提示有效性和可靠性(例如,使用 Lambda 函数验证预期输出,使用 Step Functions 测试边缘用例,使用 CloudWatch 测试提示回归)。
技能 1.6.5: 增强基础模型性能,以迭代方式完善提示,并运用基本提示技巧之外的技术来提高回复质量(例如,使用结构化输入组件、输出格式规范、思维链指令模式、反馈循环)。
技能 1.6.6: 设计复杂的提示系统,利用基础模型来处理复杂的任务(例如,使用 Amazon Bedrock 提示工作流管理器执行顺序提示链,基于模型回复的有条件分支,可重复使用的提示组件,集成式预处理和后处理步骤)。