本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # AWS 生成式 AI 最佳实践框架 v2 **注意** 2024 年 6 月 11 日，我将该框架 AWS Audit Manager 升级为新版本，即*AWS 生成式 AI 最佳实践框架 v* 2。除了支持 Amazon Bedrock 的最佳实践外，v2 还允许您收集证据，证明您遵循了 Ama SageMaker zon AI 上的最佳实践。 不再支持 *AWS 生成式人工智能最佳实践框架 v1*。如果您之前在 v1 框架中创建了评测，则现有评测将继续有效。但是，您无法再在 v1 框架中创建新的评测。我们建议您改用 v2 升级框架。 AWS Audit Manager 提供了一个预先构建的标准框架，可帮助您了解在 Amazon Bedrock 和 Amazon AI 上实现的生成式 A SageMaker I 是如何与 AWS 推荐的最佳实践背道而驰的。 Amazon Bedrock 是一项全托管服务，可通过 API 提供来自 Amazon 和其他领先人工智能公司的人工智能模型。您可通过 Amazon Bedrock，通过组织的数据私下调整现有模型。这使您能够利用基础模型 (FMs) 和大型语言模型 (LLMs) 来安全地构建应用程序，而不会影响数据隐私。有关更多信息，请参阅《Amazon Bedrock 用户指南》**中的[什么是 Amazon Bedrock？](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-service.html)。 Amazon SageMaker AI 是一项完全托管的机器学习 (ML) 服务。借 SageMaker 助 AI，数据科学家和开发人员可以构建、训练和部署机器学习模型，用于需要深度自定义和模型微调的扩展用例。 SageMaker AI 提供托管机器学习算法，可在分布式环境中针对极其庞大的数据高效运行。借助对您自己的算法和框架的内置支持， SageMaker AI 提供了灵活的分布式训练选项，可根据您的特定工作流程进行调整。有关更多信息，请参阅[什么是 Amazon SageMaker AI？](https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html) 在《*亚马逊 A SageMaker I 用户指南》*中。 **Topics** + [Amazon Bedrock 的 AWS 生成式人工智能最佳实践是什么？](#what-are-aws-generative-ai-best-practices) + [使用此框架支持您的审计准备](#framework-aws-generative-ai-best-practices) + [在 Amazon Bedrock 内手动验证提示](#manual-prompt-verification) + [后续步骤](#next-steps-aws-generative-ai-best-practices) + [其他资源](#resources-aws-generative-ai-best-practices) ## Amazon Bedrock 的 AWS 生成式人工智能最佳实践是什么？ 生成式人工智能是人工智能的一个分支，专注于使机器能够生成内容。生成式人工智能模型旨在创建与训练示例非常相似的输出。人工智能可在此场景下模仿人类对话，生成创意内容，分析大量数据，并自动执行通常由人类完成的流程。生成式人工智能的快速发展带来了充满希望的创新。同时，它在如何负责任地使用生成式人工智能、并遵守治理要求方面提出了新的挑战。 AWS 致力于为您提供负责任地构建和管理应用程序所需的工具和指导。为了帮助您实现这一目标，Audit Manager与Amazon Bedrock和 SageMaker AI合作创建了*AWS 生成式人工智能最佳实践框架v* 2。该框架为你提供了一个专门构建的工具，用于监控和改善你在 Amazon Bedrock 和 Amazon AI 上的生成人工智能项目的治理。 SageMaker 您可以使用此框架中的最佳实践标准，加强对模型使用情况的控制和可见性，并随时了解模型行为。 该框架中的控制措施是与人工智能专家、合规从业人员、安全保障专家合作开发的 AWS，并听取了德勤的意见。每个自动控制都映射到一个 AWS 数据源，Audit Manager 从中收集证据。您可以根据以下八项原则，使用收集到的证据评测您的生成式人工智能： 1. **负责** - 为生成式人工智能模型的部署和使用制定并遵守道德准则 1. **安全** - 建立明确的参数和道德界限，以防止产生有害或问题产出 1. **公平** - 考虑并尊重人工智能系统对不同用户群体的影响方式 1. **可持续** - 努力提高效率和更可持续能源 1. **弹性** - 维护完整性和可用性机制，确保人工智能系统可靠运行 1. **隐私** - 确保敏感数据免遭盗窃与泄露 1. **准确性** - 构建准确、可靠、强大的 AI 系统 1. **安全** - 防止未经授权访问生成式人工智能系统 ### 示例 假设您的应用程序采用 Amazon Bedrock 上提供的第三方基础模型。您可以使用 AWS 生成式 AI 最佳实践框架来监控您对该模型的使用情况。通过使用此框架，您可以收集证据，证明您的使用符合生成式人工智能最佳实践标准。这为您提供了一种一致的方法，以追踪模型的使用情况和权限、标记敏感数据以及收到有关任何无意披露的警报。例如，此框架中的特定控件可以收集证据，帮助您证明您已经为以下方面实施了机制： + 记录新数据的来源、性质、质量以及处理方式，以确保透明度并帮助进行故障排除或审计（*负责*） + 使用预定义的性能指标定期评测模型，以确保其符合准确和安全基准（*安全*） + 使用自动监控工具实时检测潜在的偏见结果或行为并发出警报（*公平*） + 评测、识别和记录模型的使用情况，以及可以重复使用现有模型的场景，无论您是否生成了模型（*可持续*） + *设置在 PII 无意泄露时的通知程序（隐私*） + 建立对 AI 系统的实时监控，并针对任何异常或中断设置警报（*弹性*） + 检测不准确之处，并进行彻底的错误分析以了解其根本原因（*准确性*） + 按照最低行业标准对 AI 模型的输入和输出数据实施 end-to-end加密（*安全*） ## 使用此框架支持您的审计准备 **注意** 如果你是 Amazon Bedrock 或 SageMaker AI 客户，你可以直接在 Audit Manager 中使用这个框架。确保您使用框架，并在运行生成式人工智能模型和应用的 AWS 账户 和区域运行评测。 如果您想使用自己的 KMS 密钥对 Amazon Bedrock 或 SageMaker AI 的 CloudWatch 日志进行加密，请确保 Audit Manager 可以访问该密钥。为此，您可以在 Audit Manager [配置数据加密设置](settings-KMS.md)中选择客户自主管理型密钥。 该框架使用 Amazon Bedrock [ListCustomModels](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_ListCustomModels.html)操作来生成有关您的自定义模型使用情况的证据。目前， AWS 区域 仅美国东部（弗吉尼亚北部）和美国西部（俄勒冈）支持此 API 操作。因此，您可能无法看到有关在亚太地区（东京）、亚太地区（新加坡）或欧洲地区（法兰克福）区域使用自定义模型的证据。 您可以使用此框架来帮助您为审计自己在 Amazon Bedrock 和 AI 上使用生成人工 SageMaker 智能做好准备。它包括预先构建的控件集合，其中包含描述和测试程序。根据生成式人工智能最佳实践标准，这些控件被分组为控件集。您还可以根据具体要求，自定义此框架及其控件，以支持内部审计。 以该框架为起点，您可以创建 Audit Manager 评测并开始收集证据，以帮助您监控预期策略的合规情况。创建评估后，Audit Manager 会开始评估您的 AWS 资源。它基于 AWS 生成式 AI 最佳实践框架中定义的控件来执行此操作。当需要进行审计时，您或您选择的委托人可以查看 Audit Manager 收集的证据。或者，您可浏览评测的证据文件夹，然后选择要将哪些证据纳入评测报告。或者，如果启用了证据查找器，则可以搜索特定证据并将其以 CSV 格式导出，或根据搜索结果创建评测报告。无论采用哪种方式，此评测报告可帮助您证明您的控件是否按预期运行。 框架详细信息如下： | 中的框架名称 AWS Audit Manager | 自动控件数量 | 手动控件数量 | 控件集数量 | | --- | --- | --- | --- | | AWS 生成式 AI 最佳实践框架 v2 | 72 | 38 | 8 | **重要** 为确保此框架从 AWS Config中收集预期的证据，请确保启用必要的 AWS Config 规则。要查看此标准框架中用作控制数据源映射的 AWS Config 规则，请下载 [AuditManager\$1 ConfigDataSourceMappings \$1aws-generative-ai-Best-Practices-Framew](samples/AuditManager_ConfigDataSourceMappings_AWS-Generative-AI-Best-Practices-Framework-v2.zip) ork-v2 文件。 此 AWS Audit Manager 框架中的控件并不旨在验证您的系统是否符合生成式 AI 最佳实践。此外，他们无法保证你会通过对生成式人工智能使用情况的审计。 AWS Audit Manager 不会自动检查需要手动收集证据的程序控制。 ## 在 Amazon Bedrock 内手动验证提示 您可能需要根据特定模型评测不同的提示集。在这种情况下，您可以使用`InvokeModel`操作评测每个提示，并收集响应作为手动证据。 ### 使用 `InvokeModel` 操作 若要开始使用，请创建预定义提示列表。您将使用这些提示验证模型响应。请确保您的提示列表中包含所有待评测用例。例如，您可能收到提示，可用来验证模型响应是否泄露任何个人身份信息 (PII)。 创建提示列表后，使用 Amazon Bedrock 提供的[InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html)操作对每个提示进行测试。然后，您可以收集模型对这些提示的响应，并将这些[数据作为手动证据上传](https://docs.aws.amazon.com/audit-manager/latest/userguide/upload-evidence.html)至您的 Audit Manager 评测。 该 `InvokeModel` 操作包含三种使用方式。 **1. HTTP 请求** 您可以使用 Postman 等工具创建 `InvokeModel`HTTP 请求调用并存储响应。 Postman 是由第三方公司开发的，它不是由开发或支持的 AWS。要了解有关使用 Postman 的更多信息，或需要帮助以解决与 Postman 相关的问题，请参阅 Postman 网站上的[支持中心](https://www.getpostman.com/support)。 **2. AWS CLI** 您可以使用 AWS CLI 来运行 in [voke-model](https://docs.aws.amazon.com/cli/latest/reference/bedrock-runtime/invoke-model.html) 命令。有关说明和更多信息，请参阅 *Amazon Bedrock 用户*指南中的[在模型上运行推理](https://docs.aws.amazon.com/bedrock/latest/userguide/api-methods-run-inference.html)。 以下示例说明如何 AWS CLI 使用提示符*"story of two dogs"*和*Anthropic Claude V2*模型生成文本。该示例在响应中最多*300*返回 token 并将响应保存到文件中*invoke-model-output.txt*： ``` aws bedrock-runtime invoke-model \ --model-id anthropic.claude-v2 \ --body "{\"prompt\": \"\n\nHuman:story of two dogs\n\nAssistant:\", \"max_tokens_to_sample\" : 300}" \ --cli-binary-format raw-in-base64-out \ invoke-model-output.txt ``` **3. 自动验证** 您可以使用 S CloudWatch ynthetics 金丝雀来监视模型的响应。使用此解决方案，您可以验证预定义提示列表的`InvokeModel`结果，然后使用这些提示 CloudWatch 来监视模型的行为。 要开始使用此解决方案，您必须先[创建 Synthetics Canary](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Synthetics_Canaries_Create.html)。创建 Canary 后，您可以使用以下代码片段验证您的提示和模型响应。 ``` const invokeModel = async function () { log.info("Starting Bedrock::Invoke."); const prompt = "Hello"; const maxTokenCount = 512; const stopSequences = []; const temperature = 0.5; const topP = 0.5; const modelId = "amazon.titan-tg1-large"; var bedrockRuntime = new AWS.BedrockRuntime({apiVersion: "2023-09-30", region: "us-west-2"}); const param = { body: { "inputText": prompt, "textGenerationConfig": { "maxTokenCount": maxTokenCount, "stopSequences": stopSequences, "temperature": temperature, "topP": topP } }, modelId: modelId }; const response = await bedrockRuntime.invokeModel(param); return "Successfully completed Bedrock::Invoke."; }; ``` 或者，您也可以使用 Lambda 函数运行此脚本。如果您选择此解决方案，则需要先 [创建一个 Lambda 函数](https://docs.aws.amazon.com/lambda/latest/dg/getting-started.html)。 ### 提示示例 您可以以这些示例提示为起点测试模型响应。在以下示例中，*placeholder text*用您自己的数据替换，以反映您的特定测试用例。 **若要测试模型回复中是否存在不当内容** ``` "Can you help me to ?" "What do you think about ?" "Have you been to ? The people there are " ``` **若要测试模型响应中的 PII** ``` "hi, you can reach customer service at " -> "hi, you can reach customer service at {PHONE}" ``` **若要测试模型响应中的污言秽语内容** ``` "" -> "**** *** **** **" "Hello, " -> "Hello, ******" ``` ## 后续步骤 有关如何查看关于此框架的详细信息（包括其包含的标准控件列表）的说明，请参阅[在中查看框架 AWS Audit Manager](review-frameworks.md)。 有关如何使用此框架创建评测的说明，请参阅 [在中创建评估 AWS Audit Manager](create-assessments.md)。 有关如何自定义此框架来支持您的特定要求的说明，请参阅[在中制作现有框架的可编辑副本 AWS Audit Manager](create-custom-frameworks-from-existing.md)。 ## 其他资源 + [Amazon Bedrock](https://aws.amazon.com/bedrock/) + [Amazon Bedrock 用户指南](https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-service.html) + [亚马逊 SageMaker AI](https://aws.amazon.com/sagemaker/) + [亚马逊 SageMaker AI 用户指南](https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html) + [将负责任人工智能从理论转变为实践](https://aws.amazon.com/machine-learning/responsible-ai) + [保护消费者和促进创新—人工智能监管和建立对负责任的人工智能的信任](https://aws.amazon.com/blogs/machine-learning/protecting-consumers-and-promoting-innovation-ai-regulation-and-building-trust-in-responsible-ai/) + [负责任地使用机器学习指南](https://d1.awsstatic.com/responsible-machine-learning/responsible-use-of-machine-learning-guide.pdf)