View a markdown version of this page

将您的本地渲染农场扩展到云端 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将您的本地渲染农场扩展到云端

您已经在本地运行渲染农场,并且希望在需求高峰期获得额外容量,而无需购买和维护更多硬件。借助 De AWS adline Cloud(Deadline Cloud),您可以将云端工作人员添加到与本地工作人员相同的服务器场中,并将作业发送到任一地点。在需求旺盛的时期,向云端发送溢出工作通常被称为云爆发

混合农场将两种车队组合在一个农场中:

  • 您现有的本地员工作为客户管理的车队 (CMF) 运行。您可以控制主机、操作系统和软件。工作人员可以是本地服务器、托管设施中的服务器或亚马逊弹性计算云 (Amazon EC2) 实例。有关更多信息,请参阅 创建和使用 Deadline Cloud 客户管理的车队

  • 您的云容量以服务托管队列 (SMF) 的形式运行,Deadline Cloud 在其中为您管理工作主机、扩展和修补。当您需要更多控制时,您还可以将云容量作为客户管理的 Amazon EC2 实例队列运行。有关更多信息,请参阅 配置和使用 Deadline Cloud 服务管理的舰队

Deadline Cloud 通过队列将工作发送给您的车队,因此请在扩展农场之前决定如何组织队列。由于服务管理的队列和客户管理的队列安装应用程序的方式不同,因此您可以为每种队列类型提供自己的队列,或者在两种队列类型之间共享一个队列。有关这两种方法的比较,请参见选择队列策略

无论你选择哪种队列策略,都要为以下每个层做好计划,这样你的任务才能在每个队列上正常运行。本主题的其余部分描述了每个图层并提供了详细说明的链接。

下表汇总了在混合农场中可以组合的三种工作人员中每层的不同之处。您的本地工作人员和您的云端 Amazon EC2 实例都是客户管理的队列,但它们在访问您的数据和网络的方式上有所不同,因此下表分别列出了它们。

On-premises (客户管理的车队) 云端客户托管队列 (Amazon EC2) Service-managed 舰队
工作人员主机 您可以配置和管理自己的硬件、操作系统和修补程序。 您可以预置和管理 Amazon EC2 实例。 Deadline Cloud 管理主机、操作系统和补丁。
应用程序 在您的工作人员上预安装应用程序,或者在 Amazon S3 中使用 conda 频道。 在 Amazon S3 中预安装应用程序,将它们烘焙到 Amazon Machine Image (AMI) 中,或者使用 conda 通道。 自动安装来自 Deadline c Cloud-managed onda 频道的常用 DCC。要提供自定义应用程序,请在 Amazon S3 中使用主机配置脚本或您自己的 conda 频道。有关支持的应用程序列表,请参阅支持的软件
许可 连接 UBL 的许可证端点,或者连接您自己的许可证服务器以获取 BYOL。 连接 UBL 的许可证端点,或者连接您自己的许可证服务器以获取 BYOL。 UBL 是自动配置的。对于 BYOL,请使用 SSM 将许可证端口转发到您的服务器。
资产访问权限 使用作业附件或工作人员已安装的共享存储。 在您的 VPC 中使用任务附件或共享存储。 使用任务附件,或者使用 VPC 资源终端节点连接到 VPC 中的共享存储。
扩展和成本 您拥有的固定容量。 使用 Amazon EC2 Auto Scaling 组根据需求增加和缩小容量。 在您设置的最小和最大工作人员数量之间自动缩放。

在车队中分配工作

当您将一个队列与多个队列关联时,Deadline Cloud 会在与每个任务兼容的队列之间分配任务。调度器将每个步骤的主机要求与每个队列声明的工作人员能力进行比较,然后在满足这些要求的队列上运行该步骤。有关更多信息,请参阅 在截止日期云中安排作业

要在车队之间自动平衡容量,您可以使用容量管理器示例。它使用 Lambda 函数和 EventBridge 调度程序来调整车队工作人员人数,同时保持目标总容量。您可以调整相同的模式,在需求高峰期将容量转移到您的云舰队。有关更多信息,请参阅 管理混合 “等着保存” 和 Spot 队列容量 CloudFormation

注意

Deadline Cloud 不提供优先选择一个队列而不是另一个队列的内置设置,例如先填充本地队列,然后再填满云队列。要将特定工作引导到特定地点,请在每个队列上定义不同的工作人员能力,然后为必须在该位置运行的步骤设置匹配的主机要求。要自动估算队列优先级,请使用前一段所述的容量管理器示例。

选择队列策略

Service-managed 队列和客户管理的队列以不同的方式安装和管理应用程序,因此在将队列与队列关联之前,请先决定如何组织队列。在服务管理的队列上,默认 conda 队列环境会自动安装作业请求的 conda 软件包。 Customer-managed 默认情况下,队列没有安装 conda 命令,因此相同的队列环境会导致客户管理的工作人员出错。

您可以通过以下两种方式之一来解决差异:

  • 为每种队列类型使用单独的队列(推荐)— 将您的服务管理队列与使用默认 conda 队列环境的队列相关联,并将您的客户管理的队列与不使用该队列的单独队列相关联。每种舰队类型都会获得预期的应用程序设置,并且可以避免 conda 错误。您可以将每个作业提交到要运行该作业的位置的队列中。

  • 在两种队列类型中共享一个队列 — 将两个队列与同一个队列相关联,这样 Deadline Cloud 就可以将每个任务分配到任何有可用容量的位置,而无需更改提交任务的位置。共享队列需要更多的设置,因为您无法使用默认的 conda 队列环境。相反,您提供应用程序的方式可以同时适用于两种队列类型。当您希望峰值工作负载自动溢出到云端时,请选择共享队列。

要在共享队列上运行应用程序,请在 Amazon Simple Storage Service (Amazon S3) Simple Storage Service 中创建两种队列类型都使用的 conda 通道,或者直接在客户管理的工作程序上安装应用程序并调整队列环境,使应用程序显示在任务用户的路径上。有关更多信息,请参阅使用 S3 创建 conda 频道使用队列环境配置作业

两支车队的许可证申请

Deadline Cloud 提供基于使用量的许可 (UBL),您也可以自带许可证 (BYOL)。这两个选项都适用于云端和本地工作人员。有关概述,请参阅在截止日期云中使用软件许可证

让两支舰队都能访问你的资产

两个队列都需要访问您的作业读取和写入的数据。Deadline Cloud 支持两种方法,你可以将它们一起使用:

  • 任务附件 — Deadline Cloud 将任务所需的文件上传到 Amazon S3,然后下载输出。Job 附件不需要共享存储设置,并且可以与任何规模的队列一起使用。如果您的数据已经存在 AWS,则作业附件会添加另一份数据副本,以及相关的传输时间和存储成本。

  • 共享存储 — 您的工作人员会安装一个用于存放您的资产的共享文件系统。为了简化本地和云工作人员管理资产的方式,您可以使用 VPC 资源终端节点将服务管理的车队工作人员连接到虚拟私有云 (VPC) 中的共享存储。然后,两种舰队类型都读取和写入相同的文件。有关更多信息,请参阅 使用 VPC 资源终端节点将 VPC 资源连接到您的 SMF

由于您的本地工作站和云工作者可以使用不同的操作系统和文件系统布局,因此请使用存储配置文件对每种配置进行建模。存储配置文件允许 Deadline Cloud 映射路径,这样无论作业提交到哪里,工作人员都可以找到数据。有关更多信息,请参阅存储配置文件和路径映射

将云端工作人员连接到您的网络

云工作人员通常需要访问在您的 VPC 或本地网络中运行的资源,例如共享文件系统、许可服务器和数据库。借助服务托管队伍的 VPC 资源终端节点,您的员工可以通过使用 VPC Lattice 的私有连接连接到这些资源。有关更多信息,请参阅 使用 VPC 资源终端节点将 VPC 资源连接到您的 SMF

要在服务管理的舰队工作器上装载文件系统或配置其他网络访问权限,请使用主机配置脚本。当工作器启动时,主机配置脚本以管理员权限运行。有关更多信息,请参阅 使用管理员权限运行主机配置脚本

注意

通过 VPC 资源终端节点的流量使用网络地址转换 (NAT),这与所有资源不兼容。例如,微软 Active Directory 无法通过 NAT 进行连接。

将应用程序与每种车队类型相匹配

确认您的作业使用的每个数字内容创作 (DCC) 应用程序都可以在两种机群类型上运行。在服务管理的舰队中,Deadline Cloud-managed conda 频道会自动提供热门的 DCC。对于渠道不提供的应用程序,或者对于无法使用该频道的客户管理的工作人员,请按照中所选择队列策略述自行打包应用程序。有关支持的应用程序列表,请参阅 De AWS adline Cloud 用户指南中的支持的软件

控制云成本

要仅在需求高峰期为云容量付费,请在云队列处于闲置状态时缩小规模。 Service-managed 舰队会在您设置的最小和最大工作人员数量之间自动缩放。对于由客户管理的 Amazon EC2 实例队列,您可以配置自动扩展,以便队列随需求而增长和缩小。有关更多信息,请参阅 使用 Amazon EC2 Auto Scaling 组创建队列基础设施

有关设计跨作业提交、应用程序管理、许可、资产访问和工作人员基础设施的端到端 Deadline Cloud 工作流程的指导,请参阅截止日期云架构指南

有关可运行的示例,包括将共享文件系统连接到服务管理队列的参考模板,请参阅上的 de ad line-cloud-samples 存储库。 GitHub