View a markdown version of this page

截止日期云架构指南 - 截止日期云

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

截止日期云架构指南

本主题为使用 Deadline Cloud 为您的工作负载设计和构建可靠、安全、高效且经济实惠的渲染农场提供了指导和最佳实践。使用本指导可以帮助您构建稳定、高效的工作负载,从而使您能够专注于创新、降低成本并改善客户体验。

此内容面向首席技术官 (CTO)、架构师、开发人员和操作团队成员。

端到端渲染工作流程需要在流程的多个层面提供解决方案,例如任务生成、资产访问和作业监控。Deadline Cloud 为渲染过程的每一层提供了多种解决方案。通过从每个图层的 Deadline Cloud 选项中进行选择,您可以设计与您的用例相匹配的工作流程。

对于每一层,你都需要决定哪种方法最适合你的用例。这些不是严格的场景定义,也不是使用 Deadline Cloud 的唯一方法。相反,这些是一组高级概念,可帮助您了解Deadline Cloud如何适应您的业务或工作流程。您可以将 Deadline Cloud 工作负载分为以下几层:任务来源、作业提交、应用程序管理、应用程序许可、资产访问、输出管理和工作器基础设施管理。

通常,您可以将一个图层中的任何场景与另一个图层中的任何其他场景混合搭配,但下面指定的特定组合除外。

该图显示了 Deadline Cloud 的不同部分如何协同工作。

Job 来源

任务源是接入点,新作业将进入系统,由 Deadline Cloud 呈现。总体而言,有两个主要的工作来源:人际交互和自动化计算机系统。

交互式工作流程

在这种情况下,艺术家或其他创作角色是Deadline Cloud农场中要处理的作品的主要生成者。通常,这些作业的输出是大型项目或团队的主要产物。他们使用诸如行业标准数字内容创作 (DCC) 工具之类的软件执行工作。他们正在手动向 Deadline Cloud 场提交作业,然后查看输出以进行审查。工作站本身不是由管理的 AWS。

在大多数情况下,这些艺术家在工作负载应用程序和监控层中使用 Deadline Cloud 集成提交者和 Deadline Cloud 监视器。

自动化工作流程

在这种情况下,客户拥有的编程系统是 Deadline Cloud 场中的主要工作生成器。这可能是零售渠道中的资产生成,例如通过三维模型或扫描生成的转盘视频。这可以是自动合成体育用广播图形和球员卡。此场景的主题是,个人不是手动将每份作业提交到 Deadline Cloud,而是作为大型系统的一部分生成作业。

对于自动化作业,使用 Deadline Cloud 集成提交者和 Deadline Cloud 监控器的情况并不常见。通常,任务定义将由您编写的自定义应用程序开发,任务输出将自动流入数字资产管理 (DAM) 系统或媒体资产管理 (MAM) 系统进行批准和分发。

Job 提交

作业使用OpenJobDescription模板提交到 Deadline Cloud。 OpenJobDescription 是一种灵活的开放规范,用于定义可在不同调度系统部署之间移植的批处理作业。作业定义文件描述了作业的参数、作业的步骤、如何根据作业输入对步骤进行参数化,以及将在工作器上运行以执行处理的实际脚本。Workload Submition 的概念是如何创建这些任务定义、由谁创建它们以及如何提交这些定义。

将提交器与 DCC 集成

Deadline Cloud 集成提交器是一款将 Deadline Cloud 与行业标准 DCC 或软件包结合在一起的软件。集成的提交者决定如何将渲染、合成或其他工作负载的数据和配置转换为作业模板,Deadline Cloud 可以理解。许多集成提交者是由Deadline Cloud团队或软件包的创建者创建和维护的,但是如果所需应用程序尚不存在集成提交者,则可以创建和维护自己的提交者。Deadline Cloud 团队支持的 DCC 数量有限。

交互式工作流程通常涉及集成的提交者,但并非总是如此。对于模板化的自动化工作流程,常见的工作流程是美工人员在自己的 DCC 中设置模板作业,然后一次性导出作业捆绑包。此任务包定义了如何以参数化的方式在 Deadline Cloud 上运行该特定类型的作业。此任务包可以集成到自动化工作流程场景中以实现自动化。

自定义任务定义

对于自定义应用程序和工作流程,可以完全控制如何创建这些任务定义并将其提交到 Deadline Cloud。例如,电子商务网站可能会要求卖家上传他们销售的物品的 3D 模型。上传后,电子商务平台可以动态生成任务定义以提交给 Deadline Cloud,从而使用常用光照在公共背景上自动生成转盘动画,以匹配网站上可用的其他 3D 对象。在电子商务平台的开发过程中,软件开发人员将创建任务定义,使用卖家最终提供的参数将其嵌入到电子商务平台中,然后对平台进行编码,以便在平台的产品上传工作流程中提交此作业。

Deadline Cloud 在 github 的示例存储库中提供了许多示例作业定义。

应用程序管理

将作业提交到 Deadline Cloud 并分配给工作人员后,将在该工作人员上执行作业定义中的脚本。在大多数情况下,此脚本将调用应用程序来执行实际处理,例如渲染器、合成、编码、过滤或任何其他计算密集型任务。应用程序管理的概念是确保员工可以使用所需软件的必要版本。

您可以使用自己喜欢的任何软件包管理系统来管理应用程序,但是 Deadline Cloud 提供了许多工具来轻松启用 conda 软件包。Conda 是一个开源、跨平台、与语言无关的软件包管理器和环境管理系统。

服务管理车队 (SMF) 的最后期限 Cloud-managed conda 频道

使用服务管理的队列时,系统会自动设置和配置 Deadline Cloud-managed conda 频道,供您的作业使用。Deadline Cloud 服务在此 conda 频道中提供了许多合作伙伴 DCC 应用程序和渲染。有关更多信息,请参阅 D eadline Cloud 用户指南中的创建队列环境。Deadline Cloud 服务会自动更新这些软件包,无需您进行维护。此 conda 频道仅在使用服务管理车队时可用,而在使用客户管理的车队时不可用。

Self-managed 康达频道

如果您无法使用 Deadline Cloud-managed conda 频道,则必须确定如何在 Deadline Cloud 队列上安装、修补和以其他方式管理应用程序。一种选择是创建一个由您设置和维护的 conda 频道。这将与 Deadline Cloud-managed conda 频道的互操作性最为密切。例如,你可以使用 Deadline c Cloud-managed onda 频道中的 DCC,但要自带包含特定 DCC 插件的软件包。有关此过程的更多信息,请参阅使用 S3 创建 conda 频道

自定义应用程序管理

对于应用程序管理,Deadline Cloud 的要求是,在工作器上执行作业脚本时,应用程序必须在 PATH 中可用。

如果您已经构建和维护 Rez 软件包,则可以使用队列环境从 Rez 存储库安装应用程序。可以在 De AWS adline Cloud GitHub 组织上找到队列环境示例。

如果您已经在客户管理的队列中使用长期使用的工作人员或系统映像管理应用程序,则无需队列环境即可进行应用程序管理。确保应用程序出现在作业用户的路径上并提交作业。

Application licensing

Deadline Cloud 上通常运行的许多工作负载都需要软件供应商的软件许可。这些应用程序通常按席位、每个 CPU 或每台主机进行许可。您有责任确保您在Deadline Cloud上使用第三方软件时遵守第三方许可协议。如果您使用的是开源软件、自定义软件或其他免许可证软件,则无需配置此层。请记住,Deadline Cloud 仅支持渲染许可,不支持工作站许可。

Service-managed 车队和基于使用量的许可

使用 Deadline Cloud 服务托管队列时,系统会自动为支持的软件配置基于使用量的许可 (UBL)。在服务管理队列上运行的作业会自动为支持的应用程序设置环境变量,以指导它们使用 Deadline Cloud 许可证服务器。使用 Deadline Cloud UBL 时,您只需按使用许可应用程序的小时数付费。

Customer-managed 车队和基于使用量的许可

不使用服务托管队列时,Deadline Cloud 基于使用量的许可 (UBL) 也可用。在这种情况下,您将设置 Deadline Cloud 许可端点,这些端点在您选定的 VPC 子网中提供 IP 地址,这些子网提供对 Deadline Cloud 许可服务器的访问权限。在工作人员上配置适当的软件特定环境变量并配置从工作人员到这些许可证端点 IP 地址的网络连接后,工作人员就可以签出和签入受支持软件的许可证。您按小时支付的许可证费用与在服务托管车队中使用 UBL 时相同。

自定义许可

您可能使用不受 Deadline Cloud UBL 支持的应用程序,或者您之前可能有仍然有效的许可证。在这种情况下,您负责配置从您的员工(客户或服务管理)到许可证服务器的网络路径。有关自定义许可的更多信息,请参阅Connect 将服务管理的车队连接到自定义许可服务器

资产访问权限

将作业提交给工作人员并配置应用程序后,必须将该工作人员配置为访问该作业所需的资产数据。这可能是 3D 数据、纹理数据、动画数据、视频帧或工作中使用的任何其他类型的数据。

首先要考虑您的数据当前存储在哪里。这可能位于工作站硬盘、用户协作工具、源代码控制、本地或云端的共享文件系统、Amazon S3 或任意数量的其他位置。

接下来,考虑工作人员访问这些数据所需的条件。这些数据是否仅在您的公司网络上可用? 访问数据需要什么身份或凭证? 数据源是否按预期处理作业的工作人员数量进行扩展,以支持作业?

Job 附件

最简单的资产访问机制是 Deadline Cloud 作业附件。使用任务附件提交任务时,该任务所需的数据将与一份清单文件一起上传到 Amazon S3 存储桶,其中指定任务需要哪些文件。使用作业附件,无需复杂的联网或共享存储设置。文件仅上传一次,因此后续上传的完成速度更快。工作人员处理完任务后,输出数据会上传到 Amazon S3,这样美工人员或其他客户就可以下载了。Job 附件适用于任何规模的车队,并且可以简单快速地装载和使用。

Job 附件并不是所有情况的最佳工具。如果您的数据已开启 AWS,则作业附件会添加您的数据的其他副本,包括相关的传输时间和存储成本。Job 附件要求作业能够在提交时完全指定所需的数据,以便可以上传数据。

要使用任务附件,您的 Deadline Cloud 队列必须具有关联的任务附件存储桶,并且必须使用队列角色来提供对该存储桶的访问权限。默认情况下,Deadline Cloud 集成提交者都支持作业附件。如果您没有使用 Deadline Cloud 集成提交器,则可以通过集成 De adline Cloud python 库,将作业附件与您的自定义软件一起使用。

自定义存储访问权限

如果您不使用作业附件,则有责任确保工作人员可以访问工作所需的数据。Deadline Cloud 提供了许多工具来支持这一点并保持作业的可移植性。如果您已经为艺术家和工作人员提供了共享的网络存储,您更喜欢使用外部服务(例如或出于其他原因) LucidLink,则可能需要使用自定义存储解决方案。

使用存储配置文件对工作站和工作主机上的文件系统进行建模。每个存储配置文件都描述了其中一个系统配置的操作系统和文件系统布局。使用存储配置文件,当使用 Windows 工作站的艺术家提交由Linux工作人员处理的作业时,Deadline Cloud 可确保进行路径映射,以便工作人员可以访问您配置的数据存储。

使用 Deadline Cloud 服务管理的队列时,主机配置脚本VPC 资源端点使工作人员能够直接挂载和访问您的 VPC 中可用的共享存储或其他服务。

Job 监控和输出管理

成功完成提交到 Deadline Cloud 的作业后,个人或流程将下载任务输出,以便在 Deadline Cloud 之外的业务工作流程中使用。任务失败后,作业日志和监控信息有助于诊断问题。

截止日期云监控

Deadline Cloud 监控应用程序可在网络和桌面上使用。该解决方案最适合使用交互式工作流程的工作室,这些工作室使用作业附件进行存储。该监控器仅在使用 IAM 身份中心时支持您。IAM Identity Center 是一种员工身份产品,而不是消费者身份 (B2C) 解决方案,因此它不适用于许多 B2C 场景。

自定义监视器应用程序

如果您想自定义用户的监控体验,或者正在构建 B2C 产品,或者使用 Deadline Cloud 构建高度专业化的系统,则可以选择创建自定义监控应用程序。您可以使用 De AWS adline Cloud API 来创建此自定义应用程序,将整个工作流程的上下文与 Deadline Cloud 概念相结合。例如,您的B2C产品可能有自己的项目概念,用户可以设置该概念,并且您的应用程序可以在同一个界面中嵌套Deadline Cloud作业。

自动监控解决方案

在某些情况下,Deadline Cloud 不需要专用的监控应用程序。这种情况在自动化工作流程中很常见,在这种工作流程中,Deadline Cloud 用于自动渲染管道中的资产,例如体育或新闻的广播图片。在这种情况下,Deadline Cloud API 和 EventBridge 事件用于与外部媒体资产管理系统集成,以进行审批,并将数据移至流程的下一步。

工作人员基础设施管理

Deadline Cloud 队列是一组服务器(工作人员),它们能够处理提交到 Deadline Cloud 队列的作业,是任何 Deadline Cloud 场的核心基础架构。

Service-managed 舰队

在服务管理的队列中,Deadline Cloud 对运行渲染农场的工作主机、操作系统、网络、补丁、自动缩放和其他因素负责。您可以指定所需的最小和最大工作人员数量,以及应用程序所需的系统规格,剩下的就交给 Deadline Cloud。 Service-managed 舰队是唯一可以使用 Deadline Cloud-managed conda 通道轻松管理行业 DCC 应用程序的车队选项。此外,Deadline Cloud UBL 会自动配置服务管理队列。只有使用服务托管队列才能使用成本更低、具有延迟容忍能力的工作负载的 Wait and Save 队列。

Customer-managed 舰队

当您需要对工作人员主机及其环境进行更多控制时,您可以使用客户管理的队列。 Customer-managed 队列最适合在本地使用 Deadline Cloud。要了解更多信息,请参阅创建和使用 Deadline Cloud 客户管理的车队

架构示例

传统制作工作室

传统的制作工作室需要大量的计算、存储和网络基础架构,这些基础架构可以跨越多个物理位置,为渲染工作负载提供服务。每个软件包和供应商都有独特的硬件、软件、网络和许可要求,在解决版本控制、兼容性和资源冲突时必须满足这些要求。

通常对艺术家工作站、渲染节点、网络存储、许可证服务器、作业队列系统、监控工具和资产管理有单独的基础架构要求。工作室通常需要维护多个版本的 DCC 工具、渲染器、插件和自定义工具,同时管理整个渲染农场的复杂许可安排。考虑到开发、质量保证和制作环境,您的工作室基础设施会变得更加复杂。

使用服务托管选项的典型Deadline Cloud部署可通过以下方式解决或减少其中的许多挑战:

  • 通过集成的 DCC 提交者提交交互式工作流程作业

  • 通过 Deadline Cloud-managed conda 渠道管理应用程序

  • Usage-based 为支持的软件自动配置许可

  • 通过工作附件进行资产管理

  • 通过 Deadline 云监控应用程序进行监控

  • 通过服务管理的队列管理基础架构

通过这种方法,美术师可以直接从他们熟悉的 DCC 工具向可扩展的云渲染农场提交作业,而无需管理复杂的基础架构。该服务自动处理软件部署、许可、数据传输和基础架构扩展。艺术家可以通过网页界面或桌面应用程序监控他们的工作,输出内容会自动存储在 Amazon S3 中,便于访问。

通过这种配置,工作室可以在几分钟内创建开发和制作环境,只需为他们使用的计算和许可付费,并且可以专注于创造性工作而不是基础设施管理。服务管理方法为采用云渲染提供了最快的途径,同时保持了艺术家熟悉的工作流程。

该图显示了传统制作工作室如何使用 Deadline Cloud。

云端工作室

现代视觉效果和动画工作室越来越多地将其整个流程转移到云端,包括艺术家工作站。这种方法消除了对本地基础设施的需求,实现了全球协作,并为交互式工作和渲染提供了无缝扩展。但是,它也在管理云资源、确保低延迟访问数据以及将基于云的工作站与渲染农场集成方面带来了新的挑战。

典型的云原生工作室需要采用统一的方法来管理云工作站、共享存储、渲染基础架构以及所有这些组件的软件部署。传统方法通常会导致复杂的手动管理系统,难以在性能、成本和灵活性之间取得平衡。

可以通过以下方式实现云原生工作室的 Deadline Cloud 部署:

  • 通过云工作站上的集成 DCC 提交者进行交互式工作流程作业提交

  • 通过 Deadline Cloud-managed conda 通道管理应用程序渲染节点

  • Usage-based 为支持的软件自动配置许可

  • 使用 FSx for F Windows ile Server 对共享的项目数据进行自定义存储访问

  • 通过 Deadline 云监控应用程序进行监控

  • 使用服务托管队列管理基础架构

这种方法允许艺术家在基于云的工作站上工作,直接访问高性能共享存储,并将作业无缝提交到Deadline Cloud农场。工作室可以使用相同的 conda 通道管理两个工作站和渲染节点之间的软件部署,从而确保一致性并减少维护开销。

此配置的主要优点包括:

  • 与能够从任何地方访问工作站的艺术家进行全球合作

  • 跨工作站和渲染节点的软件环境保持一致

  • High-performance 工作站和渲染节点均可访问共享存储

  • 灵活扩展交互式和批处理计算资源

  • 在云端集中管理所有工作室基础架构

此场景中的存储配置通常包括:

  • FSx for F Windows ile Server 用于存储项目数据,云工作站和 Deadline Cloud 工作人员均可访问

  • Deadline Cloud 中的存储配置文件用于管理工作站和渲染节点之间的路径映射

  • 使用 VPC 资源端点和主机配置脚本在 Deadline Cloud 工作线程上直接挂载 FSx 共享

这种云原生方法允许工作室省去本地基础架构,从而可以快速扩展任何规模的项目,同时保持熟悉的艺术家工作流程。它提供了混合使用服务管理资源和客户管理资源的灵活性,并针对易管理性和特定的性能要求进行了优化。

通过利用云工作站和 Deadline Cloud,工作室可以实现完全集成、全球可访问的制作流程,从小型团队无缝扩展到大型制作。

电子商务自动化

现代电子商务平台需要大规模自动生成资产,才能为数百万个商品提供丰富的产品可视化。传统方法需要大量的基础设施投资才能将大量 3D 模型处理成标准化产品介质,这通常会导致系统配置不足,从而导致处理积压,或者系统过度配置闲置容量。

典型的自动化电子商务工作流程需要处理产品上传处理、3D 模型验证、渲染场管理、输出处理以及与产品信息系统的集成。传统上,管理这些工作流程需要协调多个渲染应用程序、计算资源和数据处理管道,同时确保质量一致并保持大规模成本效益。

可以使用以下方法实现电子商务自动化的 Deadline Cloud 部署:

  • 通过在现有电子商务摄取应用程序中集成自定义 API,自动提交工作流程

  • 为标准化产品可视化量身定制的自定义任务定义

  • 通过 Deadline Cloud-managed conda 渠道管理应用程序

  • Usage-based 为支持的软件自动配置许可

  • 直接与 Amazon S3 集成,用于资产管理

  • 与现有产品管理系统集成的定制监控应用程序

  • Service-managed 用于弹性扩展的舰队

这种方法可以每天处理数千种产品,自动生成标准化的产品可视化效果,例如转盘动画。服务管理的基础架构可自动扩展以满足不断变化的需求,同时通过工作人员重复使用和优化的应用程序部署保持成本效率。

该图显示了自动电子商务工作流程在 Deadline Cloud 中的工作原理。

Whitelabel/OEM/B2C 客户

传统的数字内容创作 (DCC) 软件通常要求用户维护自己的渲染基础架构或在工作站上本地处理渲染,这会导致大量的硬件投资或漫长的等待时间,从而中断创作工作流程。对于软件供应商而言,提供云渲染功能传统上需要构建和维护复杂的基础架构和计费系统。

集成到B2C软件中的Deadline Cloud部署可直接在用户熟悉的界面中实现无缝云渲染。这种集成结合了:

  • DCC 应用程序中嵌入的交互式工作流程作业提交

  • 渲染应用程序 Cloud-managed 部署的最后期限 conda 频道

  • Usage-based 自动配置许可

  • 使用供应商管理的存储通过任务附件进行资产管理

  • 直接集成在 DCC 界面中的自定义监控

  • Service-managed 用户之间共享的舰队

这种方法允许最终用户在软件中单击一下即可将渲染图提交到云端,而无需管理帐户、基础架构或复杂的设置。软件供应商维护一个多租户环境,其中:

  • 用户通过其现有的软件凭据进行身份验证

  • 任务会自动路由到每用户专用的队列

  • 使用 IAM-controlled 存储前缀安全地隔离资产

  • 账单通过供应商的现有系统处理

  • Job 状态和输出直接流回用户的应用程序

共享车队方法通过保持员工队伍的温暖库来确保最佳性能,最大限度地减少启动时间,同时最大限度地提高整个用户群的资源利用率。这种配置允许软件供应商将云渲染作为无缝产品功能提供,而不是需要额外设置或帐户的单独服务。

最终用户将受益于:

  • One-click 从他们熟悉的界面上提交

  • Pay-as-you-go 无需基础架构管理即可定价

  • 通过共享基础架构缩短作业启动时间

  • 自动下载和整理已完成的渲染图

  • 在所有平台上获得一致的体验

这种集成模式使软件供应商能够为其整个用户群提供企业级渲染功能,同时保持其应用程序原生的简单、消费者友好型体验。

该图显示了 B2C 用户可能如何使用 Deadline Cloud。

混合渲染农场

已经在本地运行渲染农场的工作室可以增加云容量来处理峰值工作负载,而无需购买更多硬件。在混合服务器场中,您的本地工作人员作为客户管理的队列运行,您的云端工作人员作为服务托管队列或客户管理的 Amazon EC2 实例队列运行,两个队列共享一个队列。由于不同队列类型的设置各不相同,因此您需要对任务分配、应用程序环境、许可和资产访问进行规划,这样一个队列就可以随时随地工作。有关更多信息,请参阅 将您的本地渲染农场扩展到云端