本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
截止日期雲端架構指引
本主題提供使用 Deadline Cloud 為工作負載設計和建置可靠、安全、有效率且符合成本效益渲染陣列的指引和最佳實務。使用此指南可協助您建置穩定且有效率的工作負載,讓您專注於創新、降低成本並改善客戶體驗。
此內容是供首席技術長 (CTO)、架構師、開發人員和營運團隊成員使用。
end-to-end轉譯工作流程需要多個程序層級的解決方案,例如任務產生、資產存取和任務監控。Deadline Cloud 為轉譯程序的每一層提供多個解決方案。透過在每個 layer 中選擇 Deadline Cloud 的選項,您可以設計符合您使用案例的工作流程。
對於每個 layer,您將需要決定哪種方法最適合您的使用案例。這些不是嚴格的案例定義,也不是使用截止日期雲端的唯一方法。反之,這些是一組高階概念,可協助您了解 Deadline Cloud 如何能夠適應您的業務或工作流程。您可以將截止日期雲端工作負載分成下列層級:任務來源、任務提交、應用程式管理、應用程式授權、資產存取、輸出管理和工作者基礎設施管理。
一般而言,您可以將某個 layer 中的任何案例與另一個 layer 中的任何其他案例mix-and-match,但以下指定的特定組合除外。
任務來源
任務來源是新任務將進入系統以供截止日期雲端轉譯的存取點。從高階來看,任務有兩個主要來源:人類互動性和自動化電腦系統。
互動式工作流程
在此案例中,藝術家或其他創意角色是要在截止日期雲端陣列中處理的主要工作產生器。這些任務的輸出通常是大型專案或團隊的主要成品。他們使用產業標準數位內容建立 (DCC) 工具等軟體來執行工作。它們會手動將任務提交至截止日期雲端陣列,並在之後檢視輸出以供檢閱。工作站本身不受 管理 AWS。
在大多數情況下,這些藝術家會在工作負載應用程式和監控層中使用截止日期雲端整合提交者和截止日期雲端監控。
自動化工作流程
在此案例中,客戶擁有的程式設計系統是截止日期雲端陣列中任務的主要產生器。這可以是零售管道中的資產產生,例如從 3D 模型或掃描產生的轉盤影片。這可能是為運動自動合成廣播圖形和玩家卡。此案例的主題是,個人不會手動將每個任務提交至截止日期雲端,而是將任務產生為較大系統的一部分。
使用自動化任務時,Deadline Cloud 整合提交者和 Deadline Cloud 監視器使用較少見。任務定義通常是由您撰寫的自訂應用程式開發,而任務輸出會自動流入數位資產管理 (DAM) 系統或媒體資產管理 (MAM) 系統以進行核准和分發。
任務提交
任務會使用 OpenJobDescription
整合提交者與 DCC
Deadline Cloud 整合提交者是將 Deadline Cloud 與業界標準 DCC 或軟體套件連結在一起的一種軟體。整合式提交者決定如何將轉譯、複合或其他工作負載的資料和組態轉換為任務範本,這是截止日期雲端可以理解的內容。許多整合提交者是由截止日期雲端團隊或軟體套件的建立者建立和維護,但如果所需應用程式尚未有整合提交者,您可以建立和維護自己的提交者。截止日期雲端團隊支援一組有限的 DCCs。
互動式工作流程通常涉及整合提交者,但並非一律如此。對於範本化的自動化工作流程,常見的工作流程是讓藝術家在其 DCC 中設定範本任務,並執行任務套件的一次性匯出。此任務套件定義了如何以參數化方式在截止日期雲端上執行該特定類型的任務。此任務套件可以整合到自動化工作流程案例,以用於自動化。
自訂任務定義
對於自訂應用程式和工作流程,您可以完全控制如何建立這些任務定義並提交至截止日期雲端。例如,電子商務網站可能會要求賣方上傳所販售物件的 3D 模型。在此上傳之後,電子商務平台可以動態產生任務定義,以提交至截止日期雲端,使用通用照明在通用背景上自動產生轉盤動畫,以符合網站上可用的其他 3D 物件。在開發電子商務平台期間,軟體開發人員會建立任務定義、使用賣方最終提供的參數將其嵌入電子商務平台,以及在平台產品上傳工作流程期間編寫平台程式碼以提交此任務。
Deadline Cloud 在 github 上的範例儲存庫
應用程式管理
將任務提交至 Deadline Cloud 並指派給工作者後,任務定義的指令碼會在工作者上執行。在大多數情況下,此指令碼會叫用應用程式來執行實際處理,例如轉譯器、複合、編碼、篩選或任何其他運算密集型任務。應用程式管理是確保工作者可以使用必要版本之必要軟體的概念。
您可以使用任何您喜歡的套件管理系統來管理應用程式,但 Deadline Cloud 提供多種工具,可輕鬆啟用 conda 套件。Conda
服務受管機群 (SMF) 的截止日期雲端受管 conda 通道
使用服務受管機群時,系統會自動設定並設定截止日期的雲端受管 Conda 通道,以供您的任務使用。Deadline Cloud 服務在此 conda 頻道中提供許多合作夥伴 DCC 應用程式和轉譯。如需詳細資訊,請參閱截止日期雲端使用者指南中的建立佇列環境。這些套件由截止日期雲端服務自動保持最新狀態,不需要您進行維護。此 conda 頻道僅在使用服務受管機群時可用,在使用客戶受管機群時無法使用。
自我管理 conda 頻道
如果您無法使用截止日期雲端管理的 conda 頻道,您必須決定如何在截止日期雲端機群上安裝、修補和以其他方式管理應用程式。其中一個選項是建立您設定和維護的 conda 頻道。這將與截止日期雲端管理的 conda 通道最密切地相互操作。例如,您可以從截止日期雲端管理的 conda 頻道使用 DCC,但請自備包含特定 DCC 外掛程式的套件。如需此程序的詳細資訊,請參閱使用 S3 建立 conda 頻道。
自訂應用程式管理
對於應用程式管理,截止日期雲端的要求是在工作者上執行任務指令碼時,應用程式可在 PATH 中使用。
如果您已建置和維護 Rez 套件,您可以使用佇列環境從 Rez 儲存庫安裝應用程式。您可以在AWS 截止日期雲端 GitHub 組織
如果您已在具有長期工作者的客戶受管機群上或系統映像中管理應用程式,則應用程式管理不需要佇列環境。確保應用程式出現在任務使用者的路徑上,並提交任務。
應用程式授權
許多工作負載通常在 Deadline Cloud 上執行,需要軟體廠商的軟體授權。這些應用程式通常獲得每個座位、每個 CPU 或每個主機的授權。您有責任確保在截止日期雲端上使用第三方軟體時遵守第三方授權合約。如果您使用開放原始碼軟體、自訂軟體或其他免授權軟體,則不需要設定此層。請記住,截止日期雲端僅支援轉譯授權,不支援工作站授權。
服務受管機群和以用量為基礎的授權
使用截止日期雲端服務受管機群時,會自動為支援的軟體設定用量型授權 (UBL)。在服務受管機群上執行的任務會自動為支援的應用程式設定環境變數,以指示他們使用截止日期雲端授權伺服器。使用截止日期雲端 UBL 時,您只需支付使用授權應用程式的時數費用。
客戶受管機群和以用量為基礎的授權
不使用服務受管機群時,也可以使用截止日期雲端用量型授權 (UBL)。在此案例中,您將設定截止日期雲端授權端點,在所選 VPC 子網路中提供 IP 地址,以便存取截止日期雲端授權伺服器。在工作者上設定適當的軟體特定環境變數,並設定從工作者到這些授權端點 IP 地址的網路連線後,工作者就可以簽出和簽入支援軟體的授權。在服務受管機群中使用 UBL 時,您每小時需支付相同的授權費用。
自訂授權
您可以使用截止日期雲端 UBL 不支援的應用程式,或者您可能已有仍然有效的預先存在授權。在此案例中,您必須負責設定從工作者 (客戶管理或服務管理) 到授權伺服器的網路路徑。如需自訂授權的詳細資訊,請參閱 將服務受管機群連接至自訂授權伺服器。
資產存取
將任務提交至工作者並設定應用程式後,工作者必須設定為存取任務所需的資產資料。這可以是 3D 資料、紋理資料、動畫資料、影片影格或任務中使用的任何其他類型資料。
從考慮資料目前存放的位置開始。這可能是在工作站硬碟、使用者協作工具、來源控制、內部部署或雲端中的共用檔案系統、Amazon S3 或任何數量的其他位置。
接下來,請考慮工作者存取此資料的必要條件。此資料是否僅在您的公司網路上提供? 存取資料需要哪些身分或登入資料? 資料來源是否經過擴展,以使用您預期處理任務的工作者數量來支援任務?
任務附件
從資產存取機制開始的最簡單方法是截止日期雲端任務附件。使用任務附件提交任務時,任務所需的資料會上傳到 Amazon S3 儲存貯體,以及指定任務所需檔案的資訊清單檔案。使用任務附件時,不需要複雜的聯網或共用儲存設定。檔案只會上傳一次,因此後續上傳會更快完成。工作者完成處理任務後,輸出資料會上傳到 Amazon S3,讓藝術家或其他用戶端可以下載。任務連接可為任何大小的機群擴展規模,並可輕鬆快速地加入和使用。
任務連接並非適用於所有情況的最佳工具。如果您的資料已開啟 AWS,則任務附件會新增資料的額外副本,包括相關的傳輸時間和儲存成本。任務附件要求任務可以完整指定提交時所需的資料,以便上傳資料。
若要使用任務附件,您的截止日期雲端佇列必須具有相關聯的任務附件儲存貯體,而且佇列角色必須用來提供該儲存貯體的存取權。根據預設,截止日期雲端整合提交者都支援任務附件。如果您未使用截止日期雲端整合提交者,您可以透過整合截止日期雲端 Python 程式庫
自訂儲存存取
如果您不使用任務附件,您必須負責確保工作者可以存取任務所需的資料。Deadline Cloud 提供多種工具來支援這項功能,並讓任務保持可攜式。當您已有藝術家和工作者的共用網路儲存體時,您可能想要使用自訂儲存解決方案,您偏好使用外部服務,例如 LucidLink,或其他原因。
使用儲存描述檔來建立工作站和工作者主機上的檔案系統模型。每個儲存設定檔都會描述其中一個系統組態的作業系統和檔案系統配置。使用儲存設定檔,當使用 Windows 工作站的藝術家提交工作者處理的任務時Linux,Deadline Cloud 會確保路徑映射發生,以便工作者可以存取您設定的資料儲存體。
使用截止日期雲端服務受管機群時,主機組態指令碼和 VPC 資源端點可讓工作者直接掛載和存取 VPC 中可用的共用儲存體或其他服務。
任務監控和輸出管理
成功完成提交至截止日期雲端的任務後,人員或程序將下載任務輸出,以在截止日期雲端之外的業務工作流程中使用。任務失敗後,任務日誌和監控資訊有助於診斷問題。
截止日期雲端監視器
Deadline Cloud Monitor 應用程式可在 Web 和桌面上使用。此解決方案最適合在各種 DCCs 中使用互動式工作流程的工作室,並使用任務附件進行儲存。監視器僅在使用 IAM Identity Center 時支援您。IAM Identity Center 是人力身分產品,而不是消費者身分 (B2C) 解決方案,因此不適用於許多 B2C 案例。
自訂監控應用程式
如果您想要自訂使用者的監控體驗,您要建置 B2C 產品,或使用您選擇建立自訂監控應用程式的截止日期雲端建置高度專業化的系統。您可以使用AWS 截止日期雲端 API 來建立此自訂應用程式,將整體工作流程的內容與截止日期雲端概念結合在一起。例如,您的 B2C 產品可能有自己的專案概念,使用者可設定此概念,而您的應用程式可在相同的界面中巢狀確定期限雲端任務。
自動化監控解決方案
在某些情況下,截止日期雲端不需要專用監控應用程式。此案例在自動化工作流程中很常見,其中 Deadline Cloud 用於自動轉譯管道中的資產,例如運動或新聞的廣播圖形。在此案例中,截止日期雲端 API 和 EventBridge 事件用於與外部媒體資產管理系統整合,以進行核准,並將資料移至程序的下一個步驟。
工作者基礎設施管理
截止日期雲端機群是一組伺服器 (工作者),能夠處理提交至截止日期雲端佇列的任務,並且是任何截止日期雲端陣列的核心基礎設施。
服務受管機群
在服務受管機群中,Deadline Cloud 負責工作者主機、作業系統、聯網、修補、自動擴展和執行轉譯陣列的其他因素。您可以指定所需的工作者數量下限和上限,以及應用程式所需的系統規格,而 Deadline Cloud 會執行其餘操作。服務受管機群是唯一可以使用截止雲端受管 Conda 通道來輕鬆管理產業 DCC 應用程式的機群選項。此外,截止日期雲端 UBL 會自動設定服務受管機群。等待並儲存機群以降低成本、延遲容錯的工作負載,只能使用服務管理的機群。
客戶管理的機群
當您需要更多控制工作者主機及其環境時,您可以使用客戶受管機群。客戶管理的機群最適合在內部部署使用截止日期雲端。如需詳細資訊,請參閱 建立和使用截止日期 雲端客戶管理的機群。
範例架構
傳統生產工作室
傳統生產工作室需要大量的運算、儲存和聯網基礎設施,這些基礎設施可以跨越多個實體位置,以便為渲染工作負載提供服務。每個個別軟體套件和廠商都有唯一的硬體、軟體、聯網和授權需求,在解決版本控制、相容性和資源衝突時必須符合這些需求。
對於藝術家工作站、轉譯節點、網路儲存體、授權伺服器、任務佇列系統、監控工具和資產管理,有個別的基礎設施需求是很常見的。Studio 通常需要維護多個版本的 DCC 工具、轉譯器、外掛程式和自訂工具,同時管理整個轉譯陣列的複雜授權安排。當您考慮開發、品質保證和生產環境時,您的 Studio 基礎設施會變得更加複雜。
使用服務受管選項的典型截止日期雲端部署可解決或減少下列許多挑戰:
透過整合式 DCC 提交者提交互動式工作流程任務
透過截止日期雲端受管 Conda 通道進行應用程式管理
針對支援的軟體自動設定以用量為基礎的授權
透過任務附件進行資產管理
透過截止日期雲端監控應用程式進行監控
透過服務受管機群進行基礎設施管理
透過這種方法,藝術家可以直接從熟悉的 DCC 工具提交任務到可擴展的雲端轉譯陣列,而無需管理複雜的基礎設施。服務會自動處理軟體部署、授權、資料傳輸和基礎設施擴展。藝術家可以透過 Web 界面或桌面應用程式監控其任務,且輸出會自動存放在 Amazon S3 中,以便於存取。
透過此組態,工作室可以在幾分鐘內建立開發和生產環境,只需支付其使用的運算和授權費用,並專注於創意工作,而不是基礎設施管理。服務受管方法提供採用雲端轉譯的最快路徑,同時為藝術家維持熟悉的工作流程。
雲端中的 Studio
現代視覺效果和動畫工作室逐漸將整個管道移至雲端,包括藝術家工作站。這種方法消除了現場部署基礎設施的需求,可實現全球協作,並為互動式工作和渲染提供無縫擴展。不過,它還在管理雲端資源、確保低延遲存取資料,以及整合雲端工作站與轉譯陣列方面帶來新的挑戰。
典型的雲端原生工作室需要統一方法來管理所有這些元件的雲端工作站、共用儲存、轉譯基礎設施和軟體部署。傳統方法通常會導致複雜的手動受管系統難以平衡效能、成本和彈性。
雲端原生工作室的截止日期雲端部署可以使用下列方式實作:
透過雲端工作站上的整合式 DCC 提交者提交互動式工作流程任務
透過截止日期雲端受管 Conda 通道轉譯節點進行應用程式管理
針對支援的軟體自動設定以用量為基礎的授權
使用 FSx for Windows File Server 進行共用專案資料的自訂儲存存取
透過截止日期雲端監控應用程式進行監控
使用服務受管機群進行基礎設施管理
這種方法可讓藝術家在可直接存取高效能共用儲存的雲端型工作站上工作,並將任務無縫提交至截止日期雲端陣列。Studio 可以使用相同的 conda 通道管理跨工作站和轉譯節點的軟體部署,以確保一致性並減少維護開銷。
此組態的主要優點包括:
與能夠從任何地方存取工作站的藝術家進行全球協作
跨工作站和轉譯節點的一致軟體環境
工作站和轉譯節點皆可存取的高效能共用儲存
彈性擴展互動式和批次運算資源
集中管理雲端中的所有 Studio 基礎設施
在此案例中的儲存組態通常涉及:
專案資料的 FSx for Windows File Server,可供雲端工作站和截止日期雲端工作者存取
截止日期雲端中的儲存描述檔,用於管理工作站和轉譯節點之間的路徑映射
使用 VPC 資源端點和主機組態指令碼,在截止日期的雲端工作者上直接掛載 FSx 共用
這種雲端原生方法可讓工作室消除內部部署基礎設施,讓任何規模的專案都能快速擴展,同時維持熟悉的藝術家工作流程。它提供了靈活地使用服務受管和客戶受管資源的組合,優化以實現易於管理和特定效能要求。
透過利用雲端工作站與截止日期雲端,工作室可以實現完全整合、全球可存取的生產管道,從小型團隊無縫擴展到大型生產。
ECommerce自動化
現代電子商務平台需要大規模自動化資產產生,才能在數百萬個項目中提供豐富的產品視覺化。傳統方法需要大量的基礎設施投資,才能將大量 3D 模型處理為標準化產品媒體,這通常會導致系統佈建不足,進而建立處理待處理項目或系統過度佈建且容量閒置。
典型的自動化電子商務工作流程需要處理產品上傳處理、3D 模型驗證、轉譯陣列管理、輸出處理,以及與產品資訊系統的整合。傳統上,管理這些工作流程需要協調多個轉譯應用程式、運算資源和資料處理管道,同時確保一致的品質和維護大規模的成本效益。
電子商務自動化的截止日期雲端部署可以使用下列方式實作:
透過現有電子商務擷取應用程式中的自訂 API 整合提交自動化工作流程任務
針對標準化產品視覺化量身打造的自訂任務定義
透過截止日期雲端受管 Conda 通道進行應用程式管理
針對支援的軟體自動設定以用量為基礎的授權
資產管理的直接 Amazon S3 整合
與現有產品管理系統整合的自訂監控應用程式
用於彈性擴展的服務受管機群
這種方法可以每天處理數千種產品,自動產生標準化產品視覺化,例如轉盤動畫。服務受管基礎設施會自動擴展以滿足可變需求,同時透過工作者重複使用和最佳化應用程式部署來維持成本效益。
Whitelabel/OEM/B2C 客戶
傳統數位內容建立 (DCC) 軟體通常要求使用者在其工作站上維護自己的渲染基礎設施或程序,導致大量硬體投資或長時間等待,進而中斷創意工作流程。對於軟體供應商,提供雲端轉譯功能,傳統上需要建立和維護複雜的基礎設施和計費系統。
整合到 B2C 軟體的截止日期雲端部署,可直接在使用者熟悉的界面中實現無縫雲端轉譯。此整合結合了:
DCC 應用程式中內嵌的互動式工作流程任務提交
轉譯應用程式部署的截止日期雲端管理 conda 通道
自動設定以用量為基礎的授權
透過具有廠商受管儲存的任務附件進行資產管理
直接整合在 DCC 界面中的自訂監控
跨使用者共用的服務受管機群
此方法可讓最終使用者從軟體內按一下,將轉譯提交至雲端,而無需管理帳戶、基礎設施或複雜的設定。軟體廠商維護多租戶環境,其中:
使用者透過現有的軟體登入資料進行身分驗證
任務會自動路由到每個使用者的專用佇列
使用 IAM 控制的儲存字首安全地隔離資產
帳單是透過廠商的現有系統處理
任務狀態和輸出會直接串流回使用者的應用程式
共用機群方法透過維護工作者的暖集區、將啟動時間降至最低,同時將整個使用者群的資源使用率最大化,來確保最佳效能。此組態可讓軟體廠商提供雲端轉譯作為無縫的產品功能,而不是需要額外設定或帳戶的獨立服務。
最終使用者受益於:
從熟悉的界面一鍵提交
無基礎設施管理Pay-as-you-go定價
透過共用基礎設施加快任務啟動時間
已完成轉譯的自動下載和組織
跨所有平台的一致體驗
此整合模式可讓軟體廠商為其整個使用者群提供企業級渲染功能,同時維持簡單、易於取用的體驗,而這種體驗會讓他們的應用程式原生。
混合轉譯陣列
已在現場部署執行渲染陣列的 Studio 可以新增雲端容量來處理尖峰工作負載,而無需購買更多硬體。在混合陣列中,您的現場部署工作者會以客戶受管機群的形式執行,您的雲端工作者會以服務受管機群或客戶受管的 Amazon EC2 執行個體機群執行,且兩個機群都會共用佇列。由於設定會因機群類型而有所不同,因此您會規劃任務分佈、應用程式環境、授權和資產存取,讓一個佇列可在任何地方運作。如需詳細資訊,請參閱將您的內部部署轉譯陣列擴展至雲端。