View a markdown version of this page

將您的內部部署轉譯陣列擴展至雲端 - 截止日期雲端

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

將您的內部部署轉譯陣列擴展至雲端

您已在內部部署執行渲染陣列,而且想要在尖峰需求期間增加容量,而無需購買和維護更多硬體。使用截止日期雲端 AWS (截止日期雲端),您可以將雲端工作者新增至與現場部署工作者相同的陣列,並將任務傳送至任一位置。在高需求期間將溢位工作傳送至雲端通常稱為雲端暴增

混合陣列在一個陣列中結合兩種機群:

  • 您現有的現場部署工作者會以客戶受管機群 (CMF) 的形式執行。您可以控制主機、作業系統和軟體。工作者可以是現場部署伺服器、主機代管設施中的伺服器,或 Amazon Elastic Compute Cloud (Amazon EC2) 執行個體。如需詳細資訊,請參閱建立和使用截止日期 雲端客戶管理的機群

  • 您的雲端容量會以服務受管機群 (SMF) 的形式執行,而 Deadline Cloud 會為您管理工作者主機、擴展和修補。當您需要更多控制時,也可以將雲端容量作為客戶管理的 Amazon EC2 執行個體機群執行。如需詳細資訊,請參閱設定和使用截止日期雲端服務受管機群

Deadline Cloud 透過佇列將工作傳送至您的機群,因此請在擴充陣列之前決定如何組織佇列。由於服務受管機群和客戶受管機群安裝應用程式的方式不同,因此您可以為每個機群類型提供自己的佇列,或在兩種機群類型之間共用一個佇列。如需這兩種方法的比較,請參閱 選擇佇列策略

無論您選擇哪種佇列策略,請規劃以下每個層,讓您的任務在每個機群上正確執行。本主題的其餘部分說明了每個圖層和詳細指示的連結。

下表摘要說明您可以在混合陣列中結合的三種工作者中,每個 layer 的不同之處。您的現場部署工作者和雲端 Amazon EC2 執行個體都是客戶管理的機群,但它們到達資料和網路的方式有所不同,因此資料表會分別列出它們。

Layer 內部部署 (客戶管理的機群) 雲端客戶受管機群 (Amazon EC2) 服務受管機群
工作者主機 您可以佈建和管理自己的硬體、作業系統和修補。 您佈建和管理 Amazon EC2 執行個體。 Deadline Cloud 會管理主機、作業系統和修補。
應用程式 在工作者上預先安裝應用程式,或在 Amazon S3 中使用 conda 頻道。 預先安裝應用程式、將其製作成 Amazon Machine Image(AMI),或使用 Amazon S3 中的 conda 頻道。 從截止日期雲端受管 conda 頻道自動安裝熱門 DCCs。若要提供自訂應用程式,請在 Amazon S3 中使用主機組態指令碼或您自己的 conda 頻道。如需支援的應用程式清單,請參閱支援的軟體
授權 連接 UBL 的授權端點,或連接到您自己的 BYOL 授權伺服器。 連接 UBL 的授權端點,或連接到您自己的 BYOL 授權伺服器。 UBL 會自動設定。對於 BYOL,使用 SSM 將授權連接埠轉送到您的伺服器。
資產存取 使用工作者已掛載的任務附件或共用儲存體。 在您的 VPC 中使用任務附件或共用儲存。 使用任務附件,或使用 VPC 資源端點連接到 VPC 中的共用儲存。
擴展和成本 已修正您擁有的容量。 使用 Amazon EC2 Auto Scaling 群組來隨需求增加和縮減容量。 在您設定的最小和最大工作者計數之間自動擴展。

在機群之間分配任務

當您將佇列與多個機群建立關聯時,Deadline Cloud 會將任務分配到與每個任務相容的機群。排程器會將每個步驟的主機需求與每個機群宣告的工作者功能進行比較,並在符合這些需求的機群上執行該步驟。如需詳細資訊,請參閱在截止日期雲端中排程任務

若要自動平衡機群之間的容量,您可以使用容量管理員範例。它使用 Lambda 函數和 EventBridge 排程器來調整機群工作者計數,同時保留目標總容量。您可以調整相同的模式,以在尖峰需求期間將容量轉移到雲端機群。如需詳細資訊,請參閱使用 管理混合等待和儲存加上 Spot 機群容量 CloudFormation

注意

Deadline Cloud 不提供內建設定,以偏好一個機群而非另一個機群,例如在雲端機群之前填入您的內部部署機群。若要將特定工作導向特定位置,請在每個機群上定義不同的工作者功能,然後針對必須在該位置執行的步驟設定相符的主機需求。若要自動估算機群優先順序,請使用前段所述的容量管理員範例。

選擇佇列策略

服務受管機群和客戶受管機群會以不同的方式安裝和管理應用程式,因此請先決定如何組織佇列,再將機群與它們建立關聯。在服務受管機群上,預設 conda 佇列環境會自動安裝任務請求的 conda 套件。客戶受管機群預設不會安裝 conda 命令,因此相同的佇列環境會導致客戶受管工作者發生錯誤。

您可以透過下列兩種方式之一來解決差異:

  • 為每個機群類型使用個別佇列 (建議) – 將服務受管機群與使用預設 conda 佇列環境的佇列建立關聯,並將客戶受管機群與未使用它的個別佇列建立關聯。每個機群類型都會取得預期的應用程式設定,並避免 conda 錯誤。您可以將每個任務提交至要執行任務之位置的佇列。

  • 跨兩個機群類型共用一個佇列 – 將兩個機群與相同佇列建立關聯,以便截止日期雲端將每個任務分配到任何有可用容量的位置,而不會變更您提交任務的位置。共用佇列需要更多設定,因為您無法使用預設 conda 佇列環境。相反地,您以可在兩種機群類型上運作的方式提供應用程式。當您希望尖峰工作負載自動溢位至雲端時,請選擇共用佇列。

若要在共用佇列上執行應用程式,請在 Amazon Simple Storage Service (Amazon S3) 中建立兩個機群類型的自有 conda 頻道,或直接在客戶管理的工作者上安裝應用程式,並調整佇列環境,讓應用程式出現在任務使用者的路徑上。如需詳細資訊,請參閱使用 S3 建立 conda 頻道使用佇列環境設定任務

兩個機群上的授權應用程式

Deadline Cloud 提供以用量為基礎的授權 (UBL),您也可以使用自己的授權 (BYOL)。這兩個選項都適用於雲端和內部部署工作者。如需概觀,請參閱 將軟體授權與截止日期雲端搭配使用

  • UBL 會在服務受管機群上自動設定。若要在客戶受管機群上使用 UBL,包括現場部署工作者,請連接授權端點。如需詳細資訊,請參閱將客戶受管機群連接至授權端點

  • 若要將現有的授權伺服器與服務受管機群搭配使用,請將授權連接埠從工作者轉送到授權伺服器,或使用 Amazon EC2 Systems Manager (SSM) 進行代理。如需詳細資訊,請參閱將服務受管機群連接至自訂授權伺服器

  • 若要先使用現有的授權,並在耗盡時回到 UBL,請結合 BYOL 和 UBL。如需詳細資訊,請參閱結合 BYOL 和 UBL

讓兩個機群都能存取您的資產

兩個機群都需要存取任務讀取和寫入的資料。Deadline Cloud 支援兩種方法,您可以一起使用它們:

  • 任務連接 – 截止日期 Cloud 會將任務所需的檔案上傳至 Amazon S3,並在之後下載輸出。任務附件不需要共用儲存體設定,並且可以使用任何大小的機群。如果您的資料已存在 AWS,任務附件會新增資料的另一個副本,以及相關的傳輸時間和儲存成本。

  • 共用儲存 – 您的工作者會掛載存放資產的共用檔案系統。為了簡化現場部署和雲端工作者管理資產的方式,您可以使用 VPC 資源端點,將服務受管機群工作者連線到虛擬私有雲端 (VPC) 中的共用儲存體。然後,這兩種機群類型都會讀取和寫入相同的檔案。如需詳細資訊,請參閱使用 VPC 資源端點將 VPC 資源連接至您的 SMF

由於您的內部部署工作站和雲端工作者可以使用不同的作業系統和檔案系統配置,因此請使用儲存設定檔來建立每個組態的模型。儲存描述檔可讓 Deadline Cloud 映射路徑,讓工作者無論在何處提交任務,都能找到資料。如需詳細資訊,請參閱儲存設定檔和路徑映射

將雲端工作者連線至您的網路

雲端工作者通常需要連接在您的 VPC 或內部部署網路中執行的資源,例如共用檔案系統、授權伺服器和資料庫。透過服務受管機群的 VPC 資源端點,您的工作者可以透過使用 VPC Lattice 的私有連線連線到這些資源。如需詳細資訊,請參閱使用 VPC 資源端點將 VPC 資源連接至您的 SMF

若要在服務受管機群工作者上掛載檔案系統或設定其他網路存取,請使用主機組態指令碼。主機組態指令碼會在工作者啟動時以管理員權限執行。如需詳細資訊,請參閱執行具有管理員權限的主機組態指令碼

注意

透過 VPC 資源端點的流量使用網路位址轉譯 (NAT),這並非所有資源都相容。例如,Microsoft Active Directory 無法透過 NAT 連線。

將應用程式與每個機群類型配對

確認您的任務使用的每個數位內容建立 (DCC) 應用程式都可以在這兩種機群類型上執行。在服務受管機群上,截止日期雲端受管 conda 頻道會自動提供熱門 DCCs。對於頻道未提供的應用程式,或針對無法使用頻道的客戶受管工作者,請自行封裝應用程式,如 中所述選擇佇列策略。如需支援的應用程式清單,請參閱AWS 《截止日期雲端使用者指南》中的支援的軟體

控制雲端成本

若要僅在尖峰需求期間支付雲端容量,請在閒置時縮減雲端機群。服務受管機群會在您設定的最小和最大工作者計數之間自動擴展。對於 Amazon EC2 執行個體的客戶受管機群,您可以設定自動擴展,以便機群隨需求成長和縮減。如需詳細資訊,請參閱使用 Amazon EC2 Auto Scaling 群組建立機群基礎設施

如需跨任務提交、應用程式管理、授權、資產存取和工作者基礎設施設計end-to-end截止日期雲端工作流程的指引,請參閱 截止日期雲端架構指引

如需可執行的範例,包括將共用檔案系統連接至服務受管機群的參考範本,請參閱 GitHub 上的 deadline-cloud-samples 儲存庫。