View a markdown version of this page

オンプレミスのレンダーファームをクラウドに拡張する - Deadline クラウド

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

オンプレミスのレンダーファームをクラウドに拡張する

すでにレンダーファームをオンプレミスで実行しており、需要のピーク時にハードウェアを購入して維持することなく、容量を増やしたいと考えています。 AWS Deadline Cloud (Deadline Cloud) を使用すると、クラウドワーカーをオンプレミスワーカーと同じファームに追加し、どちらの場所にもジョブを送信できます。需要の高い期間にオーバーフロー作業をクラウドに送信することは、多くの場合、クラウドバーストと呼ばれます。

ハイブリッドファームは、2 種類のフリートを 1 つのファームにまとめます。

  • 既存のオンプレミスワーカーは、カスタマーマネージドフリート (CMF) として実行されます。ホスト、オペレーティングシステム、ソフトウェアを制御します。ワーカーは、オンプレミスサーバー、コロケーション施設のサーバー、または Amazon Elastic Compute Cloud (Amazon EC2) インスタンスです。詳細については、「Deadline Cloud カスタマーマネージドフリートを作成して使用する」を参照してください。

  • クラウド容量はサービスマネージドフリート (SMF) として実行され、Deadline Cloud がワーカーのホスト、スケーリング、パッチ適用を管理します。さらに制御する必要がある場合は、Amazon EC2 インスタンスのカスタマーマネージドフリートとしてクラウド容量を実行することもできます。詳細については、「Deadline Cloud のサービスマネージドフリートを設定して使用する」を参照してください。

Deadline Cloud はキューを介してフリートに作業を送信するため、ファームを拡張する前にキューを整理する方法を決定します。サービスマネージドフリートとカスタマーマネージドフリートではアプリケーションのインストールが異なるため、各フリートタイプに独自のキューを付与するか、両方のフリートタイプで 1 つのキューを共有できます。2 つのアプローチの比較については、「」を参照してくださいキュー戦略を選択する

選択したキュー戦略にかかわらず、ジョブがすべてのフリートで正しく実行されるように、次の各レイヤーを計画します。このトピックの残りの部分では、各レイヤーと詳細な手順へのリンクについて説明します。

次の表は、ハイブリッドファームで組み合わせることができる 3 種類のワーカー間で各レイヤーがどのように異なるかをまとめたものです。オンプレミスワーカーとクラウド Amazon EC2 インスタンスはどちらもカスタマーマネージドフリートですが、データとネットワークに到達する方法が異なるため、表に個別にリストされています。

レイヤー オンプレミス (カスタマーマネージドフリート) クラウドカスタマーマネージドフリート (Amazon EC2) サービスマネージドフリート
ワーカーホスト 独自のハードウェア、オペレーティングシステム、パッチ適用をプロビジョニングおよび管理します。 Amazon EC2 インスタンスをプロビジョニングおよび管理します。 Deadline Cloud は、ホスト、オペレーティングシステム、パッチ適用を管理します。
アプリケーション ワーカーにアプリケーションをプリインストールするか、Amazon S3 で conda チャネルを使用します。 アプリケーションをプリインストールするか、 Amazon Machine Image (AMI) にベイクするか、Amazon S3 で conda チャネルを使用します。 Deadline クラウドマネージド conda チャネルから一般的な DCCs を自動的にインストールします。カスタムアプリケーションを提供するには、Amazon S3 でホスト設定スクリプトまたは独自の conda チャネルを使用します。サポートされているアプリケーションのリストについては、「サポートされているソフトウェア」を参照してください。
ライセンス UBL 用のライセンスエンドポイントを接続するか、BYOL 用の独自のライセンスサーバーに接続します。 UBL 用のライセンスエンドポイントを接続するか、BYOL 用の独自のライセンスサーバーに接続します。 UBL は自動的に設定されます。BYOL の場合は、SSM を使用してライセンスポートをサーバーに転送します。
アセットアクセス ジョブアタッチメント、またはワーカーが既にマウントしている共有ストレージを使用します。 VPC でジョブアタッチメントまたは共有ストレージを使用します。 ジョブアタッチメントを使用するか、VPC リソースエンドポイントを使用して VPC の共有ストレージに接続します。
スケーリングとコスト 所有している容量を修正しました。 Amazon EC2 Auto Scaling グループを使用して、需要に応じて容量を増減します。 設定したワーカー数の最小値と最大値の間で自動的にスケーリングします。

フリート間でジョブを分散する

キューを複数のフリートに関連付けると、Deadline Cloud は各ジョブと互換性のあるフリートにジョブを分散します。スケジューラは、各ステップのホスト要件と各フリートが宣言するワーカー機能を比較し、それらの要件を満たすフリートでステップを実行します。詳細については、「Deadline Cloud でジョブをスケジュールする」を参照してください。

フリート間で容量を自動的に調整するには、キャパシティマネージャーのサンプルを使用できます。Lambda 関数と EventBridge スケジューラを使用して、ターゲットの合計容量を保持しながらフリートワーカーの数を調整します。需要のピーク時に容量をクラウドフリートにシフトするように、同じパターンを適応させることができます。詳細については、「を使用してハイブリッド Wait and Save とスポットフリートの容量を管理する CloudFormation」を参照してください。

注記

Deadline Cloud には、クラウドフリートの前にオンプレミスフリートを満たすなど、あるフリートを別のフリートよりも優先する組み込み設定はありません。特定の作業を特定の場所に誘導するには、各フリートで個別のワーカー機能を定義し、その場所で実行する必要があるステップで一致するホスト要件を設定します。フリートの優先順位付けを自動的に近づけるには、前の段落で説明したキャパシティマネージャーのサンプルを使用します。

キュー戦略を選択する

サービスマネージドフリートとカスタマーマネージドフリートでは、アプリケーションのインストールと管理が異なるため、フリートを関連付ける前にキューを整理する方法を決定します。サービスマネージドフリートでは、デフォルトの conda キュー環境は、ジョブがリクエストする conda パッケージを自動的にインストールします。カスタマーマネージドフリートにはデフォルトで conda コマンドがインストールされていないため、同じキュー環境ではカスタマーマネージドワーカーにエラーが発生します。

この違いは、次の 2 つの方法のいずれかで解決できます。

  • フリートタイプごとに個別のキューを使用する (推奨) – サービスマネージドフリートをデフォルトの conda キュー環境を使用するキューに関連付け、カスタマーマネージドフリートをそれを使用しない別のキューに関連付けます。各フリートタイプは、想定されるアプリケーションセットアップを取得し、conda エラーを回避します。ジョブを実行する場所のキューに各ジョブを送信します。

  • 両方のフリートタイプで 1 つのキューを共有する – 両方のフリートを同じキューに関連付けて、Deadline Cloud がジョブの送信先を変更することなく、各ジョブを使用可能なキャパシティーがある場所に分散できるようにします。デフォルトの conda キュー環境を使用できないため、共有キューの設定が増えます。代わりに、両方のフリートタイプで動作する方法でアプリケーションを提供します。ピークワークロードを自動的にクラウドにオーバーフローさせる場合は、共有キューを選択します。

共有キューでアプリケーションを実行するには、両方のフリートタイプが使用する Amazon Simple Storage Service (Amazon S3) で独自の conda チャネルを作成するか、カスタマーマネージドワーカーに直接アプリケーションをインストールし、アプリケーションがジョブユーザーのパスに表示されるようにキュー環境を調整します。詳細については、「S3 を使用して conda チャネルを作成する」および「キュー環境を使用してジョブを設定する」を参照してください。

両方のフリートでアプリケーションをライセンスする

Deadline Cloud は、使用量ベースのライセンス (UBL) を提供し、独自のライセンス (BYOL) を導入することもできます。どちらのオプションもクラウドワーカーとオンプレミスワーカーで動作します。概要については、「Deadline Cloud でのソフトウェアライセンスの使用」を参照してください。

両方のフリートにアセットへのアクセスを許可する

どちらのフリートも、ジョブが読み書きするデータにアクセスする必要があります。Deadline Cloud は 2 つのアプローチをサポートしており、それらを一緒に使用できます。

  • ジョブの添付ファイル – Deadline Cloud は、ジョブに必要なファイルを Amazon S3 にアップロードし、後で出力をダウンロードします。ジョブアタッチメントは、共有ストレージのセットアップを必要とせず、あらゆるサイズのフリートで動作します。データがすでに存在する場合 AWS、ジョブアタッチメントは、関連する転送時間とストレージコストとともに、データの別のコピーを追加します。

  • 共有ストレージ – ワーカーは、アセットを保持する共有ファイルシステムをマウントします。オンプレミスワーカーとクラウドワーカーがアセットを管理する方法を簡素化するために、サービスマネージドフリートワーカーを VPC リソースエンドポイントを使用して仮想プライベートクラウド (VPC) の共有ストレージに接続できます。次に、両方のフリートタイプが同じファイルを読み書きします。詳細については、「VPC リソースエンドポイントを使用して VPC リソースを SMF に接続する」を参照してください。

オンプレミスのワークステーションとクラウドワーカーは異なるオペレーティングシステムとファイルシステムレイアウトを使用できるため、ストレージプロファイルを使用して各設定をモデル化します。ストレージプロファイルを使用すると、Deadline Cloud はパスをマッピングできるため、ワーカーはジョブの送信先に関係なくデータを検索できます。詳細については、「ストレージプロファイルとパスマッピング」を参照してください。

クラウドワーカーをネットワークに接続する

クラウドワーカーは、多くの場合、共有ファイルシステム、ライセンスサーバー、データベースなど、VPC またはオンプレミスネットワークで実行されるリソースにアクセスする必要があります。サービスマネージドフリートの VPC リソースエンドポイントを使用すると、ワーカーは VPC Lattice を使用するプライベート接続を介してこれらのリソースに接続できます。詳細については、「VPC リソースエンドポイントを使用して VPC リソースを SMF に接続する」を参照してください。

サービスマネージドフリートワーカーにファイルシステムをマウントしたり、他のネットワークアクセスを設定するには、ホスト設定スクリプトを使用します。ホスト設定スクリプトは、ワーカーの起動時に管理者権限で実行されます。詳細については、「管理者権限を持つホスト設定スクリプトを実行する」を参照してください。

注記

VPC リソースエンドポイント経由のトラフィックは、ネットワークアドレス変換 (NAT) を使用します。NAT は、すべてのリソースと互換性があるわけではありません。たとえば、Microsoft Active Directory は NAT 経由で接続できません。

アプリケーションを各フリートタイプに一致させる

ジョブが使用する各デジタルコンテンツ作成 (DCC) アプリケーションが両方のフリートタイプで実行できることを確認します。サービスマネージドフリートでは、Deadline クラウドマネージド conda チャネルは一般的な DCCsを自動的に提供します。チャネルが提供していないアプリケーション、またはチャネルを使用できないカスタマーマネージドワーカーの場合は、「」の説明に従ってアプリケーションを自分でパッケージ化しますキュー戦略を選択する。サポートされているアプリケーションのリストについては、AWS 「Deadline Cloud ユーザーガイド」の「サポートされているソフトウェア」を参照してください。

クラウドコストの制御

需要のピーク時にのみクラウド容量を支払うには、アイドル状態のクラウドフリートをスケールダウンします。サービスマネージドフリートは、設定した最小ワーカー数と最大ワーカー数の間で自動的にスケーリングされます。Amazon EC2 インスタンスのカスタマーマネージドフリートの場合、フリートが需要に応じて増減するように自動スケーリングを設定できます。詳細については、「Amazon EC2 Auto Scaling グループを使用してフリートインフラストラクチャを作成する」を参照してください。

ジョブの送信、アプリケーション管理、ライセンス、アセットアクセス、ワーカーインフラストラクチャにわたるend-to-endの Deadline Cloud ワークフローの設計に関するガイダンスについては、「」を参照してくださいDeadline クラウドアーキテクチャガイダンス

共有ファイルシステムをサービスマネージドフリートに接続するリファレンステンプレートを含む実行可能な例については、GitHub の deadline-cloud-samples リポジトリを参照してください。