Comment fonctionne le stockage persistant Avantages du stockage persistant Quand utiliser le stockage persistant Configuration du stockage persistant pour une flotte Intégration à Runtime Gestion des volumes persistants Mise à jour de la configuration du stockage persistant Chiffrement Considérations

Stockage permanent pour les flottes gérées par des services

AWS Le stockage persistant de Deadline Cloud (Deadline Cloud) fournit des volumes Amazon Elastic Block Store (Amazon EBS) dédiés, distincts du volume de démarrage racine, pour les employés du parc géré par les services (SMF). Ces volumes préservent les données tout au long des événements du cycle de vie des travailleurs. Grâce au stockage persistant, les installations de packages Conda, les caches d'applications et les fichiers d'actifs restent disponibles lorsque le personnel est remplacé lors d'opérations de maintenance ou de dimensionnement de routine.

Comment fonctionne le stockage persistant

Lorsque vous activez le stockage persistant sur un parc géré par des services, Deadline Cloud gère automatiquement le cycle de vie des volumes Amazon EBS pour vos employés :

Lorsqu'un worker démarre, Deadline Cloud crée ou réutilise un volume Amazon EBS disponible dans la même zone de disponibilité et attache le volume au worker.
Deadline Cloud formate le volume (s'il est nouveau) et le monte sur le chemin que vous spécifiez dans la configuration de la flotte.
Lorsque le travailleur met fin à son emploi ou est remplacé, Deadline Cloud détache le volume et le rend disponible pour qu'un futur collaborateur de la même flotte et de la même zone de disponibilité puisse le réutiliser.

Les volumes étant réutilisés au sein de la même flotte et de la même zone de disponibilité, les travailleurs suivants bénéficient des données précédemment écrites sur le volume. Le volume fournit une bande passante dédiée et des IOPS sans conflits entre les travailleurs.

Note

Le stockage permanent n'est disponible que pour les flottes gérées par des services. Pour les flottes gérées par le client, vous gérez votre propre infrastructure de stockage.

Avantages du stockage persistant

Le stockage persistant offre les avantages suivants pour les charges de travail des flottes gérées par des services :

Démarrage plus rapide des tâches : les installations de packages Conda, les shaders compilés et les actifs traités persistent pendant le remplacement du personnel, éliminant ainsi les téléchargements et les installations répétés.
Performances dédiées : chaque collaborateur reçoit son propre volume Amazon EBS avec des IOPS et un débit dédiés, ce qui permet d'éviter les conflits liés au stockage réseau partagé.
Gestion automatique : Deadline Cloud gère la création, l'attachement, le formatage, le montage et le nettoyage des volumes sans intervention manuelle.
Intégration à l'environnement d'exécution : les environnements d'exécution pris en charge, tels que les environnements de file d'attente conda et le cache immuable du système de fichiers virtuel (VFS), utilisent automatiquement le stockage persistant lorsqu'il est disponible, sans qu'il soit nécessaire de modifier la configuration de votre tâche.
Contrôle des coûts — Configurez une durée de vie (TTL) pour nettoyer automatiquement les volumes inutilisés et réduire les coûts de stockage pendant les périodes d'inactivité.

Quand utiliser le stockage persistant

Envisagez d'activer le stockage persistant pour votre parc géré par des services dans les scénarios suivants :

Vos tâches utilisent des packages conda qui nécessitent un temps de téléchargement et d'installation important.
Vos charges de travail de rendu compilent des shaders ou des actifs de processus qui peuvent être réutilisés dans les rendus suivants.
Vous utilisez Perforce ou d'autres systèmes de contrôle de version dans lesquels l'état de synchronisation de l'espace de travail réduit le transfert de données lors des mises à jour ultérieures.
Vos tâches utilisent le système de fichiers virtuel (VFS) et bénéficieraient d'un cache de ressources permanent et immuable.
Vous souhaitez des performances de stockage dédiées sans les frais opérationnels liés à la gestion de systèmes de fichiers réseau partagés.
Vous installez des moteurs de rendu personnalisés ou d'autres logiciels sur les serveurs par le biais de scripts de configuration de l'hôte et vous souhaitez que ces installations soient mises en cache sur le volume persistant.

Configuration du stockage persistant pour une flotte

Vous pouvez configurer le stockage persistant lorsque vous créez un nouveau parc géré par des services ou que vous mettez à jour un parc existant.

Configuration du stockage persistant (console)

Avant de commencer, vous devez disposer d'une ferme existante avec au moins un parc géré par des services, ou être prêt à créer un nouveau parc de véhicules.

Pour configurer le stockage persistant pour une flotte

Connectez-vous à la console AWS de gestion et ouvrez la console Deadline Cloud.
Dans le volet de navigation, choisissez Fermes, puis sélectionnez votre ferme.
Choisissez l'onglet Flottes, puis choisissez Créer une flotte, ou sélectionnez une flotte gérée par des services existants et choisissez Modifier.
Sous Capacités de stockage, pour le mode de stockage, choisissez Stockage persistant.
Configurez les paramètres de stockage racine pour le volume de démarrage (taille, IOPS et débit).
Sous Stockage permanent, configurez les paramètres suivants :
- Taille : taille du volume persistant. La plage valide est comprise entre 1 et 65 536 GiB. Vérifiez que la taille par défaut est adaptée à vos charges de travail de rendu et envisagez d'augmenter la taille du volume pour les flux de travail qui utilisent des ressources ou des caches plus importants.
- Chemin de montage : chemin absolu où le volume est monté sur le worker (par exemple, /mnt/persistent pourLinux). Pour Windows les travailleurs, spécifiez une lettre de lecteur telle queD:.
- Débit : débit provisionné pour le volume. La plage valide est comprise entre 125 et 2 000 MiB/s.
- Durée d'inactivité maximale : durée pendant laquelle un volume disponible peut rester inactif avant d'être supprimé. Sélectionnez une valeur dans le menu déroulant (par exemple, 12 heures).
- IOPS : nombre d'IOPS provisionnées pour le volume. La plage valide est comprise entre 3 000 et 80 000 IOPS. Les IOPS doivent être au moins 4 fois le débit.
Effectuez les étapes de configuration de flotte restantes et choisissez Créer une flotte ou Enregistrer les modifications.

Configuration du stockage persistant (AWS CLI)

Pour configurer le stockage persistant à l'aide du AWS Command Line Interface (AWS CLI), incluez le persistentVolumeConfiguration paramètre dans la configuration de votre flotte lorsque vous créez ou mettez à jour une flotte.

L'exemple suivant crée une flotte avec le stockage persistant activé :


{
  "configuration": {
    "serviceManagedEc2FleetConfiguration": {
      "instanceCapabilities": {
        "vCpuCount": {"min": 4, "max": 8},
        "memoryMiB": {"min": 16384, "max": 32768},
        "osFamily": "LINUX"
      },
      "instanceMarketOptions": {
        "type": "spot"
      },
      "persistentVolumeConfiguration": {
        "sizeGiB": 2048,
        "iops": 16000,
        "throughputMiB": 500,
        "mountPath": "/mnt/persistent",
        "lastUsedTtlHours": 168
      }
    }
  }
}

Intégration à Runtime

Lorsque le stockage persistant est correctement monté sur un worker, Deadline Cloud définit la variable d'DEADLINE_PERSISTENT_MOUNTenvironnement sur le chemin de montage configuré. Les utilisateurs d'exécution suivants utilisent automatiquement le stockage persistant lorsque la variable d'environnement est présente :

Environnements de files d'attente Conda : les installations de packages sont stockées sur le volume persistant, de sorte que les utilisateurs suivants réutilisent les packages déjà installés au lieu de les télécharger et de les réinstaller.
Cache immuable du système de fichiers virtuel (VFS) : le VFS stocke son cache d'actifs immuable sur le volume persistant, de sorte que les actifs précédemment téléchargés sont disponibles sans avoir à être retéléchargés depuis Amazon Simple Storage Service (Amazon S3).

Vous pouvez également utiliser la variable d'DEADLINE_PERSISTENT_MOUNTenvironnement dans vos propres modèles de tâches et scripts pour stocker des données qui devraient persister tout au long des événements du cycle de vie des travailleurs.

Gestion des volumes persistants

Vous pouvez consulter et gérer les volumes persistants de votre flotte à l'aide de la console ou de l'API Deadline Cloud. AWS CLI Les opérations suivantes sont disponibles :

Répertorier les volumes : affichez tous les volumes persistants associés à une flotte, y compris leur état, leur taille et leur zone de disponibilité.
Obtenir des informations détaillées sur un volume : récupérez des informations détaillées sur un volume spécifique, notamment son état actuel, le statut des pièces jointes et sa configuration.
Supprimer un volume : supprimez définitivement un volume persistant non connecté dont vous n'avez plus besoin. Vous ne pouvez pas supprimer un volume qui est actuellement attaché à un travailleur.

Mise à jour de la configuration du stockage persistant

Vous pouvez mettre à jour la configuration du stockage persistant sur un parc existant. Les modifications suivantes sont prises en charge :

IOPS et débit : Deadline Cloud applique les modifications la prochaine fois qu'il attache un volume à un travailleur.
Taille du volume (augmentation uniquement) — Deadline Cloud agrandit les volumes avant la prochaine pièce jointe. Vous ne pouvez pas diminuer la taille du volume.
Désactiver le stockage persistant : Deadline Cloud nettoie automatiquement les volumes existants lorsqu'ils ne sont plus attachés à un utilisateur.

Important

Les modifications de configuration n'affectent pas les travailleurs existants. Les modifications s'appliquent uniquement aux nouveaux travailleurs lancés après la mise à jour.

Chiffrement

Les volumes persistants utilisent les paramètres de chiffrement configurés au niveau du parc de serveurs. Si vous avez configuré une clé gérée par le client AWS Key Management Service (AWS KMS) pour votre parc, les volumes persistants sont chiffrés avec cette clé. Dans le cas contraire, les volumes persistants sont chiffrés à l'aide d'une clé appartenant au service.

Considérations

Tenez compte des points suivants lorsque vous utilisez le stockage persistant :

Les volumes persistants sont une optimisation de la mise en cache et non un stockage principal durable. Utilisez des volumes persistants uniquement pour les données que vous pouvez recréer, telles que les installations de packages, les shaders compilés et les caches d'actifs. Deadline Cloud peut remplacer un volume à tout moment, et vous ne pouvez pas accéder directement aux volumes persistants.
Deadline Cloud configure le répertoire personnel du travailleur pour utiliser le volume persistant. Les logiciels qui stockent des données dans le répertoire de base (tels que les packages conda et les caches d'applications) bénéficient automatiquement de la persistance. Si votre logiciel écrit sur des chemins situés en dehors du répertoire de base, vous devez le reconfigurer pour utiliser le chemin de montage persistant, sinon ces fichiers ne seront pas conservés lors des événements du cycle de vie du travailleur.
Les volumes persistants ne sont pas attachés simultanément à plusieurs travailleurs. Chaque volume est destiné à un seul collaborateur à la fois, mais il est réutilisé par différents utilisateurs au fil des événements du cycle de vie.
Les volumes sont limités à une flotte et à une zone de disponibilité spécifiques. Un volume créé dans une zone de disponibilité ne peut pas être réutilisé par un utilisateur dans une autre zone de disponibilité.
Il n'est pas garanti qu'un travailleur en particulier reçoive le même volume qu'il a utilisé auparavant. Tout volume disponible dans la même flotte et la même zone de disponibilité peut être attribué.
Si le stockage persistant ne peut pas être provisionné (par exemple, en raison de limites de quotas), la tâche échoue. Les employés ne recommencent pas à fonctionner sans stockage permanent.
Le stockage persistant vous est facturé en fonction du nombre de volumes actifs et de leur configuration. Pour contrôler les coûts pendant les périodes d'inactivité, configurez un TTL ou supprimez la configuration de stockage persistant de votre parc.

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Utiliser un accélérateur GPU

Licences logicielles