Gestion des chemins de stockage pour différents types de stockage local d’instances

Si vous souhaitez stocker des artefacts d'entraînement pour un entraînement distribué dans le répertoire /opt/ml/output/data, vous devez attribuer correctement des sous-répertoires ou utiliser des noms de fichiers uniques aux artefacts via votre définition de modèle ou votre script d'entraînement. Si les sous-répertoires et les noms de fichiers ne sont pas correctement configurés, toutes les applications de travail d'entraînement distribué peuvent écrire des sorties sous le même nom de fichier dans le même chemin de sortie dans Amazon S3.

Si vous utilisez un conteneur de formation personnalisé, assurez-vous d'installer le kit de SageMaker formation qui permet de configurer l'environnement pour les tâches de SageMaker formation. Sinon, vous devez spécifier les variables d'environnement explicitement dans votre fichier Docker. Pous plus d’informations, consultez Création d’un conteneur avec vos propres algorithmes et modèles

Lorsque vous utilisez une instance ML avec des volumes SSD NVMe, SageMaker AI ne fournit pas de stockage Amazon EBS gp2. Le stockage disponible est fixé à la capacité de stockage de l' NVMe-type instance. SageMaker L'IA configure les chemins de stockage pour les ensembles de données d'entraînement, les points de contrôle, les artefacts du modèle et les sorties afin d'utiliser toute la capacité de stockage de l'instance. Par exemple, les familles d'instances ML avec stockage d' NVMe-type instance incluent ml.p4dml.g4dn, etml.g5. Lorsque vous utilisez une instance ML avec l'option de EBS-only stockage et sans stockage d'instance, vous devez définir la taille du volume EBS via le volume_size paramètre de la classe d'estimateur SageMaker AI (ou VolumeSizeInGB si vous utilisez l'ResourceConfigAPI). Par exemple, les familles d'instances ML qui utilisent les volumes EBS incluent ml.c5 et ml.p2. Pour rechercher les types d'instance ainsi que leurs volumes et types de stockage d'instance, consultez Types d'instances Amazon EC2.

Les chemins par défaut pour les tâches de SageMaker formation sont montés sur les volumes Amazon EBS ou sur les volumes SSD NVMe de l'instance ML. Lorsque vous adaptez votre script d'entraînement à l' SageMaker IA, assurez-vous d'utiliser les chemins par défaut répertoriés dans la rubrique précédenteSageMaker Variables d'environnement d'IA et chemins par défaut pour les emplacements de stockage des formations. Nous vous recommandons d'utiliser le répertoire /tmp comme espace auxiliaire pour stocker temporairement des objets volumineux pendant l'entraînement. Cela signifie que vous ne devez pas utiliser les répertoires montés sur un petit espace disque alloué au système, tel que /user ou /home, pour éviter des erreurs de manque d'espace