Versionshinweise für die SageMaker Modellparallelitätsbibliothek

Das SMP-Gradientennorm-Clipping unterstützt jetzt die Aktivierungsauslagerung.

Unterstützung für v2.5.1 PyTorch hinzugefügt

Die CUDA-Unterstützung wurde auf v12.4 aktualisiert.

Die NCCL-Unterstützung wurde auf v2.23.4 aktualisiert.

Die SMDDP-Bibliothek wurde auf 2.6.0 aktualisiert.

SMP Docker-Container für PyTorch v2.5.1 mit CUDA v12.4

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124

SMP Enroot-Container für v2.5.1 mit CUDA v12.4 PyTorch

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Unterstützung für SageMaker HyperPod Rezepte hinzugefügt.

SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

SMP Enroot-Container für v2.4.1 mit CUDA v12.1 PyTorch

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein ImportError-Problem behoben, das bei der Verwendung älterer Trainingsskripte mit SMP v2.6.0 auftrat. Dies behebt die Abwärtsinkompatibilität mit SMP v2.6.0.

Es wurde eine DeprecationWarning für torch.sagemaker.distributed.fsdp.checkpoint hinzugefügt. Dieses Modul wird in SMP v2.7.0 nicht mehr unterstützt und entfernt. Wenn Sie derzeit torch.sagemaker.distributed.fsdp.checkpoint in Ihrem Code verwenden, sollten Sie Ihre Skripts vor der Veröffentlichung von SMP v2.7.0 aktualisieren, um zukünftige Probleme zu vermeiden.

Ein in SMP v2.6.0 festgestelltes Problem mit der Abwärtskompatibilität wurde behoben. Dieses Problem stand im Zusammenhang mit der veralteten Checkpoint-Methode USE_PG_WITH_UTIL in SMP v2.6.0, wodurch die Abwärtskompatibilität mit früheren Versionen von Trainingsskripten beeinträchtigt wurde. Um dieses Problem zu beheben, führen Sie Ihre PyTorch Trainingsaufgaben erneut aus, um den neuesten SMP-Container zu erhalten, der in SMP v2.6.1 enthalten ist.

SMP Docker-Container für v2.4.1 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Die folgenden LLM-Modellkonfigurationen werden nun unterstützt. Sie können mit der Verwendung von Kontextparallelität und Tensor-Parallelität beginnen.

Für die folgenden Mixtral-Modellkonfigurationen wird nun Tensor-Parallelität unterstützt.

Unterstützung für eine AllGather basierte Implementierung von Kontextparallelität hinzugefügt, die das AllGather Kommunikationskollektiv nutzt, um die vollständige Sequenz von Tensoren zu erhalten. key-and-value Verfügbare Implementierungen sind p2p und all_gather. Die p2p Implementierung verwendet peer-to-peer Sende- und Empfangsrufe für die Akkumulation von key-and-value (KV) -Tensoren während der Aufmerksamkeitsberechnung, die asynchron ablaufen und es ermöglichen, dass sich die Kommunikation mit der Berechnung überschneidet. Andererseits verwendet die all_gather-Implementierung die kollektive AllGather-Kommunikationsoperation für die Ansammlung von KV-Tensoren. Informationen zur Anwendung dieser Implementierung von Kontextparallelität finden Sie unter Kontextparallelität.

Die Einstellung des RoPE-Theta-Werts (Rotary Position Embedding) wird nun unterstützt.

Es wurde ein Fehler behoben, bei dem Rotary Position Embedding (RoPE) beim Vortraining nicht richtig initialisiert wurde, wenn die verzögerte Parameterinitialisierung aktiviert war.

Transformer Engine unterstützt derzeit keine Kontextparallelität oder die Aktivierung von Sliding Window Attention. FP8 Daher unterstützt die SMP-Version von Mistral Transformers keine Kontextparallelität oder FP8 Training, wenn die Konfiguration des Schiebefensters auf einen Wert ungleich Null gesetzt ist.

PyTorch Auf v2.4.1 aktualisiert

Megatron auf v0.8.0 aktualisiert

Die TransformerEngine Bibliothek wurde auf v1.10 aktualisiert

Transformers auf v4.44.2 aktualisiert

cuDNN auf v9.4.0.58 aktualisiert

SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Unterstützung für Training mit gemischter Genauigkeit unter Verwendung des FP8 Datenformats auf P5-Instances für das Mixtral-Modell hinzugefügt.

Kontextparallelität wird nun für die folgenden Modellkonfigurationen unterstützt.

Das asynchrone Speichern von Checkpoints wird nun unterstützt. Weitere Informationen hierzu finden Sie unter Checkpointing mit SMP.

Es wurde ein Problem behoben, das bei der Llama-Optimierung zu unerwartet hohen Anfangsverlusten führte, wenn ein vortrainierter Modell-Checkpoint geladen und die Tensorparallelität verwendet wurde.

Um das Aktivierungs-Checkpointing für Mixtral mit FP8 gemischter Genauigkeit zu verwenden, müssen Sie die Aufmerksamkeits- und Expertenebene separat überprüfen. Ein Beispiel für die korrekte Einrichtung finden Sie im Beispiel-Trainingsskript im Amazon SageMaker AI Examples Repository.

Der Lastenausgleich in der MoE-Konfiguration (torch.sagemaker.moe.moe_config.MoEConfig) ist derzeit nicht mit dem Aktivierungs-Checkpoint kompatibel.

Bei der Kontextparallelität weist GPT-NeoX sowohl bei dem Vortraining als auch bei der Optimierung einen Leistungsrückgang auf.

Bei GPT-NeoX auf P4-Instances führt das direkte Laden von Gewichtungen aus einem transformierten Modell mit verzögerter Parameterinitialisierung in ein Transformer-Modell von Hugging Face zu einer Verlust-Fehlanpassung im ersten Schritt.

Die Bibliothek wurde auf v2.5.8 aktualisiert FlashAttention

TransformerEngine-Bibliothek auf v1.8 aktualisiert

SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Eine vollständige Liste der unterstützten Regionen finden Sie unter AWS-Regionen.

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein Fehler behoben, der zu falschen Logit-Formen führte, wenn bei der Verwendung des SMP-Transformers im Vorwärtsdurchlauf keine Beschriftungen übergeben wurden.

Unterstützung für v2.3.1 hinzugefügt. PyTorch

Unterstützung für Python v3.11 hinzugefügt

Die Bibliothek Hugging Face Transformers v4.40.1 wird nun unterstützt.

Die Unterstützung für Python v3.10 wurde eingestellt.

Die Unterstützung für die Versionen der Bibliothek Hugging Face Transformers vor v4.40.1 wurde eingestellt.

Es wurde ein Patch hinzugefügt, mit dem beim Speichern deduplizierter Tensoren zwischen verschiedenen Rängen gewechselt werden kann. Weitere Informationen finden Sie im Diskussionsthread im PyTorch GitHub Repository.

Es ist bekannt, dass es bei der Optimierung von Llama-3 70B mit Tensorparallelität zu Verlustspitzen und dann zu einem höheren Verlustwert kommen kann.

Die SMDDP-Bibliothek wurde auf v2.3.0 aktualisiert.

Die NCCL-Bibliothek wurde auf v2.21.5 aktualisiert.

Die EFA-Software wurde auf v1.32.0 aktualisiert.

Die Installation der Bibliothek Torch Distributed Experimental (torchdistX) wurde eingestellt.

SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein ImportError-Problem behoben, das bei der Verwendung von moe_load_balancing=balanced in torch.sagemaker.moe.moe_config.MoEConfig zur Expertenparallelität auftrat.

Es wurde ein Problem bei der Optimierung behoben, bei dem beim Aufruf von torch.sagemaker.transform ein KeyError ausgelöst wurde, wenn load_state_dict_from_rank0 aktiviert war.

Es wurde ein out-of-memory (OOM) -Fehler behoben, der beim Laden großer Mixture of Experts (MoE) -Modelle wie Mixtral 8x22B zur Feinabstimmung auftrat.

SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Zur Unterstützung von MoE-Transformer-Modellen (Mixture of Experts) wurde die Expertenparallelität als neue Kernfunktion hinzugefügt. Weitere Informationen hierzu finden Sie unter Expertenparallelität.

SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Unterstützung für das FP8 Training der folgenden Hugging Face Face-Transformer-Modelle auf P5-Instances mit Transformer Engine-Integration hinzugefügt:

Es wurde ein Fehler behoben, bei dem vor dem kollektiven AllGather-Aufruf während des Tensorparallelitätstrainings nicht garantiert wurde, dass die Tensoren zusammenhängend waren.

Unterstützung für PyTorch v2.2.0 hinzugefügt.

Die SMDDP-Bibliothek wurde auf v2.2.0 aktualisiert.

Die FlashAttention Bibliothek wurde auf Version 2.3.3 aktualisiert.

Die NCCL-Bibliothek wurde auf v2.19.4 aktualisiert.

Die Unterstützung für die Transformer-Engine-Versionen vor v1.2.0 wurde eingestellt.

Das SMP-Feature Aktivierung, Entladung funktioniert derzeit nicht. Verwenden Sie stattdessen das native PyTorch Aktivierungs-Offloading.

Es wurde ein Patch zur Behebung der Leistungsregression hinzugefügt, die im Problemthread unter https://github.com/pytorch/pytorch/issues/117748 im Repository besprochen wurde. PyTorch GitHub

SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Unterstützung für PyTorch v2.1.2 hinzugefügt.

Die Unterstützung für Hugging Face Transformers v4.31.0 wurde eingestellt.

Es wurde festgestellt, dass die Optimierung des Llama-2-Modells von Hugging Face mit attn_implementation=flash_attention_2 und FSDP zu Modellabweichungen führt. Weitere Informationen finden Sie im Issue-Ticket im Hugging Face GitHub Transformers-Repository. Um das Divergenzproblem zu vermeiden, verwenden Sie attn_implementation=sdpa. Verwenden Sie alternativ die Implementierung des SMP-Transformer-Modells, indem Sie use_smp_implementation=True einrichten.

SMP Docker-Container für v2.1.2 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Ein neues torch.sagemaker-Paket wurde gegenüber dem vorherigen smdistributed.modelparallel.torch-Paket in SMP v1.x vollständig überarbeitet.

Support für PyTorch 2.0.1.

Support für PyTorch FSDP.

Implementierung der Tensorparallelität durch Integration in die Transformer-Engine-Bibliothek

Support sowohl für SageMaker Schulungen als auch SageMaker HyperPod.

SMP v2 hat das APIs komplett überarbeitet und bietet das torch.sagemaker Paket. In den meisten Fällen sind nur die Initialisierung mit dem torch.sagemaker.init()-Modul und die Übergabe der Konfigurationsparameter zur Modellparallelität erforderlich. Mit diesem neuen Paket können Sie Codeänderungen in Ihrem Trainingsskript erheblich vereinfachen. Weitere Informationen zur Anpassung Ihres Trainingsskripts an SMP v2 finden Sie unter Verwenden Sie die SageMaker Modellparallelitätsbibliothek v2.

Wenn Sie SMP v1 für das Training von Transformer-Modellen von Hugging Face verwendet haben und die Modelle in SMP v2 wiederverwenden möchten, finden Sie weitere Informationen unter Upgrade von SMP v1 auf SMP v2.

Für PyTorch FSDP-Schulungen sollten Sie SMP v2 verwenden.

Aktivierungs-Checkpointing funktioniert derzeit nur mit den folgenden Wrapping-Richtlinien mit FSDP.

Für die Verwendung von Aktivierung, Entladung muss der Typ des FSDP-Aktivierungs-Checkpoints REENTRANT sein.

Bei der Ausführung mit aktivierter Tensorparallelität und dem Parallelitätsgrad 1 der fragmentierten Daten müssen Sie backend = nccl verwenden. Die smddp-Backend-Option wird in diesem Szenario nicht unterstützt.

Transformer Engine ist für die Verwendung PyTorch mit der SMP-Bibliothek erforderlich, auch wenn keine Tensorparallelität verwendet wird.

Ab dieser Version ist die Dokumentation für die SageMaker Modellparallelismus-Bibliothek vollständig in diesem Amazon SageMaker AI Developer Guide verfügbar. Zugunsten dieses vollständigen Entwicklerhandbuchs für SMP v2 im Amazon SageMaker AI Developer Guide ist die zusätzliche Referenz für SMP v1.x in der SageMaker Python SDK-Dokumentation veraltet. Wenn Sie die Dokumentation für SMP v1.x weiterhin benötigen, finden Sie das Entwicklerhandbuch für SMP v1.x unter(Archiviert) SageMaker-Modellparallelitätsbibliothek v1.x, und die Referenz zur SMP-Python-Bibliothek v1.x finden Sie in der Python SDK v2.199.0-Dokumentation. SageMaker

Der Support für wurde eingestellt. TensorFlow

Die Pipeline-Parallelität wird in SMP v2 nicht unterstützt.

Es gibt keine Unterstützung für die DeepSpeed Bibliothek zugunsten von nativem PyTorch FSDP.

SMP Docker-Container für v2.0.1 mit CUDA v12.1 PyTorch

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121