Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Versionshinweise zur Bibliothek für KI-Datenparallelität
In den folgenden Versionshinweisen finden Sie die neuesten Updates für die SageMaker AI Distributed Data Parallelism (SMDDP) -Bibliothek.
Die SageMaker AI-Bibliothek für verteilte Datenparallelität v2.5.0
Datum: 17. Oktober 2024
Neue Features
-
Unterstützung für PyTorch v2.4.1 mit CUDA v12.1 hinzugefügt.
Integration in Docker-Container, die über die SageMaker AI Model Parallelism (SMP) -Bibliothek vertrieben werden
Diese Version der SMDDP-Bibliothek ist zu Die SageMaker Modellparallelismus-Bibliothek v2.6.0 migriert.
658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121
Informationen zu Regionen, in denen die SMP-Docker-Images verfügbar sind, finden Sie unter AWS-Regionen.
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.4.1/cu121/2024-10-09/smdistributed_dataparallel-2.5.0-cp311-cp311-linux_x86_64.whl
Die SageMaker KI-Bibliothek für verteilte Datenparallelität v2.3.0
Datum: 11. Juni 2024
Neue Features
-
Unterstützung für PyTorch v2.3.0 mit CUDA v12.1 und Python v3.11 hinzugefügt.
-
Unterstützung für PyTorch Lightning v2.2.5 hinzugefügt. Dies ist in den SageMaker AI-Framework-Container für PyTorch v2.3.0 integriert.
-
Es wurde eine Überprüfung des Instance-Typs während des Imports hinzugefügt, um das Laden der SMDDP-Bibliothek bei nicht unterstützten Instance-Typen zu verhindern. Eine Liste der Instance-Typen, die mit der SMDDP-Bibliothek kompatibel sind, finden Sie unter Unterstützte Frameworks AWS-Regionen und Instanztypen.
Integration in SageMaker AI Framework-Container
Diese Version der SMDDP-Bibliothek wurde in den folgenden SageMaker AI
-
PyTorch v2.3.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.3.0-gpu-py311-cu121-ubuntu20.04-sagemaker
Eine vollständige Liste der Versionen der SMDDP-Bibliothek und der vorgefertigten Container finden Sie unter Unterstützte Frameworks AWS-Regionen und Instanztypen.
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.3.0/cu121/2024-05-23/smdistributed_dataparallel-2.3.0-cp311-cp311-linux_x86_64.whl
Weitere Änderungen
-
Die SMDDP-Bibliothek v2.2.0 ist in den AI-Framework-Container für v2.2.0 integriert. SageMaker PyTorch
Die SageMaker AI-Bibliothek für verteilte Datenparallelität v2.2.0
Datum: 4. März 2024
Neue Features
-
Unterstützung für PyTorch v2.2.0 mit CUDA v12.1 hinzugefügt.
Integration in Docker-Container, die über die SageMaker AI Model Parallelism (SMP) -Bibliothek vertrieben werden
Diese Version der SMDDP-Bibliothek ist zu Die SageMaker Modellparallelitätsbibliothek v2.2.0 migriert.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
Informationen zu Regionen, in denen die SMP-Docker-Images verfügbar sind, finden Sie unter AWS-Regionen.
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.2.0/cu121/2024-03-04/smdistributed_dataparallel-2.2.0-cp310-cp310-linux_x86_64.whl
Die SageMaker KI-Bibliothek für verteilte Datenparallelität v2.1.0
Datum: 1. März 2024
Neue Features
-
Unterstützung für PyTorch v2.1.0 mit CUDA v12.1 hinzugefügt.
Fehlerbehebungen
-
Das Problem mit dem CPU-Speicherleck in SMDDP v2.0.1 wurde behoben.
Integration in AI Framework-Container SageMaker
Diese Version der SMDDP-Bibliothek hat die Benchmark-Tests bestanden und wurde in den folgenden SageMaker AI
-
PyTorch v2.1.0
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.1.0-gpu-py310-cu121-ubuntu20.04-sagemaker
Integration in Docker-Container, die über die SageMaker AI Model Parallelism (SMP) -Bibliothek vertrieben werden
Diese Version der SMDDP-Bibliothek ist zu Die SageMaker Modellparallelitätsbibliothek v2.1.0 migriert.
658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
Informationen zu Regionen, in denen die SMP-Docker-Images verfügbar sind, finden Sie unter AWS-Regionen.
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.1.0/cu121/2024-02-04/smdistributed_dataparallel-2.1.0-cp310-cp310-linux_x86_64.whl
Die SageMaker KI-Bibliothek für verteilte Datenparallelität v2.0.1
Datum: 7. Dezember 2023
Neue Features
-
Es wurde eine neue SMDDP-Implementierung für
AllGatherkollektiven Betrieb hinzugefügt, die für Rechenressourcen und Netzwerkinfrastruktur optimiert ist. AWS Weitere Informationen hierzu finden Sie unter Kollektive SMDDP-AllGather-Operation. -
Der
AllGatherkollektive SMDDP-Betrieb ist kompatibel mit FSDP und. PyTorch DeepSpeed Weitere Informationen hierzu finden Sie unter Verwenden Sie die SMDDP-Bibliothek in Ihrem Trainingsskript PyTorch. -
Unterstützung für v2.0.1 hinzugefügt PyTorch
Bekannte Probleme
-
Es gibt ein CPU-Speicherleck, das durch eine allmähliche Erhöhung des CPU-Speichers beim Training mit SMDDP
AllReduceim DDP-Modus entsteht.
Integration in SageMaker AI Framework-Container
Diese Version der SMDDP-Bibliothek hat die Benchmark-Tests bestanden und wurde in den folgenden SageMaker AI
-
PyTorch v2.0.1
763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.1-gpu-py310-cu118-ubuntu20.04-sagemaker
Binärdatei dieser Version
Sie können die Bibliothek über die folgende URL herunterladen oder installieren.
https://smdataparallel.s3.amazonaws.com/binary/pytorch/2.0.1/cu118/2023-12-07/smdistributed_dataparallel-2.0.2-cp310-cp310-linux_x86_64.whl
Weitere Änderungen
-
Ab dieser Version ist die Dokumentation für die SMDDP-Bibliothek vollständig in diesem Amazon SageMaker AI Developer Guide verfügbar. Für das vollständige Entwicklerhandbuch für SMDDP v2, das im Amazon SageMaker AI Developer Guide enthalten ist, wird die Dokumentation für die zusätzliche Referenz für SMDDP v1.x
in der SageMaker AI Python SDK-Dokumentation nicht mehr unterstützt. Wenn Sie weiterhin die SMP v1.x-Dokumentation benötigen, sehen Sie sich den folgenden Snapshot der Dokumentation in der SageMaker Python SDK v2.212.0-Dokumentation an.
