Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Jalankan pelatihan terdistribusi dengan perpustakaan paralelisme data terdistribusi SageMaker AI
<a name="data-parallel"></a>

Pustaka paralelisme data terdistribusi SageMaker AI (SMDDP) memperluas kemampuan SageMaker pelatihan pada model pembelajaran mendalam dengan efisiensi penskalaan hampir linier dengan menyediakan implementasi operasi komunikasi kolektif yang dioptimalkan untuk infrastruktur. AWS 

Saat melatih model pembelajaran mesin besar (MLM), seperti model bahasa besar (LLM) dan model difusi, pada kumpulan data pelatihan yang besar, praktisi ML menggunakan kelompok akselerator dan teknik pelatihan terdistribusi untuk mengurangi waktu melatih atau menyelesaikan kendala memori untuk model yang tidak dapat muat di setiap memori GPU. Praktisi ML sering memulai dengan beberapa akselerator pada satu instance dan kemudian menskalakan ke kelompok instance saat persyaratan beban kerja mereka meningkat. Ketika ukuran cluster meningkat, demikian juga overhead komunikasi antara beberapa node, yang menyebabkan penurunan kinerja komputasi secara keseluruhan.

Untuk mengatasi masalah overhead dan memori seperti itu, perpustakaan SMDDP menawarkan yang berikut ini.
+ Pustaka SMDDP mengoptimalkan pekerjaan pelatihan untuk infrastruktur AWS jaringan dan topologi instans Amazon SageMaker AI ML.
+ Perpustakaan SMDDP meningkatkan komunikasi antar node dengan implementasi `AllReduce` dan operasi komunikasi `AllGather` kolektif yang dioptimalkan untuk infrastruktur. AWS 

Untuk mempelajari lebih lanjut tentang detail penawaran perpustakaan SMDDP, lanjutkan ke. [Pengantar perpustakaan paralelisme data terdistribusi SageMaker AI](data-parallel-intro.md)

Untuk informasi lebih lanjut tentang pelatihan dengan strategi model-paralel yang ditawarkan oleh SageMaker AI, lihat juga. [(Diarsipkan) perpustakaan SageMaker paralelisme model v1.x](model-parallel.md)

**Topics**
+ [Pengantar perpustakaan paralelisme data terdistribusi SageMaker AI](data-parallel-intro.md)
+ [Kerangka kerja yang didukung, Region AWS, dan tipe instance](distributed-data-parallel-support.md)
+ [Pelatihan terdistribusi dengan perpustakaan paralelisme data terdistribusi SageMaker AI](data-parallel-modify-sdp.md)
+ [Contoh perpustakaan paralelisme data Amazon SageMaker AI](distributed-data-parallel-v2-examples.md)
+ [Kiat konfigurasi untuk perpustakaan paralelisme data terdistribusi SageMaker AI](data-parallel-config.md)
+ [FAQ perpustakaan paralelisme data terdistribusi Amazon SageMaker AI](data-parallel-faq.md)
+ [Pemecahan masalah untuk pelatihan terdistribusi di Amazon AI SageMaker](distributed-troubleshooting-data-parallel.md)
+ [SageMaker Catatan rilis perpustakaan paralelisme data AI](data-parallel-release-notes.md)