Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# SageMaker HyperPod Operasi klaster slurm
Bagian ini memberikan panduan tentang pengelolaan SageMaker HyperPod melalui UI konsol SageMaker AI atau AWS Command Line Interface (CLI). Anda akan belajar bagaimana melakukan berbagai tugas yang terkait SageMaker HyperPod, apakah Anda lebih suka antarmuka visual atau bekerja dengan perintah.
**Topics**
+ [Mengelola cluster SageMaker HyperPod Slurm menggunakan konsol SageMaker](sagemaker-hyperpod-operate-slurm-console-ui.md)
+ [Mengelola cluster SageMaker HyperPod Slurm menggunakan AWS CLI](sagemaker-hyperpod-operate-slurm-cli-command.md)
# Mengelola cluster SageMaker HyperPod Slurm menggunakan konsol SageMaker
Topik berikut memberikan panduan tentang cara mengelola SageMaker HyperPod melalui UI konsol.
**Topics**
+ [Buat SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-create-cluster)
+ [Jelajahi SageMaker HyperPod kluster Anda](#sagemaker-hyperpod-operate-slurm-console-ui-browse-clusters)
+ [Lihat detail setiap SageMaker HyperPod cluster](#sagemaker-hyperpod-operate-slurm-console-ui-view-details-of-clusters)
+ [Mengedit SageMaker HyperPod klaster](#sagemaker-hyperpod-operate-slurm-console-ui-edit-clusters)
+ [Hapus SageMaker HyperPod klaster](#sagemaker-hyperpod-operate-slurm-console-ui-delete-cluster)
## Buat SageMaker HyperPod cluster
Lihat instruksi [Memulai dengan SageMaker HyperPod menggunakan konsol SageMaker AI](smcluster-getting-started-slurm-console.md) untuk membuat SageMaker HyperPod cluster baru melalui UI SageMaker HyperPod konsol.
## Jelajahi SageMaker HyperPod kluster Anda
Di bawah **Cluster** di panel utama SageMaker HyperPod konsol di halaman utama SageMaker HyperPod konsol, semua cluster yang dibuat akan muncul terdaftar di bawah bagian **Cluster**, yang menyediakan tampilan ringkasan cluster, statusnya ARNs, dan waktu pembuatan.
## Lihat detail setiap SageMaker HyperPod cluster
Di bawah **Cluster** di halaman utama konsol, **Nama** cluster diaktifkan sebagai tautan. Pilih tautan nama cluster untuk melihat detail setiap cluster.
## Mengedit SageMaker HyperPod klaster
1. Di bawah **Cluster** di panel utama SageMaker HyperPod konsol, pilih cluster yang ingin Anda perbarui.
1. Pilih klaster Anda, dan pilih **Edit**.
1. Di halaman **Edit**, Anda dapat mengedit konfigurasi grup instans yang ada, menambahkan lebih banyak grup instans, menghapus grup instance, dan mengubah tag untuk klaster. Setelah melakukan perubahan, pilih **Kirim**.
1. Di bagian **Konfigurasi grup instans**, Anda dapat menambahkan lebih banyak grup instans dengan memilih **Buat grup instans**.
1. Di bagian **Konfigurasi grup instans**, Anda dapat memilih **Edit** untuk mengubah konfigurasinya atau **Hapus** untuk menghapus grup instans secara permanen.
**penting**
Saat menghapus grup instance, pertimbangkan hal-hal berikut:
SageMaker HyperPod Cluster Anda harus selalu memelihara setidaknya satu grup instans.
Pastikan semua data penting dicadangkan sebelum dihapus
Proses penghapusan tidak dapat dibatalkan.
**catatan**
Menghapus grup instance akan menghentikan semua sumber daya komputasi yang terkait dengan grup tersebut.
1. Di bagian **Tag**, Anda dapat memperbarui tag untuk cluster.
## Hapus SageMaker HyperPod klaster
1. Di bawah **Cluster** di panel utama SageMaker HyperPod konsol, pilih cluster yang ingin Anda hapus.
1. Pilih klaster Anda, dan pilih **Hapus**.
1. Di jendela pop-up untuk penghapusan klaster, tinjau informasi klaster dengan hati-hati untuk mengonfirmasi bahwa Anda memilih klaster yang tepat untuk dihapus.
1. Setelah Anda meninjau informasi klaster, pilih **Ya, hapus klaster**.
1. Di bidang teks untuk mengonfirmasi penghapusan ini, ketik. **delete**
1. Pilih **Hapus** di sudut kanan bawah jendela pop-up untuk menyelesaikan pengiriman permintaan penghapusan cluster.
# Mengelola cluster SageMaker HyperPod Slurm menggunakan AWS CLI
Topik berikut memberikan panduan tentang menulis file permintaan SageMaker HyperPod API dalam format JSON dan menjalankannya menggunakan AWS CLI perintah.
**Topics**
+ [Buat cluster baru](#sagemaker-hyperpod-operate-slurm-cli-command-create-cluster)
+ [Jelaskan sebuah cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster)
+ [Rincian daftar node cluster](#sagemaker-hyperpod-operate-slurm-cli-command-list-cluster-nodes)
+ [Jelaskan detail node cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster-node)
+ [Daftar kluster](#sagemaker-hyperpod-operate-slurm-cli-command-list-clusters)
+ [Perbarui konfigurasi cluster](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster)
+ [Perbarui perangkat lunak SageMaker HyperPod platform cluster](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software)
+ [Turunkan skala cluster](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down)
+ [Hapus klaster](#sagemaker-hyperpod-operate-slurm-cli-command-delete-cluster)
## Buat cluster baru
1. Siapkan skrip konfigurasi siklus hidup dan unggah ke bucket S3, seperti. `s3://sagemaker-amzn-s3-demo-bucket/lifecycle-script-directory/src/` Langkah 2 berikut mengasumsikan bahwa ada skrip titik masuk yang dinamai `on_create.sh` dalam bucket S3 yang ditentukan.
**penting**
Pastikan Anda mengatur jalur S3 untuk memulai`s3://sagemaker-`. Ini [Peran IAM untuk SageMaker HyperPod](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod) memiliki [https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html](https://docs.aws.amazon.com/sagemaker/latest/dg/security-iam-awsmanpol-cluster.html)terlampir terkelola, yang memungkinkan akses ke bucket S3 dengan awalan tertentu. `sagemaker-`
1. Siapkan file permintaan [CreateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateCluster.html)API dalam format JSON. Anda harus mengonfigurasi grup instance agar sesuai dengan cluster Slurm yang Anda desain dalam `provisioning_parameters.json` file yang akan digunakan selama pembuatan klaster sebagai bagian dari menjalankan serangkaian skrip siklus hidup. Untuk mempelajari selengkapnya, lihat [Menyesuaikan SageMaker HyperPod cluster menggunakan skrip siklus hidup](sagemaker-hyperpod-lifecycle-best-practices-slurm.md). Template berikut memiliki dua grup instance untuk memenuhi persyaratan minimum untuk cluster Slurm: satu node controller (head) dan satu node compute (worker). Untuk`ExecutionRole`, berikan ARN dari peran IAM yang Anda buat dengan yang dikelola `AmazonSageMakerClusterInstanceRolePolicy` dari bagian. [Peran IAM untuk SageMaker HyperPod](sagemaker-hyperpod-prerequisites-iam.md#sagemaker-hyperpod-prerequisites-iam-role-for-hyperpod)
```
// create_cluster.json
{
"ClusterName": "your-hyperpod-cluster",
"InstanceGroups": [
{
"InstanceGroupName": "controller-group",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
{
"InstanceGroupName": "worker-group-1",
"InstanceType": "ml.p4d.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster"
}
],
// Optional
"Tags": [
{
"Key": "string",
"Value": "string"
}
],
// Optional
"VpcConfig": {
"SecurityGroupIds": [ "string" ],
"Subnets": [ "string" ]
}
}
```
Bergantung pada bagaimana Anda mendesain struktur klaster melalui skrip siklus hidup Anda, Anda dapat mengonfigurasi hingga 20 grup instans di bawah parameter. `InstanceGroups`
Untuk parameter `Tags` permintaan, Anda dapat menambahkan tag khusus untuk mengelola SageMaker HyperPod klaster sebagai AWS sumber daya. Anda dapat menambahkan tag ke klaster Anda dengan cara yang sama seperti Anda menambahkannya di AWS layanan lain yang mendukung penandaan. Untuk mempelajari selengkapnya tentang menandai AWS sumber daya secara umum, lihat [Panduan Pengguna AWS Sumber Daya Tag](https://docs.aws.amazon.com/tag-editor/latest/userguide/tagging.html).
Untuk parameter `VpcConfig` permintaan, tentukan informasi VPC yang ingin Anda gunakan. Untuk informasi selengkapnya, lihat [Menyiapkan SageMaker HyperPod dengan VPC Amazon khusus](sagemaker-hyperpod-prerequisites.md#sagemaker-hyperpod-prerequisites-optional-vpc).
1. Jalankan perintah [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-cluster.html) sebagai berikut.
```
aws sagemaker create-cluster \
--cli-input-json file://complete/path/to/create_cluster.json
```
Ini harus mengembalikan ARN dari cluster baru.
## Jelaskan sebuah cluster
Jalankan [describe-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster.html) untuk memeriksa status cluster. Anda dapat menentukan nama atau ARN cluster.
```
aws sagemaker describe-cluster --cluster-name your-hyperpod-cluster
```
Setelah status cluster berubah**InService**, lanjutkan ke langkah berikutnya. Dengan menggunakan API ini, Anda juga dapat mengambil pesan kegagalan dari menjalankan operasi HyperPod API lainnya.
## Rincian daftar node cluster
Jalankan [list-cluster-nodes](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-cluster-nodes.html)untuk memeriksa informasi kunci dari node cluster.
```
aws sagemaker list-cluster-nodes --cluster-name your-hyperpod-cluster
```
Ini mengembalikan respons, dan `InstanceId` itulah yang perlu Anda gunakan untuk logging (using`aws ssm`) ke dalamnya.
## Jelaskan detail node cluster
Jalankan [describe-cluster-node](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/describe-cluster-node.html)untuk mengambil rincian node cluster. Anda bisa mendapatkan ID node cluster dari list-cluster-nodes output. Anda dapat menentukan nama atau ARN cluster.
```
aws sagemaker describe-cluster-node \
--cluster-name your-hyperpod-cluster \
--node-id i-111222333444555aa
```
## Daftar kluster
Jalankan [list-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/list-clusters.html) untuk mencantumkan semua cluster di akun Anda.
```
aws sagemaker list-clusters
```
Anda juga dapat menambahkan bendera tambahan untuk memfilter daftar cluster ke bawah. Untuk mempelajari selengkapnya tentang apa yang dijalankan perintah ini pada level rendah dan flag tambahan untuk pemfilteran, lihat referensi [ListClusters](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ListClusters.html)API.
## Perbarui konfigurasi cluster
Jalankan [update-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster.html) untuk memperbarui konfigurasi cluster.
**catatan**
Anda dapat menggunakan `UpdateCluster` API untuk mengurangi atau menghapus seluruh grup instans dari SageMaker HyperPod klaster Anda. Untuk petunjuk tambahan tentang cara mengurangi atau menghapus grup instans, lihat[Turunkan skala cluster](#sagemaker-hyperpod-operate-slurm-cli-command-scale-down).
1. Buat file `UpdateCluster` permintaan dalam format JSON. Pastikan Anda menentukan nama cluster dan nama grup instance yang tepat untuk diperbarui. Anda dapat mengubah jenis instance, jumlah instance, skrip entrypoint konfigurasi siklus hidup, dan jalur ke skrip.
1. Untuk`ClusterName`, tentukan nama cluster yang ingin Anda perbarui.
1. Untuk `InstanceGroupName`
1. Untuk memperbarui grup instans yang ada, tentukan nama grup instans yang ingin Anda perbarui.
1. Untuk menambahkan grup instans baru, tentukan nama baru yang tidak ada di klaster Anda.
1. Untuk `InstanceType`
1. Untuk memperbarui grup instans yang ada, Anda harus mencocokkan jenis instans yang awalnya Anda tentukan ke grup.
1. Untuk menambahkan grup instans baru, tentukan jenis instance yang ingin Anda konfigurasikan grup.
1. Untuk `InstanceCount`
1. Untuk memperbarui grup instans yang ada, tentukan bilangan bulat yang sesuai dengan jumlah instance yang Anda inginkan. Anda dapat memberikan nilai yang lebih tinggi atau lebih rendah (turun ke 0) untuk menskalakan grup instans naik atau turun.
1. Untuk menambahkan grup instance baru, tentukan bilangan bulat yang lebih besar atau sama dengan 1.
1. Untuk`LifeCycleConfig`, Anda dapat mengubah keduanya `SourceS3Uri` dan `OnCreate` nilai saat Anda ingin memperbarui grup instance.
1. Untuk `ExecutionRole`
1. Untuk memperbarui grup instans yang ada, tetap gunakan peran IAM yang sama yang Anda lampirkan selama pembuatan klaster.
1. Untuk menambahkan grup instance baru, tentukan peran IAM yang ingin Anda lampirkan.
1. Untuk `ThreadsPerCore`
1. Untuk memperbarui grup instans yang ada, tetap gunakan nilai yang sama yang Anda tentukan selama pembuatan klaster.
1. Untuk menambahkan grup instans baru, Anda dapat memilih nilai apa pun dari opsi yang diizinkan per jenis instans. Untuk informasi selengkapnya, cari jenis instans dan lihat kolom **Benang valid per inti** dalam tabel referensi di [inti CPU dan utas per inti CPU per jenis instans](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/cpu-options-supported-instances-values.html) di *Panduan Pengguna Amazon EC2*.
Cuplikan kode berikut adalah template file permintaan JSON yang dapat Anda gunakan. Untuk informasi selengkapnya tentang sintaks permintaan dan parameter API ini, lihat referensi [UpdateCluster](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateCluster.html)API.
```
// update_cluster.json
{
// Required
"ClusterName": "name-of-cluster-to-update",
// Required
"InstanceGroups": [
{
"InstanceGroupName": "name-of-instance-group-to-update",
"InstanceType": "ml.m5.xlarge",
"InstanceCount": 1,
"LifeCycleConfig": {
"SourceS3Uri": "s3://amzn-s3-demo-bucket-sagemaker/lifecycle-script-directory/src/",
"OnCreate": "on_create.sh"
},
"ExecutionRole": "arn:aws:iam::111122223333:role/iam-role-for-cluster",
// Optional: Configure an additional storage per instance group.
"InstanceStorageConfigs": [
{
// Attach an additional EBS volume to each instance within the instance group.
// The default mount path for the additional EBS volume is /opt/sagemaker.
"EbsVolumeConfig":{
// Specify an integer between 1 and 16384 in gigabytes (GB).
"VolumeSizeInGB": integer,
}
}
]
},
// add more blocks of instance groups as needed
{ ... }
]
}
```
1. Jalankan `update-cluster` perintah berikut untuk mengirimkan permintaan.
```
aws sagemaker update-cluster \
--cli-input-json file://complete/path/to/update_cluster.json
```
## Perbarui perangkat lunak SageMaker HyperPod platform cluster
Jalankan [update-cluster-software](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/update-cluster-software.html)untuk memperbarui cluster yang ada dengan perangkat lunak dan patch keamanan yang disediakan oleh layanan. SageMaker HyperPod Untuk`--cluster-name`, tentukan nama atau ARN cluster yang akan diperbarui.
**penting**
Perhatikan bahwa Anda harus mencadangkan pekerjaan Anda sebelum menjalankan API ini. Proses patching menggantikan volume root dengan AMI yang diperbarui, yang berarti bahwa data Anda sebelumnya yang disimpan dalam volume root instance akan hilang. Pastikan Anda mencadangkan data dari volume root instans ke Amazon S3 atau Amazon FSx for Lustre. Untuk informasi selengkapnya, lihat [Gunakan skrip cadangan yang disediakan oleh SageMaker HyperPod](#sagemaker-hyperpod-operate-slurm-cli-command-update-cluster-software-backup).
```
aws sagemaker update-cluster-software --cluster-name your-hyperpod-cluster
```
Perintah ini memanggil [UpdateClusterSoftware](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateClusterSoftware.html)API. Setelah panggilan API, SageMaker HyperPod periksa apakah ada DLAMI yang lebih baru yang tersedia untuk instance cluster. Jika pembaruan DLAMI diperlukan SageMaker HyperPod , akan memperbarui instance klaster untuk menggunakan yang [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) terbaru dan menjalankan skrip siklus hidup Anda di bucket Amazon S3 yang Anda tentukan selama pembuatan atau pembaruan klaster. Jika cluster sudah menggunakan DLAMI terbaru SageMaker HyperPod , tidak akan membuat perubahan apa pun pada cluster atau menjalankan skrip siklus hidup lagi. Tim SageMaker HyperPod layanan secara teratur meluncurkan [SageMaker HyperPod DLAMI](sagemaker-hyperpod-ref.md#sagemaker-hyperpod-ref-hyperpod-ami) s baru untuk meningkatkan keamanan dan meningkatkan pengalaman pengguna. Kami menyarankan agar Anda selalu terus memperbarui ke SageMaker HyperPod DLAMI terbaru. Untuk pembaruan SageMaker HyperPod DLAMI future untuk patch keamanan, tindak lanjuti dengan. [Catatan SageMaker HyperPod rilis Amazon](sagemaker-hyperpod-release-notes.md)
**Tip**
Jika patch keamanan gagal, Anda dapat mengambil pesan kegagalan dengan menjalankan [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeCluster.html)API seperti yang diinstruksikan. [Jelaskan sebuah cluster](#sagemaker-hyperpod-operate-slurm-cli-command-describe-cluster)
**catatan**
Anda hanya dapat menjalankan API ini secara terprogram. Fungsionalitas penambalan tidak diimplementasikan di UI SageMaker HyperPod konsol.
### Gunakan skrip cadangan yang disediakan oleh SageMaker HyperPod
SageMaker HyperPod menyediakan skrip untuk mencadangkan dan memulihkan data Anda di [https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh](https://github.com/aws-samples/awsome-distributed-training/blob/main/1.architectures/5.sagemaker-hyperpod/patching-backup.sh)dalam * GitHub repositori Pelatihan Terdistribusi Awsome*. Script menyediakan dua fungsi berikut.
**Untuk mencadangkan data ke bucket S3 sebelum menambal**
```
sudo bash patching-backup.sh --create
```
Setelah Anda menjalankan perintah, skrip memeriksa `squeue` apakah ada pekerjaan antrian, menghentikan Slurm jika tidak ada pekerjaan dalam antrian, mencadangkan`mariadb`, dan menyalin item lokal pada disk yang ditentukan di bawah. `LOCAL_ITEMS` Anda dapat menambahkan lebih banyak file dan direktori ke`LOCAL_ITEMS`.
```
# Define files and directories to back up.
LOCAL_ITEMS=(
"/var/spool/slurmd"
"/var/spool/slurmctld"
"/etc/systemd/system/slurmctld.service"
"/home/ubuntu/backup_slurm_acct_db.sql"
# ... Add more items as needed
)
```
Selain itu, Anda dapat menambahkan kode khusus ke skrip yang disediakan untuk mencadangkan aplikasi apa pun untuk kasus penggunaan Anda.
**Untuk memulihkan data dari bucket S3 setelah menambal**
```
sudo bash patching-backup.sh --restore
```
## Turunkan skala cluster
Anda dapat mengurangi jumlah instans atau menghapus grup instans di SageMaker HyperPod klaster untuk mengoptimalkan alokasi sumber daya atau mengurangi biaya.
Anda mengurangi skala dengan menggunakan operasi `UpdateCluster` API untuk menghentikan instans secara acak dari grup instans Anda ke nomor tertentu, atau dengan menghentikan instance tertentu menggunakan operasi API. `BatchDeleteClusterNodes` Anda juga dapat menghapus seluruh grup instans menggunakan `UpdateCluster` API. Untuk informasi selengkapnya tentang cara menurunkan skala menggunakan metode ini, lihat[Penskalaan cluster SageMaker HyperPod](smcluster-scale-down.md).
**catatan**
Anda tidak dapat menghapus instance yang dikonfigurasi sebagai node pengontrol Slurm. Mencoba menghapus simpul pengontrol Slurm menghasilkan kesalahan validasi dengan kode kesalahan. `NODE_ID_IN_USE`
## Hapus klaster
Jalankan [delete-cluster](https://docs.aws.amazon.com/cli/latest/reference/sagemaker/delete-cluster.html) untuk menghapus cluster. Anda dapat menentukan nama atau ARN cluster.
```
aws sagemaker delete-cluster --cluster-name your-hyperpod-cluster
```