Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengalokasikan kuota partisi GPU

Anda dapat memperpanjang alokasi kuota komputasi untuk mendukung partisi GPU, memungkinkan berbagi sumber daya berbutir halus di tingkat partisi GPU. Saat partisi GPU diaktifkan didukung GPUs di cluster, setiap GPU fisik dapat dipartisi menjadi beberapa terisolasi GPUs dengan alokasi multiprosesor komputasi, memori, dan streaming yang ditentukan. Untuk informasi selengkapnya tentang partisi GPU, lihat. Menggunakan partisi GPU di Amazon SageMaker HyperPod Anda dapat mengalokasikan partisi GPU tertentu ke tim, memungkinkan beberapa tim untuk berbagi satu GPU sekaligus mempertahankan isolasi tingkat perangkat keras dan kinerja yang dapat diprediksi.

Misalnya, instance ml.p5.48xlarge dengan 8 H100 GPUs dapat dipartisi menjadi partisi GPU, dan Anda dapat mengalokasikan partisi individual ke tim yang berbeda berdasarkan persyaratan tugas mereka. Saat Anda menentukan alokasi partisi GPU, tata kelola HyperPod tugas menghitung vCPU proporsional dan kuota memori berdasarkan partisi GPU, mirip dengan alokasi tingkat GPU. Pendekatan ini memaksimalkan pemanfaatan GPU dengan menghilangkan kapasitas idle dan memungkinkan pembagian sumber daya yang hemat biaya di beberapa tugas bersamaan pada GPU fisik yang sama.

Membuat Kuota Komputasi

aws sagemaker create-compute-quota \
  --name "fractional-gpu-quota" \
  --compute-quota-config '{
    "ComputeQuotaResources": [
      {
        "InstanceType": "ml.p4d.24xlarge",
        "AcceleratorPartition": {
            "Count": 4,
            "Type": "mig-1g.5gb"
        }
      }
    ],
    "ResourceSharingConfig": { 
      "Strategy": "LendAndBorrow", 
      "BorrowLimit": 100 
    }
  }'

Memverifikasi Sumber Daya Kuota

# Check ClusterQueue
kubectl get clusterqueues
kubectl describe clusterqueue QUEUE_NAME

# Check ResourceFlavors
kubectl get resourceflavor
kubectl describe resourceflavor FLAVOR_NAME