Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengonfigurasi grup instans seragam untuk klaster EMR Amazon

Dengan konfigurasi grup instance, setiap tipe node (master, core, atau task) terdiri dari tipe instance yang sama dan opsi pembelian yang sama untuk instance: On-Demand atau Spot. Anda menentukan setelan ini saat membuat grup instans. Mereka tidak bisa diubah nanti. Namun, Anda dapat menambahkan instans dengan jenis dan opsi pembelian yang sama ke grup instans inti dan tugas. Anda juga dapat menghapus instans.

Jika On-Demand Instans klaster cocok dengan atribut reservasi kapasitas terbuka (jenis instans, platform, penyewaan, dan Availability Zone) yang tersedia di akun Anda, reservasi kapasitas akan diterapkan secara otomatis. Anda dapat menggunakan reservasi kapasitas terbuka untuk node primer, inti, dan tugas. Namun, Anda tidak dapat menggunakan pencadangan kapasitas yang ditargetkan atau mencegah instans diluncurkan ke pencadangan kapasitas terbuka dengan atribut yang cocok saat Anda menyediakan klaster menggunakan grup instans. Jika Anda ingin menggunakan pencadangan kapasitas yang ditargetkan atau mencegah instans diluncurkan ke pencadangan kapasitas terbuka, gunakan Armada Instans. Untuk informasi selengkapnya, lihat Gunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Untuk menambahkan tipe instans yang berbeda setelah klaster dibuat, Anda dapat menambahkan grup instans tugas tambahan. Anda dapat memilih tipe instans dan opsi pembelian yang berbeda untuk setiap grup instans. Untuk informasi selengkapnya, lihat Gunakan penskalaan klaster EMR Amazon untuk menyesuaikan perubahan beban kerja.

Saat meluncurkan On-Demand instance, preferensi reservasi kapasitas Instans menjadi defaultopen, yang memungkinkannya berjalan di reservasi kapasitas terbuka apa pun yang memiliki atribut yang cocok (tipe instans, platform, Availability Zone). Untuk informasi selengkapnya tentang Reservasi On-Demand Kapasitas, lihatGunakan reservasi kapasitas dengan armada instans di Amazon EMR.

Bagian ini mencakup pembuatan klaster dengan grup instans seragam. Untuk informasi lebih lanjut tentang memodifikasi grup instans yang ada dengan menambahkan atau menghapus instans secara manual atau dengan penskalaan otomatis, lihat Kelola kluster EMR Amazon.

Gunakan konsol untuk mengkonfigurasi grup instans seragam

Console

Untuk membuat cluster dengan grup instance dengan konsol baru

1. Masuk ke Konsol Manajemen AWS, dan buka konsol EMR Amazon di. https://console.aws.amazon.com/emr

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, dan pilih Create cluster.

3. Di bawah Konfigurasi cluster, pilih Grup instans.

4. Di bawah grup Node, ada bagian untuk setiap jenis grup node. Untuk grup simpul primer, pilih kotak centang Gunakan beberapa node primer jika Anda ingin memiliki 3 node primer. Pilih kotak centang opsi Gunakan pembelian Spot jika Anda ingin menggunakan pembelian Spot.

5. Untuk grup node primer dan inti, pilih Add instance type dan pilih hingga 5 tipe instance. Untuk grup tugas, pilih Tambahkan jenis instans dan pilih hingga lima belas jenis instans. Amazon EMR mungkin menyediakan campuran jenis instans ini saat meluncurkan cluster.

6. Di bawah setiap tipe grup node, pilih menu tarik-turun Tindakan di samping setiap instance untuk mengubah pengaturan ini:

   Tambahkan volume EBS

   Tentukan volume EBS yang akan dilampirkan ke jenis instans setelah Amazon EMR menyediakannya.

   Edit harga Spot maksimum

   Tentukan harga Spot maksimum untuk setiap jenis instans dalam armada. Anda dapat menetapkan harga ini baik sebagai persentase dari On-Demand harga, atau sebagai jumlah dolar tertentu. Jika harga Spot saat ini di Availability Zone di bawah harga Spot maksimum Anda, Amazon EMR menyediakan Instans Spot. Anda tidak selalu membayar harga Spot dengan harga Spot maksimum.

7. Secara opsional, perluas konfigurasi Node untuk memasukkan konfigurasi JSON atau memuat JSON dari Amazon S3.

8. Pilih opsi lain yang berlaku untuk cluster Anda.

9. Untuk meluncurkan klaster Anda, pilih Buat klaster.

Gunakan AWS CLI untuk membuat cluster dengan grup instance seragam

Untuk menentukan konfigurasi grup instans klaster dengan menggunakan AWS CLI, gunakan perintah create-cluster bersama dengan parameter --instance-groups. Amazon EMR mengasumsikan opsi On-Demand Instance kecuali Anda menentukan BidPrice argumen untuk grup instans. Untuk contoh create-cluster perintah yang meluncurkan grup instans seragam dengan On-Demand Instans dan berbagai opsi cluster, ketik aws emr create-cluster help di baris perintah, atau lihat create-cluster di Command Reference.AWS CLI

Anda dapat menggunakan AWS CLI untuk membuat grup instance seragam dalam klaster yang menggunakan Instans Spot. Harga Spot yang ditawarkan tergantung pada Availability Zone. Saat Anda menggunakan CLI atau API, Anda dapat menentukan Availability Zone baik dengan AvailabilityZone argumen (jika Anda menggunakan EC2-classic jaringan) atau SubnetID argumen parameter. --ec2-attributes Availability Zone atau subnet yang Anda pilih berlaku untuk klaster, sehingga digunakan untuk semua grup instans. Jika Anda tidak menentukan Availability Zone atau subnet secara jelas, Amazon EMR akan memilih Availability Zone dengan harga Spot terendah saat meluncurkan klaster.

Contoh berikut menunjukkan create-cluster perintah yang menciptakan primer, inti, dan dua kelompok instance tugas yang semuanya menggunakan Instans Spot. Ganti myKey dengan nama key pair Amazon EC2 Anda.

aws emr create-cluster --name "MySpotCluster" \
  --release-label emr-7.13.0 \
  --use-default-roles \
  --ec2-attributes KeyName=myKey \
  --instance-groups \
    InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,BidPrice=0.25 \
    InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.03 \
    InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=4,BidPrice=0.03 \
    InstanceGroupType=TASK,InstanceType=m5.xlarge,InstanceCount=2,BidPrice=0.04

Dengan menggunakan CLI, Anda dapat membuat cluster grup instance seragam yang menentukan AMI kustom unik untuk setiap jenis instans dalam grup instans. Ini memungkinkan Anda untuk menggunakan arsitektur instance yang berbeda dalam grup instance yang sama. Setiap jenis instans harus menggunakan AMI kustom dengan arsitektur yang cocok. Misalnya, Anda akan mengonfigurasi tipe instans m5.xlarge dengan AMI kustom arsitektur x86_64, dan tipe instans m6g.xlarge dengan AMI kustom arsitektur (ARM) yang sesuai. AWS AARCH64

Contoh berikut menunjukkan cluster grup instance seragam yang dibuat dengan dua tipe instance, masing-masing dengan AMI kustomnya sendiri. Perhatikan bahwa AMI kustom ditentukan hanya pada tingkat tipe instance, bukan pada tingkat cluster. Ini untuk menghindari konflik antara AMI tipe instance dan AMI di tingkat cluster, yang akan menyebabkan peluncuran cluster gagal.

aws emr create-cluster
  --release-label emr-5.30.0 \
  --service-role EMR_DefaultRole \
  --ec2-attributes SubnetId=subnet-22XXXX01,InstanceProfile=EMR_EC2_DefaultRole \
  --instance-groups \
    InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 \
    InstanceGroupType=CORE,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-234567

Anda dapat menambahkan beberapa AMI kustom ke grup instans yang Anda tambahkan ke cluster yang sedang berjalan. CustomAmiIdArgumen dapat digunakan dengan add-instance-groups perintah seperti yang ditunjukkan pada contoh berikut.

aws emr add-instance-groups --cluster-id j-123456 \
  --instance-groups \
    InstanceGroupType=Task,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456

Gunakan Java SDK untuk membuat grup instans

Anda memulai objek InstanceGroupConfig yang menentukan konfigurasi grup instans untuk klaster. Untuk menggunakan Instans Spot, atur properti withBidPrice dan withMarket pada objek InstanceGroupConfig. Kode berikut menunjukkan cara mendefinisikan grup instance primer, inti, dan tugas yang menjalankan Instans Spot.

InstanceGroupConfig instanceGroupConfigMaster = new InstanceGroupConfig()
	.withInstanceCount(1)
	.withInstanceRole("MASTER")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.25"); 
	
InstanceGroupConfig instanceGroupConfigCore = new InstanceGroupConfig()
	.withInstanceCount(4)
	.withInstanceRole("CORE")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.03");
	
InstanceGroupConfig instanceGroupConfigTask = new InstanceGroupConfig()
	.withInstanceCount(2)
	.withInstanceRole("TASK")
	.withInstanceType("m4.large")
	.withMarket("SPOT")
	.withBidPrice("0.10");