Crea un cluster Amazon EMR con flotte di istanze o gruppi di istanze uniformi

Quando si crea un cluster e si specifica la configurazione del nodo primario, dei nodi core e dei nodi attività, sono disponibili due opzioni di configurazione. Puoi utilizzare parchi istanze o gruppi di istanze uniformi. L'opzione di configurazione scelta si applica a tutti i nodi, vale per la durata del cluster e i parchi istanze e gruppi di istanze non possono coesistere in un cluster. La configurazione di parchi istanze è disponibile in Amazon EMR versione 4.8.0 e successive, escluse le versioni 5.0.x.

Puoi utilizzare la console Amazon EMR AWS CLI, o l'API Amazon EMR per creare cluster con entrambe le configurazioni. Quando utilizzi il comando create-cluster di AWS CLI, puoi utilizzare i parametri --instance-fleets per creare il cluster utilizzando parchi istanze o, in alternativa, puoi utilizzare i parametri --instance-groups per crearlo utilizzando gruppi di istanze uniformi.

Lo stesso vale utilizzando l'API Amazon EMR. Utilizza la configurazione InstanceGroups per specificare una matrice di oggetti InstanceGroupConfig, oppure utilizza la configurazione InstanceFleets per specificare una matrice di oggetti InstanceFleetConfig.

Nella nuova console Amazon EMR, puoi scegliere di utilizzare gruppi di istanze o parchi istanze quando crei un cluster e hai la possibilità di utilizzare le istanze spot con ciascuno di essi. Nella vecchia console Amazon EMR, se utilizzi le impostazioni Quick Options (Opzioni rapide) predefinite quando crei un cluster, Amazon EMR applica al cluster la configurazione dei gruppi di istanze uniformi e utilizza le istanze on demand. Per utilizzare istanze Spot con gruppi di istanze uniformi o per configurare parchi istanze e altre personalizzazioni, scegli Advanced Options (Opzioni avanzate).

Parchi istanze

La configurazione dei parchi istanze offre la più ampia varietà di opzioni di provisioning per istanze Amazon EC2. Ogni tipo di nodo dispone di un singolo parco istanze e l'utilizzo di un parco istanze dell'attività è opzionale. Puoi specificare fino a cinque tipi di istanze EC2 per flotta o 30 tipi di istanze EC2 per flotta quando crei un cluster utilizzando l'API o AWS CLI Amazon EMR e una strategia di allocazione per istanze On-Demand e Spot. Per i parchi istanze principali e attività, puoi assegnare una capacità target per istanze on demand e un'altra per istanze Spot. Amazon EMR sceglie qualsiasi combinazione dei tipi di istanze specificati per raggiungere le capacità target, eseguendo il provisioning sia delle istanze on demand che Spot.

Per il tipo di nodo primario, Amazon EMR consente di scegliere un singolo tipo di istanza dall'elenco e di specificare se è stato effettuato il provisioning come un'istanza on demand o spot. I parchi istanze offrono anche opzioni aggiuntive per gli acquisti di istanze Spot e on demand. Le opzioni di istanza Spot includono un timeout che specifica un'azione da eseguire se non è possibile assegnare la capacità Spot e una strategia di allocazione preferita (ottimizzata per la capacità) per avviare i parchi di istanze Spot. I parchi di istanze on demand possono anche essere avviati utilizzando la strategia di allocazione (prezzo più basso). Se si utilizza un ruolo di servizio che non è il ruolo di servizio predefinito EMR o si utilizza una policy gestita da EMR nel ruolo del servizio, è necessario aggiungere autorizzazioni aggiuntive al ruolo del servizio cluster personalizzato per abilitare la strategia di allocazione. Per ulteriori informazioni, consulta Ruolo di servizio per Amazon EMR (ruolo EMR).

Per ulteriori informazioni sulla configurazione dei parchi istanze, consulta Pianificazione e configurazione di flotte di istanze per il tuo cluster Amazon EMR.

Gruppi di istanze uniformi

I gruppi di istanze uniformi offrono una configurazione più semplice rispetto ai parchi istanze. Ogni cluster Amazon EMR può includere fino a un massimo di 50 gruppi di istanze: un gruppo di istanze primarie che contiene un'unica istanza Amazon EC2, un gruppo di istanze primarie che contiene una o più istanze EC2 e fino a 48 gruppi di istanze attività opzionali. Ogni gruppo di istanze principale e dell'attività può contenere qualsiasi numero di istanze Amazon EC2. Puoi dimensionare ogni gruppo di istanze aggiungendo e rimuovendo istanze Amazon EC2 manualmente oppure puoi configurare la scalabilità automatica. Per informazioni sull'aggiunta e la rimozione di istanze, consulta Usa la scalabilità dei cluster Amazon EMR per adattarti ai carichi di lavoro in continua evoluzione.

Per ulteriori informazioni sulla configurazione di gruppi di istanze uniformi, consulta Configura gruppi di istanze uniformi per il tuo cluster Amazon EMR.

Utilizzo di parchi istanze e gruppi di istanze