Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Nozioni di base sull'operatore Spark per Amazon EMR su EKS Nozioni di base Questo argomento offre assistenza per cominciare a utilizzare l'operatore Spark su Amazon EKS implementando un'applicazione Spark e un'applicazione Schedule Spark. ## Installazione dell'operatore Spark Installazione dell'operatore Spark Utilizza la procedura seguente per installare l'operatore Kubernetes per Apache Spark. 1. Se non lo hai già fatto, completa le fasi in [Configurazione dell'operatore Spark per Amazon EMR su EKS](spark-operator-setup.md). 1. Autentica il client Helm nel registro Amazon ECR. Nel comando seguente, sostituisci *region-id* i valori con i tuoi preferiti Regione AWS e il *ECR-registry-account* valore corrispondente per la regione dalla pagina. [Account di registro Amazon ECR per Regione](docker-custom-images-tag.md#docker-custom-images-ECR) ``` aws ecr get-login-password \ --region region-id | helm registry login \ --username AWS \ --password-stdin ECR-registry-account.dkr.ecr.region-id.amazonaws.com ``` 1. Installa l'operatore Spark con il comando seguente. Per il parametro `--version` del grafico Helm, utilizza l'etichetta di rilascio di Amazon EMR rimuovendo il prefisso `emr-` e il suffisso della data. Ad esempio, con il rilascio `emr-6.12.0-java17-latest`, specifica `6.12.0-java17`. L'esempio nel comando seguente utilizza il rilascio `emr-7.12.0-latest`, quindi specifica `7.12.0` per il grafico Helm `--version`. ``` helm install spark-operator-demo \ oci://895885662937.dkr.ecr.region-id.amazonaws.com/spark-operator \ --set emrContainers.awsRegion=region-id \ --version 7.12.0 \ --namespace spark-operator \ --create-namespace ``` Per impostazione predefinita, il comando crea un account di servizio `emr-containers-sa-spark-operator` per l'operatore Spark. Per utilizzare un account di servizio diverso, fornisci l'argomento `serviceAccounts.sparkoperator.name`. Esempio: ``` --set serviceAccounts.sparkoperator.name my-service-account-for-spark-operator ``` Se desideri [utilizzare il dimensionamento automatico verticale con l'operatore Spark]() aggiungi la seguente riga al comando di installazione per consentire i webhook per l'operatore: ``` --set webhook.enable=true ``` 1. Verifica di aver installato il grafico Helm con il comando `helm list`: ``` helm list --namespace spark-operator -o yaml ``` Il comando `helm list` dovrebbe restituire le informazioni sul rilascio del grafico Helm appena implementato: ``` app_version: v1beta2-1.3.8-3.1.1 chart: spark-operator-7.12.0 name: spark-operator-demo namespace: spark-operator revision: "1" status: deployed updated: 2023-03-14 18:20:02.721638196 +0000 UTC ``` 1. Completa l'installazione con tutte le opzioni aggiuntive necessarie. Per ulteriori informazioni, consulta la [https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/master/charts/spark-operator-chart/README.md](https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/master/charts/spark-operator-chart/README.md)documentazione su. GitHub ## Esecuzione di un'applicazione Spark Esecuzione di un'applicazione Spark L'operatore Spark è supportato con Amazon EMR 6.10.0 o versioni successive. Quando installi l'operatore Spark, viene creato per impostazione predefinita l'account di servizio `emr-containers-sa-spark` per eseguire le applicazioni Spark. Completa le fasi seguenti per eseguire un'applicazione Spark con l'operatore Spark in Amazon EMR su EKS 6.10.0 o versioni successive. 1. Prima di poter eseguire un'applicazione Spark con l'operatore Spark, completa le fasi indicate in [Configurazione dell'operatore Spark per Amazon EMR su EKS](spark-operator-setup.md) e [Installazione dell'operatore Spark](#spark-operator-install). 1. Crea un file `spark-pi.yaml` di definizione `SparkApplication` con il seguente contenuto di esempio: ``` apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: spark-pi namespace: spark-operator spec: type: Scala mode: cluster image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest" imagePullPolicy: Always mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar" sparkVersion: "3.3.1" restartPolicy: type: Never volumes: - name: "test-volume" hostPath: path: "/tmp" type: Directory driver: cores: 1 coreLimit: "1200m" memory: "512m" labels: version: 3.3.1 serviceAccount: emr-containers-sa-spark volumeMounts: - name: "test-volume" mountPath: "/tmp" executor: cores: 1 instances: 1 memory: "512m" labels: version: 3.3.1 volumeMounts: - name: "test-volume" mountPath: "/tmp" ``` 1. A questo punto, invia l'applicazione Spark con il comando seguente. L'operazione creerà anche un oggetto `SparkApplication` denominato `spark-pi`: ``` kubectl apply -f spark-pi.yaml ``` 1. Controlla gli eventi dell'oggetto `SparkApplication` con il comando seguente: ``` kubectl describe sparkapplication spark-pi --namespace spark-operator ``` Per maggiori informazioni sull'invio di applicazioni a Spark tramite l'operatore Spark, consulta [Using a nella documentazione su `SparkApplication`](https://www.kubeflow.org/docs/components/spark-operator/user-guide/using-sparkapplication/). `spark-on-k8s-operator` GitHub ## Usa Amazon S3 per lo storage Per utilizzare Amazon S3 come opzione di archiviazione dei file, aggiungi le seguenti configurazioni al tuo file YAML. ``` hadoopConf: # EMRFS filesystem fs.s3.customAWSCredentialsProvider: com.amazonaws.auth.WebIdentityTokenCredentialsProvider fs.s3.impl: com.amazon.ws.emr.hadoop.fs.EmrFileSystem fs.AbstractFileSystem.s3.impl: org.apache.hadoop.fs.s3.EMRFSDelegate fs.s3.buffer.dir: /mnt/s3 fs.s3.getObject.initialSocketTimeoutMilliseconds: "2000" mapreduce.fileoutputcommitter.algorithm.version.emr_internal_use_only.EmrFileSystem: "2" mapreduce.fileoutputcommitter.cleanup-failures.ignored.emr_internal_use_only.EmrFileSystem: "true" sparkConf: # Required for EMR Runtime spark.driver.extraClassPath: /usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/* spark.driver.extraLibraryPath: /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/docker/usr/lib/hadoop/lib/native:/docker/usr/lib/hadoop-lzo/lib/native spark.executor.extraClassPath: /usr/lib/hadoop-lzo/lib/*:/usr/lib/hadoop/hadoop-aws.jar:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*:/usr/share/aws/emr/security/conf:/usr/share/aws/emr/security/lib/*:/usr/share/aws/hmclient/lib/aws-glue-datacatalog-spark-client.jar:/usr/share/java/Hive-JSON-Serde/hive-openx-serde.jar:/usr/share/aws/sagemaker-spark-sdk/lib/sagemaker-spark-sdk.jar:/home/hadoop/extrajars/* spark.executor.extraLibraryPath: /usr/lib/hadoop/lib/native:/usr/lib/hadoop-lzo/lib/native:/docker/usr/lib/hadoop/lib/native:/docker/usr/lib/hadoop-lzo/lib/native ``` Se utilizzi le versioni 7.2.0 e successive di Amazon EMR, le configurazioni sono incluse per impostazione predefinita. In tal caso, puoi impostare il percorso del file `s3:///` anziché `local://` nel file YAML dell'applicazione Spark. Quindi invia l'applicazione Spark normalmente.