View a markdown version of this page

Usare Spark Connect con AWS Glue sessioni interattive - AWS Aderenza
Confronto dei tipi di sessione: Livy e Spark ConnectQuando usare Spark ConnectDisponibilità nelle regioniConsiderazioni e limitazioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usare Spark Connect con AWS Glue sessioni interattive

Apache Spark Connect introduce un'architettura client-server disaccoppiata che separa l'applicazione dal processo del driver Spark. Con Spark Connect, le sessioni AWS Glue interattive traggono vantaggio da un client leggero che si avvia più velocemente, utilizza meno risorse locali e offre compatibilità nativa con le API PySpark DataFrame e SQL. Puoi utilizzare sessioni AWS Glue interattive utilizzando gli strumenti o l'IDE del tuo notebook preferito.

Spark Connect è supportato nativamente nella AWS Glue versione 5.1 e successive. Puoi connetterti a una sessione AWS Glue interattiva direttamente da un ambiente che supporta l' PySpark remote()API.

Confronto dei tipi di sessione: Livy e Spark Connect

AWS Gluele sessioni interattive supportano due tipi di sessione. La tabella seguente mette a confronto le Livy-based sessioni e le sessioni Spark Connect.

Funzionalità Livy Spark Connect

Protocollo

REST

gRPC (per inviare piani di esecuzione logici) + Apache Arrow (per lo streaming dei risultati)

Metodo di connessione

API di dichiarazione (RunStatement,, CancelStatementGetStatement,ListStatements)

Connessione diretta tramite l'URL dell'endpoint tramite API PySpark remote()

Requisito del cliente

aws-glue-sessionspacchetto per kernel o SDK AWS

PySpark con supporto Spark Connect

supporto IDE

Tramite Jupyter con kernel SparkMagic

Notebook su SageMaker Unified Studio o IDE con interpreti Python come VS Code e altri PyCharm

Quando usare Spark Connect

Usa le sessioni Spark Connect quando hai bisogno di un accesso diretto e programmatico a una sessione AWS Glue interattiva dal tuo ambiente di sviluppo. I seguenti sono casi d'uso comuni:

  • Notebook in SageMaker Unified Studio: connettiti a sessioni AWS Glue interattive direttamente dall'ambiente notebook per l'esplorazione interattiva dei dati.

  • IDE come VS Code o PyCharm: utilizza PySpark il tuo IDE preferito per sviluppare e testare applicazioni Spark su un cluster remoto. AWS Glue

  • Script e applicazioni Python: accedi alle sessioni AWS Glue interattive a livello di codice da un'applicazione Python che utilizza l'API. PySpark remote()

Disponibilità nelle regioni

AWS Glue le sessioni interattive con Spark Connect sono disponibili nelle seguenti AWS regioni:

  • Asia Pacifico (Mumbai)

  • Asia Pacifico (Seoul)

  • Asia Pacifico (Singapore)

  • Asia Pacifico (Sydney)

  • Asia Pacifico (Tokyo)

  • Canada (Centrale)

  • Europa (Francoforte)

  • Europa (Irlanda)

  • Europa (Londra)

  • Europe (Paris)

  • Europa (Stoccolma)

  • Sud America (San Paolo)

  • Stati Uniti orientali (Ohio)

  • Stati Uniti orientali (Virginia settentrionale)

  • Stati Uniti occidentali (Oregon)

Considerazioni e limitazioni

Considera quanto segue quando usi Spark Connect con sessioni AWS Glue interattive:

  • Spark Connect è disponibile per le sessioni AWS Glue interattive che eseguono AWS Glue la versione 5.1 e successive.

  • Le API di dichiarazione (RunStatement, CancelStatementGetStatement, eListStatements) non sono supportate per le sessioni Spark Connect. Interagisci con la sessione direttamente tramite il PySpark client.

  • Non è possibile modificare il tipo di sessione dopo averla creata. Per passare da Livy a Spark Connect, devi creare una nuova sessione.

  • Spark Connect non è supportato su. AWS Glue Studio Per lo sviluppo interattivo AWS Glue, puoi usare Notebook in SageMaker Unified Studio o i tuoi IDE preferiti con interpreti Python.

  • Fine-grained il controllo degli accessi tramite Lake Formation non è supportato per le sessioni Spark Connect.