View a markdown version of this page

Verwenden von Spark Connect mit AWS Glue interaktive Sitzungen - AWS Glue
Sitzungstypen im Vergleich: Livy und Spark ConnectWann sollte Spark Connect verwendet werdenVerfügbarkeit in RegionenÜberlegungen und Einschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden von Spark Connect mit AWS Glue interaktive Sitzungen

Apache Spark Connect führt eine entkoppelte Client-Server-Architektur ein, die Ihre Anwendung vom Spark-Treiberprozess trennt. Mit Spark Connect profitieren AWS Glue interaktive Sitzungen von einem schlanken Client, der schneller startet, weniger lokale Ressourcen benötigt und native Kompatibilität mit den PySpark DataFrame und SQL-APIs bietet. Sie können AWS Glue interaktive Sitzungen von Ihren bevorzugten Notebook-Tools oder Ihrer IDE aus verwenden.

Spark Connect wird in AWS Glue Version 5.1 und höher nativ unterstützt. Sie können direkt von einer Umgebung aus, die die PySpark remote() API unterstützt, eine Verbindung zu einer AWS Glue interaktiven Sitzung herstellen.

Sitzungstypen im Vergleich: Livy und Spark Connect

AWS Glueinteraktive Sitzungen unterstützen zwei Sitzungstypen. In der folgenden Tabelle werden Livy-based Sitzungen und Spark Connect-Sitzungen verglichen.

Feature Livy Spark Connect

Protocol (Protokoll)

REST

gRPC (um logische Ausführungspläne zu senden) + Apache Arrow (um Ergebnisse zu streamen)

Verbindungsmethode

Anweisungs-APIs (RunStatementCancelStatement,,GetStatement,ListStatements)

Direkte Verbindung über die Endpunkt-URL mithilfe der PySpark remote() API

Anforderung des Kunden

aws-glue-sessionsPaket für Kernel oder SDK AWS

PySpark mit Spark Connect-Unterstützung

IDE-Unterstützung

Durch Jupyter mit Kernel SparkMagic

Notebooks auf SageMaker Unified Studio oder IDEs mit Python-Interpretern wie VS Code und anderen PyCharm

Wann sollte Spark Connect verwendet werden

Verwenden Sie Spark Connect-Sitzungen, wenn Sie direkten, programmatischen Zugriff auf eine AWS Glue interaktive Sitzung von Ihrer Entwicklungsumgebung aus benötigen. Die folgenden Anwendungsfälle sind häufig:

  • Notizbücher in SageMaker Unified Studio — Stellen Sie direkt von Ihrer Notebook-Umgebung aus eine Verbindung zu AWS Glue interaktiven Sitzungen her, um Daten interaktiv zu erkunden.

  • IDEs wie VS Code oder PyCharm — Verwenden Sie PySpark von Ihrer bevorzugten IDE aus, um Spark-Anwendungen auf einem AWS Glue Remote-Cluster zu entwickeln und zu testen.

  • Python-Skripte und -Anwendungen — AWS Glue Greifen Sie programmgesteuert von einer Python-Anwendung aus zu, die die PySpark remote() API verwendet.

Verfügbarkeit in Regionen

AWS Glue interaktive Sitzungen mit Spark Connect sind in den folgenden AWS Regionen verfügbar:

  • Asien-Pazifik (Mumbai)

  • Asia Pacific (Seoul)

  • Asien-Pazifik (Singapur)

  • Asien-Pazifik (Sydney)

  • Asien-Pazifik (Tokio)

  • Canada (Central)

  • Europe (Frankfurt)

  • Europa (Irland)

  • Europa (London)

  • Europe (Paris)

  • Europa (Stockholm)

  • Südamerika (São Paulo)

  • US East (Ohio)

  • USA Ost (Nord-Virginia)

  • USA West (Oregon)

Überlegungen und Einschränkungen

Beachten Sie Folgendes, wenn Sie Spark Connect mit AWS Glue interaktiven Sitzungen verwenden:

  • Spark Connect ist für AWS Glue interaktive Sitzungen mit AWS Glue Version 5.1 und höher verfügbar.

  • Statement-APIs (RunStatement, CancelStatementGetStatement, undListStatements) werden für Spark Connect-Sitzungen nicht unterstützt. Sie interagieren direkt über den PySpark Client mit der Sitzung.

  • Sie können den Sitzungstyp nicht ändern, nachdem Sie eine Sitzung erstellt haben. Um zwischen Livy und Spark Connect zu wechseln, müssen Sie eine neue Sitzung erstellen.

  • Spark Connect wird auf nicht unterstützt AWS Glue Studio. Für die interaktive Entwicklung können Sie Notebooks in SageMaker Unified Studio oder Ihre bevorzugten IDEs mit Python-Interpretern verwenden. AWS Glue

  • Fine-grained Die Zugriffskontrolle über Lake Formation wird für Spark Connect-Sitzungen nicht unterstützt.