Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Funktionen und Fähigkeiten
Unterstützte Plattformen
-
Sprachen: Python- und Scala Spark-Anwendungen
-
Zielplattformen: Amazon EMR auf EC2, EMR Serverless, EMR auf EKS und Glue AWS
So funktioniert’s
Wenn Ihre Spark-Anwendung ausfällt, können Sie den Troubleshooting-Agenten verwenden, um automatisch zu untersuchen, was schief gelaufen ist. Er analysiert Ihre Spark-Ereignisprotokolle, Fehlermeldungen und die Ressourcennutzung, um das genaue Problem zu lokalisieren — unabhängig davon, ob es sich um einen Spark-Executor handelt, dem der Speicher ausgeht, ein Konfigurationsfehler oder ein Code-Bug.
Wenn Sie eine Aufforderung in natürlicher Sprache bitten, Ihren Spark-Workload zu analysieren, stellt der Agent eine Verbindung zu den Ressourcen Ihrer Plattform her und extrahiert Funktionen (dazu gehören Spark-Ereignisprotokolle, Abfragepläne, Executor-Zeitpläne, Log-Traces, Konfigurationen und Metriken):
-
An EMR-EC2: Es stellt eine Verbindung zur EMR Persistent UI für den Cluster her
-
Auf Glue: Es erstellt den Kontext aus der Spark-Benutzeroberfläche von Glue Studio für den Job
-
On EMR-Serverless: Es stellt eine Verbindung zum EMR-Serverless Spark History Server für den Job her
-
Auf EMR auf EKS: Es stellt eine Verbindung zur EMR Persistent UI für den Job her.
-
Der Agent analysiert auch Ihre Error-Stack-Traces und Konfigurationsdetails, um Ihnen umsetzbare Erkenntnisse zu geben.
Bei ausgefallenen Workloads erhalten Sie eine klare Erklärung der Ursache und konkrete Schritte zur Behebung des Problems. Wenn der Agent ein Problem im Zusammenhang mit dem Code erkennt, gibt er automatisch Codeempfehlungen, die Ihnen genau zeigen, was Sie an Ihrem Code ändern müssen. Sie können auch jederzeit direkt Vorschläge auf Codeebene anfordern, ohne dass eine vollständige Analyse erforderlich ist.
Verfügbare Regionen
Der Spark Troubleshooting Agent ist in den folgenden Regionen verfügbar:
-
Asien-Pazifik: Tokio (ap-northeast-1), Seoul (ap-northeast-2), Singapur (ap-southeast-1), Sydney (ap-southeast-2) und Mumbai (ap-south-1)
-
Nordamerika: Kanada (ca-central-1)
-
Europa: Stockholm (eu-north-1), Irland (eu-west-1), London (eu-west-2), Paris (eu-west-3) und Frankfurt (eu-central-1)
-
Südamerika: São Paulo (sa-east-1)
-
Vereinigte Staaten: Nord-Virginia (us-east-1), Ohio (us-east-2) und Oregon (US-West-2)
Umfang der Spark-Fehlerbehebung und Benutzeranforderungen
-
Status der unterstützten Spark-Workloads: Die Tools unterstützen nur Antworten auf fehlgeschlagene Spark-Workloads.
-
Persistent EMR UI: Bei der Analyse von Amazon EMR auf EC2- und EMR auf EKS-Workloads versucht das Analysetool, eine Verbindung mit EMR Persistent UI herzustellen, um wichtige Spark-Informationen abzurufen. Überlegungen zur persistenten Benutzeroberfläche von EMR sind hier dokumentiert.
-
Glue Studio Spark-Benutzeroberfläche: Bei der Analyse von AWS Glue-Workloads versucht das Analysetool, wichtige Spark-Informationen abzurufen, indem es die Spark-Ereignisprotokolle des Benutzers aus Amazon S3 analysiert. Die maximal zulässige Größe des Spark-Ereignisprotokolls ist hier dokumentiert: 512 MB und 2 GB für fortlaufende Logs.
-
Codeempfehlungen: Wird nur für Amazon EMR auf EC2-, EMR Serverless-, EMR auf EKS- und Glue-Workloads unterstützt AWS PySpark
-
Regionale Ressourcen: Der Spark Troubleshooting Agent ist regional und verwendet die zugrunde liegenden EMR-Ressourcen in dieser Region für den Fehlerbehebungsprozess. Cross-region Fehlerbehebung wird nicht unterstützt.
