Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Caratteristiche e funzionalità
Piattaforme supportate
-
Linguaggi: applicazioni Python e Scala Spark
-
Piattaforme di destinazione: Amazon EMR su EC2, EMR Serverless, EMR su EKS e Glue AWS
Come funziona
Quando l'applicazione Spark fallisce, puoi utilizzare l'agente di risoluzione dei problemi per indagare automaticamente su cosa è andato storto. Analizza i registri degli eventi di Spark, i messaggi di errore e l'utilizzo delle risorse per individuare il problema esatto, che si tratti di un esecutore Spark che sta esaurendo la memoria, di un errore di configurazione o di un bug del codice.
Quando richiedi un prompt in linguaggio naturale per analizzare il tuo carico di lavoro Spark, l'agente si connette alle risorse della tua piattaforma ed estrae le funzionalità (che includono registri degli eventi Spark, piani di query, timeline degli esecutori, tracce di registro, configurazioni e metriche):
-
Attivo EMR-EC2: si connette all'interfaccia utente persistente EMR per il cluster
-
On Glue: crea il contesto dall'interfaccia utente Spark di Glue Studio per il lavoro
-
Attivo EMR-Serverless: si connette a EMR-Serverless Spark History Server per il lavoro
-
Su EMR su EKS: si connette all'interfaccia utente persistente EMR per il lavoro.
-
L'agente analizza anche le tracce dello stack di errori e i dettagli di configurazione per fornirti informazioni utili.
Per i carichi di lavoro non riusciti, ottieni una chiara spiegazione della causa principale e i passaggi specifici per risolverli. Se l'agente rileva un problema relativo al codice, fornisce automaticamente consigli sul codice per mostrarti esattamente cosa modificare nel codice. Puoi anche richiedere suggerimenti a livello di codice direttamente ogni volta che li desideri senza l'analisi completa.
Regioni disponibili
Lo Spark Troubleshooting Agent è disponibile nelle seguenti regioni:
-
Asia Pacifico: Tokyo (ap-northeast-1), Seul (ap-northeast-2), Singapore (ap-southeast-1), Sydney (ap-southeast-2) e Mumbai (ap-southeast-2) e Mumbai (ap-south-1)
-
Nord America: Canada (ca-central-1)
-
Europa: Stoccolma (eu-north-1), Irlanda (eu-west-1), Londra (eu-west-2), Parigi (eu-west-3) e Francoforte (eu-central-1)
-
Sud America: San Paolo (sa-east-1)
-
Stati Uniti: Virginia del Nord (us-east-1), Ohio (us-east-2) e Oregon (us-west-2)
Ambito di applicazione della risoluzione dei problemi di Spark e requisiti utente
-
Stati di carico di lavoro Spark supportati: gli strumenti supporteranno solo le risposte per i carichi di lavoro Spark non riusciti.
-
Interfaccia utente persistente EMR: durante l'analisi di Amazon EMR su EC2 ed EMR sui carichi di lavoro EKS, lo strumento di analisi tenterà di connettersi all'interfaccia utente persistente di EMR per recuperare le informazioni chiave di Spark. Le considerazioni relative all'interfaccia utente persistente di EMR sono documentate qui.
-
Interfaccia utente Glue Studio Spark: durante l'analisi dei carichi di lavoro di AWS Glue, lo strumento di analisi tenterà di recuperare le informazioni chiave di Spark analizzando i registri degli eventi Spark dell'utente da Amazon S3. La dimensione massima consentita del registro degli eventi Spark è documentata qui: 512 MB e 2 GB per i log in sequenza.
-
Codice consigliato: supportato solo per i carichi di lavoro Amazon EMR su EC2, EMR Serverless, EMR su EKS e Glue AWS PySpark
-
Risorse regionali: lo Spark Troubleshooting Agent è regionale e utilizza le risorse EMR sottostanti in quella regione per il processo di risoluzione dei problemi. Cross-region la risoluzione dei problemi non è supportata.
