View a markdown version of this page

Risoluzione dei problemi - Amazon SageMaker AI
Risolvi i problemi relativi alle connessioni Livy che si bloccano o non funzionano

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risoluzione dei problemi

Quando lavori con cluster Amazon EMR dai notebook Studio o Studio Classic, potresti riscontrare problemi o difficoltà durante il processo di connessione o utilizzo. Per aiutarti a risolvere questi errori, la presente sezione fornisce indicazioni sui problemi più comuni che potrebbero insorgere.

Di seguito sono elencati gli errori più comuni che potrebbero verificarsi durante la connessione o l’utilizzo di cluster Amazon EMR dai notebook Studio o Studio Classic.

Risolvi i problemi relativi alle connessioni Livy che si bloccano o non funzionano

Di seguito sono elencati gli errori di connettività Livy che potrebbero verificarsi durante l’utilizzo di cluster Amazon EMR dai notebook Studio o Studio Classic.

  • Il tuo cluster Amazon EMR ha riscontrato un errore di esaurimento della memoria.

    Tra i motivi per cui una connessione Livy tramite sparkmagic si blocca o non funziona può esservi un errore di esaurimento della memoria riscontrato dal Amazon EMR.

    Per impostazione predefinita, il parametro di configurazione del driver Apache Spark, spark.driver.defaultJavaOptions, è impostato su -XX:OnOutOfMemoryError='kill -9 %p'. Ciò significa che l'azione predefinita svolta quando il programma driver rileva un OutOfMemoryError consiste nel terminare il programma driver inviando un segnale SIGKILL. Quando il driver Apache Spark viene terminato, qualsiasi connessione Livy tramite sparkmagic che dipende da quel driver si blocca o fallisce. Ciò avviene perché il driver Spark è responsabile della gestione delle risorse dell'applicazione Spark, ivi comprese la pianificazione e l'esecuzione delle attività. Senza il driver, l'applicazione Spark non può funzionare e qualsiasi tentativo di interagire con essa fallisce.

    Se sospetti che il tuo cluster Spark abbia problemi di memoria, puoi controllare i log di Amazon EMR. I container interrotti a causa di errori di memoria insufficiente generano solitamente un codice 137. In questi casi, è necessario riavviare l'applicazione Spark e stabilire una nuova connessione Livy per riprendere l'interazione con il cluster Spark.

    Puoi fare riferimento all'articolo della knowledge base Come posso risolvere l'errore «Container ucciso da YARN per aver superato i limiti di memoria» in Spark su Amazon EMR? qui AWS re:Post per scoprire varie strategie e parametri che possono essere utilizzati per risolvere un problema di esaurimento della memoria.

    Ti consigliamo di consultare le guide alle migliori pratiche di Amazon EMR per le migliori pratiche e gli orientamenti di ottimizzazione sull'esecuzione dei carichi di lavoro Apache Spark sui tuoi cluster Amazon EMR.

  • La sessione Livy scade durante la prima connessione a un cluster Amazon EMR.

    Quando ti connetti inizialmente a un cluster Amazon EMR utilizzando sagemaker-studio-analytics-extension, che consente la connessione a un cluster Spark (Amazon EMR) remoto tramite la libreria utilizzando Apache Livy, potresti riscontrare un errore di timeout della connessione: SparkMagic

    An error was encountered: Session 0 did not start up in 60 seconds.

    Se il tuo cluster Amazon EMR richiede l'inizializzazione di un'applicazione Spark al momento di stabilire una connessione, c'è una maggiore possibilità di riscontrare errori di timeout della connessione.

    Per ridurre le possibilità che si verifichino dei timeout durante la connessione a un cluster Amazon EMR, utilizza Livy tramite l'estensione di analisi, sagemaker-studio-analytics-extension versione 0.0.19 e successivamente sostituisci il timeout predefinito della sessione del server a 120 secondi anziché il valore di default di sparkmagic pari a 60 secondi.

    Consigliamo di aggiornare l'estensione 0.0.18 e prima eseguendo il seguente comando di upgrade.

    pip install --upgrade sagemaker-studio-analytics-extension

    Tieni presente che quando fornisci una configurazione di timeout personalizzata in sparkmagic, sagemaker-studio-analytics-extension rispetta questa sovrascrittura. Tuttavia, l'impostazione del timeout della sessione su 60 secondi attiva automaticamente il timeout della sessione del server predefinito pari a 120 secondi in sagemaker-studio-analytics-extension.