기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 문제 해결
Studio 또는 Studio Classic 노트북의 Amazon EMR 클러스터를 사용할 때 연결 또는 사용 프로세스 중에 다양한 잠재적 문제 또는 문제가 발생할 수 있습니다. 이러한 문제와 오류를 해결하는 데 도움이 되도록 이 섹션에서는 발생할 수 있는 일반적인 문제에 대한 지침을 제공합니다.
다음은 Studio 또는 Studio Classic 노트북에서 Amazon EMR 클러스터를 연결 또는 사용하는 동안 발생할 수 있는 일반적인 오류입니다.
## Livy 연결이 중단 또는 실패하는 문제의 해결
다음은 Studio 또는 Studio Classic 노트북에서 Amazon EMR 클러스터를 사용하는 동안 발생할 수 있는 Livy 연결 문제입니다.
+ **Amazon EMR 클러스터에서 메모리 부족 오류가 발생했습니다.**
Amazon EMR 클러스터에서 메모리 부족 오류가 발생한 경우 `sparkmagic`을 통한 Livy 연결이 중단되거나 실패할 수 있습니다.
기본적으로 Apache Spark 드라이버 `spark.driver.defaultJavaOptions`의 Java 구성 파라미터는 `-XX:OnOutOfMemoryError='kill -9 %p'`로 설정되어 있습니다. 즉, 드라이버 프로그램에서 `OutOfMemoryError`가 발생할 때 실행하는 기본 작업은 SIGKILL 신호를 전송하여 드라이버 프로그램을 종료하는 것입니다. Apache Spark 드라이버가 종료되면 해당 드라이버를 활용하는 `sparkmagic`을 통한 모든 Livy 연결이 중단되거나 실패합니다. 이는 Spark 드라이버가 태스크 예약 및 실행을 포함한 Spark 애플리케이션의 리소스 관리를 담당하기 때문입니다. 드라이버가 없으면 Spark 애플리케이션이 작동하지 않으며 이와 상호 작용하려는 모든 시도가 실패합니다.
Spark 클러스터에 메모리 문제가 발생한 것으로 의심되는 경우 [Amazon EMR 로그](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-view-web-log-files.html)를 확인하면 됩니다. 메모리 부족 오류로 인해 종료된 컨테이너는 일반적으로 코드 `137`로 종료됩니다. 이러한 경우 Spark 애플리케이션을 다시 시작하고 새 Livy 연결을 설정하여 Spark 클러스터와의 상호 작용을 재개해야 합니다.
[Amazon EMR의 Spark에서 지식 기반 문서 "메모리 제한을 초과하여 YARN에 의해 종료된 컨테이너" 오류를 해결하려면 어떻게 해야 합니까?를](https://repost.aws/knowledge-center/emr-spark-yarn-memory-limit) 참조할 수 있습니다. 의 AWS re:Post 에서 out-of-memory 문제를 해결하는 데 사용할 수 있는 다양한 전략과 파라미터에 대해 알아봅니다.
[Amazon EMR 모범 사례 안내서](https://aws.github.io/aws-emr-best-practices/)를 통해 Amazon EMR 클러스터에서 Apache Spark 워크로드를 실행하는 모범 사례와 조정 지침을 검토하는 것이 좋습니다.
+ **처음으로 Amazon EMR 클러스터에 연결할 때는 Livy 세션 제한 시간이 초과됩니다.**
[Apache Livy](https://livy.apache.org/)를 사용하여 [SparkMagic](https://github.com/jupyter-incubator/sparkmagic) 라이브러리를 통해 원격 Spark(Amazon EMR) 클러스터 연결을 구현하는 [sagemaker-studio-analytics-extension](https://pypi.org/project/sagemaker-studio-analytics-extension/)으로 Amazon EMR 클러스터에 처음 연결할 경우 연결 제한 시간 초과 오류가 발생할 수 있습니다.
`An error was encountered: Session 0 did not start up in 60 seconds.`
연결 설정 시 Amazon EMR 클러스터에서 Spark 애플리케이션을 초기화해야 하는 경우 연결 제한 시간 초과 오류가 발생할 가능성이 높아집니다.
분석 확장 프로그램인 `sagemaker-studio-analytics-extension` 버전 `0.0.19` 이상을 통해 Livy를 사용하여 Amazon EMR 클러스터에 연결할 때 제한 시간 초과가 발생할 가능성을 줄이려면 기본 서버 세션 제한 시간을 `sparkmagic`의 기본값인 `60`초 대신 `120`초로 재정의합니다.
다음 업그레이드 명령을 실행하여 확장 프로그램 `0.0.18`을 더 빠르게 업그레이드하는 것이 좋습니다.
```
pip install --upgrade sagemaker-studio-analytics-extension
```
`sparkmagic`에서 사용자 지정 제한 시간 구성을 제공할 경우 `sagemaker-studio-analytics-extension`에 재정의가 적용됩니다. 하지만 세션 제한 시간을 `60`초로 설정하면 `sagemaker-studio-analytics-extension`에서 기본 서버 세션 제한 시간인 `120`초마다 자동으로 트리거됩니다.