Spark UI에 액세스

Apache Spark UI는 실행 중 및 완료된 Spark 작업에 대한 자세한 정보와 함께 시각적 인터페이스를 제공합니다. 네이티브 Apache Spark UI를 사용하여 Athena Spark에서 대화형 세션을 모니터링하고 디버깅할 수 있습니다. 여기에서 각 Spark 작업의 이벤트 타임라인, 스테이지, 태스크 및 실행기에 대한 작업별 지표와 정보를 자세히 살펴볼 수 있습니다.

Spark UI에 액세스

Athena Spark 대화형 세션을 시작한 후 Amazon SageMaker AI Unified Studio 노트북에서 실행 중인 세션에 대한 실시간 Spark UI를 보거나 GetResourceDashboard API를 사용하여 보안 URL을 요청할 수 있습니다. 완료된 세션의 경우 Amazon SageMaker AI Unified Studio 노트북, Amazon Athena 콘솔 또는 동일한 API를 사용하여 Spark 기록 서버를 볼 수 있습니다.

aws athena get-resource-dashboard \
  --region "REGION" \
  --session-id "SESSION_ID"

Spark UI에 액세스하는 데 필요한 권한

Spark UI에 액세스하려면 먼저 사용자 또는 역할에 대한 권한 정책에 다음 권한을 포함합니다.

{
    "Action": "athena:GetResourceDashboard",
    "Resource": "WORKGROUP",
    "Effect": "Allow"
}