고려 사항 및 제한 사항
Apache Spark 버전 3.5
다음은 릴리스 버전 Apache Spark 버전 3.5에 대한 고려 사항 및 제한 사항입니다.
-
이 릴리스 버전은 다음 AWS 리전에서 사용 가능합니다.
-
아시아 태평양(뭄바이)
-
아시아 태평양(서울)
-
아시아 태평양(싱가포르)
-
아시아 태평양(시드니)
-
아시아 태평양(도쿄)
-
캐나다(중부)
-
유럽(프랑크푸르트)
-
유럽(아일랜드)
-
유럽(런던)
-
유럽(파리)
-
유럽(스톡홀름)
-
남아메리카(상파울루)
-
미국 동부(버지니아 북부)
-
미국 동부(오하이오)
-
미국 서부(오리건)
-
-
이 엔진 버전은 Athena 콘솔 내 노트북 또는 노트북 API를 지원하지 않습니다. 대신 이 버전은 Amazon SageMaker AI Unified Studio 노트북에 통합됩니다. 호환되는 Spark Connect 클라이언트를 사용할 수도 있습니다.
-
계산 API -
StartCalculationExecution,ListCalculationExecutions및GetCalculationExecution은 이 릴리스에서 지원되지 않습니다. -
작업 그룹을 PySpark 엔진 버전 3에서 Apache Spark 버전 3.5로 업그레이드할 수 없습니다.
Pyspark 엔진 버전 3
다음은 릴리스 버전 Pyspark 엔진 버전 3에 대한 고려 사항 및 제한 사항입니다.
-
이 릴리스 버전은 다음 AWS 리전에서 사용 가능합니다.
-
아시아 태평양(뭄바이)
-
아시아 태평양(싱가포르)
-
아시아 태평양(시드니)
-
아시아 태평양(도쿄)
-
유럽(프랑크푸르트)
-
유럽(아일랜드)
-
미국 동부(버지니아 북부)
-
미국 동부(오하이오)
-
미국 서부(오리건)
-
-
AWS Lake Formation는 지원되지 않습니다.
-
파티션 프로젝션을 사용하는 테이블은 지원되지 않습니다.
-
Apache Spark 지원 작업 그룹은 Athena 노트북 편집기를 사용할 수 있지만 Athena 쿼리 편집기는 사용할 수 없습니다. Athena SQL 작업 그룹만 Athena 쿼리 편집기를 사용할 수 있습니다.
-
교차 리전 보기 쿼리는 지원되지 않습니다. Athena SQL에서 생성된 보기는 Athena for Spark에서 쿼리할 수 없습니다. 두 엔진의 보기는 다르게 구현되므로 엔진 간에 교차하여 사용할 수 없습니다.
-
MLlib(Apache Spark 기계 학습 라이브러리) 및
pyspark.ml패키지는 지원되지 않습니다. 지원되는 Python 라이브러리 목록은 사전 설치된 Python 라이브러리 목록 단원을 참조하세요. -
현재
pip install은 Athena for Spark 세션에서 지원되지 않습니다. -
노트북당 하나의 활성 세션만 허용됩니다.
-
여러 사용자가 콘솔을 사용하여 작업 그룹의 기존 세션을 열 때 동일한 노트북에 액세스합니다. 혼동을 피하려면 직접 생성한 세션만 여세요.
-
Amazon Athena와 함께 사용할 수 있는 Apache Spark 애플리케이션용 호스팅 도메인(예:
analytics-gateway.us-east-1.amazonaws.com)은 인터넷 PSL(Public Suffix List)에 등록됩니다. 도메인에 민감한 쿠키를 설정해야 하는 경우 사이트 간 요청 위조(CSRF) 시도로부터 도메인을 보호할 수 있도록 __Host-접두사가 붙은 쿠키를 사용하는 것이 좋습니다. 자세한 내용은 Mozilla.org 개발자 설명서의 Set-Cookie페이지를 참조하세요. -
Athena의 Spark 노트북, 세션 및 작업 그룹 문제 해결에 대한 자세한 내용은 Athena for Spark 문제 해결 단원을 참조하세요.
