Amazon Redshift는 패치 198부터 새 Python UDF 생성을 더 이상 지원하지 않습니다. 기존 Python UDF는 2026년 6월 30일까지 계속 작동합니다. 자세한 내용은 블로그 게시물
Amazon Redshift Spectrum의 지표
이 주제에서는 데이터 레이크 쿼리를 모니터링하는 데 사용할 수 있는 시스템 뷰에 대해 설명합니다.
다음 시스템 뷰를 사용하여 데이터 레이크 쿼리를 모니터링할 수 있습니다.
-
세그먼트 및 노드 슬라이스 수준에서 데이터 레이크 쿼리에 대한 세부 정보를 보려면 SVL_S3QUERY 뷰를 사용합니다.
-
시스템에서 실행된 모든 데이터 레이크 쿼리의 요약을 보려면 SVL_S3QUERY_SUMMARY 뷰를 사용합니다.
다음은 SVL_S3QUERY_SUMMARY에서 찾아봐야 할 몇 가지입니다.
-
Redshift Spectrum 쿼리에 의해 처리된 파일 수.
-
Amazon S3에서 스캔한 바이트 수. Redshift Spectrum 쿼리 비용은 Amazon S3에서 스캔된 데이터 양에 반영됩니다.
-
Redshift Spectrum 계층에서 클러스터로 반환된 바이트의 수. 반환되는 데이터의 양이 많으면 시스템 성능에 영향을 줄 수 있습니다.
-
Redshift Spectrum 요청의 최대 지속 시간 및 평균 지속 시간. 요청이 오랫동안 실행되고 있다면 병목 현상이 발생한 것일 수 있습니다.
RG 프로비저닝된 클러스터에 대한 참고 사항
RG 프로비저닝된 클러스터에서 Redshift Spectrum 쿼리는 RA3 및 DC2 프로비저닝된 클러스터에 사용되는 전용 Spectrum 플릿이 아닌 클러스터의 자체 컴퓨팅에서 실행됩니다. SVL_S3QUERY 및 SVL_S3QUERY_SUMMARY는 RG 클러스터에서 계속 채워집니다. 다음 열은 다른 의미 체계를 갖거나 더 이상 사용되지 않습니다.
RG 프로비저닝된 클러스터에서 다른 의미 체계로 채워지는 열
RA3 및 DC2 프로비저닝된 클러스터에서 이러한 열은 클러스터와 Spectrum 플릿 간에 이동하는 행, 바이트 및 작업 단위를 설명합니다. RG 프로비저닝된 클러스터에서는 이러한 열이 클러스터의 네이티브 리더가 수행하는 것과 동일한 작업을 설명합니다.
s3_scanned_rows - 클러스터의 네이티브 리더가 Amazon S3에서 직접 읽은 행입니다(필터 적용 전).
s3_scanned_bytes - 클러스터의 네이티브 리더가 처리한 총 스캔 범위 크기로, 바이트 단위입니다.
s3query_returned_rows - 클러스터의 네이티브 리더가 필터 적용 후 생성한 행입니다.
s3query_returned_bytes - 클러스터의 네이티브 리더가 필터 적용 후 생성한 바이트입니다.
splits - 클러스터의 네이티브 리더가 사용한 스캔 범위의 수입니다.
total_split_size - 사용된 모든 스캔 범위의 총 크기로, 바이트 단위입니다.
max_split_size - 사용된 가장 큰 스캔 범위의 크기로, 바이트 단위입니다.
RG 프로비저닝된 클러스터에서 더 이상 사용되지 않는 열
이러한 열은 RG에 존재하지 않는 Spectrum 플릿 개념을 설명합니다. RG 클러스터에서는 이러한 열이 STL_S3QUERY에서 -1로 로깅되므로 SVL_S3QUERY 및 SVL_S3QUERY_SUMMARY에서 -1로 표시되거나 의미가 없습니다.
total_retries, max_retries - RG에서는 Amazon S3 클라이언트 수준에서 재시도가 발생합니다. 재시도 세부 정보는 STL_S3CLIENT 및 STL_S3CLIENT_ERROR를 참조하세요.
max_request_duration, avg_request_duration - RG는 Spectrum 요청 모델을 사용하지 않습니다.
max_request_parallelism, avg_request_parallelism - RG는 Spectrum 요청 토큰을 사용하지 않습니다.
slowdown_count, max_concurrent_slowdown_count - RG에서는 Amazon S3 속도 저하가 STL_S3CLIENT에서 추적됩니다.
RG 클러스터에 대해 집계된 쿼리별 지표(파티션, 스캔한 파일, 반환된 행 및 바이트, 파일 형식, 파일 위치, 목록 및 파티션 가져오기 타이밍)를 보려는 경우 SYS_EXTERNAL_QUERY_DETAIL 모니터링 뷰를 사용할 수도 있습니다.
