# Apache Spark 세션에 대한 로깅 및 모니터링
릴리스 Apache Spark 버전 3.5 이상에서는 관리형, Amazon S3 또는 CloudWatch 로깅을 로깅 옵션으로 지정할 수 있습니다.
다음 표에서는 관리형 로깅 및 S3 로깅을 사용할 때 해당 옵션을 선택하는 경우 예상할 수 있는 로그 위치와 UI 가용성을 나열합니다.
****
| 옵션 | 이벤트 로그 | 컨테이너 로그 | 애플리케이션 UI |
| --- | --- | --- | --- |
| 관리형 로깅(기본값) | 관리형 S3 버킷에 저장됨 | 관리형 S3 버킷에 저장됨 | 지원됨 |
| 관리형 로깅 및 S3 버킷 모두 | 두 장소에 모두 저장됨 | S3 버킷에 저장됨 | 지원됨 |
| Amazon S3 버킷 | S3 버킷에 저장됨 | S3 버킷에 저장됨 | 지원되지 않음1 |
1 관리형 로깅 옵션을 선택한 상태로 유지하는 것이 좋습니다. 그렇지 않으면 기본 제공 애플리케이션 UI를 사용할 수 없습니다.
## 관리형 로깅
기본적으로 Athena Spark 작업 그룹은 애플리케이션 로그를 최대 30일 동안 서비스 관리형 S3 버킷에 안전하게 저장합니다.
선택적으로 서비스가 관리형 로그를 암호화하는 데 사용할 KMS 키(키 ID, ARN, 별칭 또는 별칭 ARN)를 제공할 수 있습니다.
```
aws athena start-session \
--work-group "WORKGROUP" \
--monitoring-configuration '{
"ManagedLoggingConfiguration": {
"Enabled": true,
"KmsKey": "KMS_KEY"
},
}'
--engine-configuration ''
```
**참고**
관리형 로깅을 끄면 Athena가 사용자를 대신하여 세션 문제를 해결할 수 없습니다. 예제: Amazon SageMaker AI Studio 노트북에서 또는 `GetResourceDashboard` API를 사용하여 Spark-UI에 액세스하지 않습니다.
AWS CLI에서 이 옵션을 끄려면 대화형 세션을 시작할 때 `ManagedLoggingConfiguration` 구성을 사용합니다.
```
aws athena start-session \
--work-group "WORKGROUP" \
--monitoring-configuration '{
"ManagedLoggingConfiguration": {
"Enabled": false
},
}'
--engine-configuration ''
```
### 관리형 로깅에 필요한 권한
KMS 키를 제공한 경우 실행 역할에 대한 권한 정책에 다음 권한이 필요합니다.
```
{
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Effect": "Allow"
}
```
## Amazon S3 로깅
Amazon S3 버킷으로 로그 전송을 구성할 수 있습니다.
AWS CLI에서 S3 로그 전송을 활성화하려면 대화형 세션을 시작할 때 `S3LoggingConfiguration` 구성을 사용합니다.
```
aws athena start-session \
--work-group "WORKGROUP" \
--monitoring-configuration '{
"S3LoggingConfiguration": {
"Enabled":true,
"LogLocation": "s3://bucket/",
},
}'
--engine-configuration ''
```
선택적으로 서비스가 S3 로그를 암호화하는 데 사용할 KMS 키(키 ID, ARN, 별칭 또는 별칭 ARN)를 제공할 수 있습니다.
```
aws athena start-session \
--work-group "WORKGROUP" \
--monitoring-configuration '{
"S3LoggingConfiguration": {
"Enabled":true,
"LogLocation": "s3://bucket/",
"KmsKey": "KMS_KEY"
},
}'
--engine-configuration ''
```
### Amazon S3에 로그를 전송하는 데 필요한 권한
세션에서 Amazon S3 버킷으로 로그 데이터를 전송하려면 먼저 실행 역할에 대한 권한 정책에 다음 권한을 포함합니다.
```
{
"Action": "s3:*",
"Resource": "*",
"Effect": "Allow"
}
```
KMS 키를 제공한 경우 실행 역할에 대한 권한 정책에 다음 권한도 필요합니다.
```
{
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*",
"Effect": "Allow"
}
```
kms 키와 버킷이 동일한 계정에서 생성되지 않은 경우 KMS는 S3 서비스 위탁자를 허용해야 합니다.
```
{
"Effect": "Allow",
"Principal": { "Service": "s3.amazonaws.com" },
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:GenerateDataKey*"
],
"Resource": "*",
"Condition": {
"StringEquals": {
"aws:SourceAccount": "ACCOUNT_HAVING_KMS_KEY"
}
}
}
```
## CloudWatch 로깅
CloudWatch 로그 그룹으로 로그 전송을 구성할 수 있습니다.
AWS CLI에서 S3 로그 전송을 활성화하려면 대화형 세션을 시작할 때 `CloudWatchLoggingConfiguration` 구성을 사용합니다.
```
aws athena start-session \
--work-group "WORKGROUP" \
--monitoring-configuration '{
"CloudWatchLoggingConfiguration": {
"Enabled": true,
"LogGroup": "/aws/athena/sessions/${workgroup}",
"LogStreamNamePrefix": "session-"
}
}'
--engine-configuration ''
```
모든 로그는 기본적으로 전송되지만 선택적으로 포함할 로그 유형을 지정할 수 있습니다.
```
aws athena start-session \
--work-group "WORKGROUP" \
--monitoring-configuration '{
"CloudWatchLoggingConfiguration": {
"Enabled": true,
"LogGroup": "/aws/athena/sessions/${workgroup}",
"LogStreamNamePrefix": "session-",
"LogTypes": {
"SPARK_DRIVER": [
"STDOUT",
"STDERR"
],
"SPARK_EXECUTOR": [
"STDOUT",
"STDERR"
]
}
}
}'
--engine-configuration ''
```
### CloudWatch에 로그를 전송하는 데 필요한 권한
세션에서 CloudWatch 로그 그룹으로 로그 데이터를 전송하려면 먼저 실행 역할에 대한 권한 정책에 다음 권한을 포함합니다.
```
{
"Action": [
"logs:CreateLogGroup",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:DescribeLogGroups",
"logs:DescribeLogStreams"
],
"Resource": "*",
"Effect": "Allow"
}
```
그리고 KMS 키 리소스 정책에 다음 권한을 포함합니다.
```
{
"Effect": "Allow",
"Principal": {
"Service": "logs..amazonaws.com"
},
"Action": [
"kms:Encrypt",
"kms:Decrypt",
"kms:ReEncrypt*",
"kms:GenerateDataKey*",
"kms:DescribeKey"
],
"Resource": "*"
}
```
## 작업 그룹에서 로깅 기본값 구성
또한 작업 그룹 수준에서 기본 로깅 옵션을 지정할 수 있습니다.
작업 그룹에 대한 AWS CLI에서 기본 로깅 옵션을 지정하려면 새 작업 그룹을 생성할 때 `monitoring-configuration` 구성을 사용합니다.
```
aws athena create-work-group \
--region "REGION" \
--name "WORKGROUP_NAME" \
--monitoring-configuration '{
"CloudWatchLoggingConfiguration": {
"Enabled": true,
"LogGroup": "/aws/athena/sessions/${workgroup}",
"LogStreamNamePrefix": "session-",
"LogTypes": {
"SPARK_DRIVER": [
"STDOUT",
"STDERR"
],
"SPARK_EXECUTOR": [
"STDOUT",
"STDERR"
]
}
},
"ManagedLoggingConfiguration": {
"Enabled": true,
"KmsKey": "KMS_KEY"
},
"S3LoggingConfiguration": {
"Enabled": true,
"KmsKey": "KMS_KEY"
"LogLocation": "s3://bucket/",
"LogTypes": {
"SPARK_DRIVER": [
"STDOUT",
"STDERR"
],
"SPARK_EXECUTOR": [
"STDOUT",
"STDERR"
]
}
}
}'
```
작업 그룹에 대한 AWS CLI에서 기본 로깅 옵션을 수정하려면 작업 그룹을 업데이트할 때 `monitoring-configuration` 구성을 사용합니다. 변경 사항은 이후 새로운 대화형 세션에 적용됩니다.
```
aws athena update-work-group \
--region "REGION" \
--work-group "WORKGROUP_NAME"
--monitoring-configuration '{
"CloudWatchLoggingConfiguration": {
"Enabled": true,
"LogGroup": "/aws/athena/sessions/${workgroup}",
"LogStreamNamePrefix": "session-",
"LogTypes": {
"SPARK_DRIVER": [
"STDOUT",
"STDERR"
],
"SPARK_EXECUTOR": [
"STDOUT",
"STDERR"
]
}
},
"ManagedLoggingConfiguration": {
"Enabled": true,
"KmsKey": "KMS_KEY"
},
"S3LoggingConfiguration": {
"Enabled": true,
"KmsKey": "KMS_KEY"
"LogLocation": "s3://bucket/",
"LogTypes": {
"SPARK_DRIVER": [
"STDOUT",
"STDERR"
],
"SPARK_EXECUTOR": [
"STDOUT",
"STDERR"
]
}
}
}'
```