配置 Amazon EMR 集群日志记录和调试

系统日志：EMR 守护程序日志

应用程序日志：来自 Hadoop、Spark、Hive 和集群上运行的其他应用程序的框架日志

永久用户界面日志：永久性应用程序（ UIs 例如 Spark History Server 和 Tez UI）所需的日志

步骤日志：这些日志由 Amazon EMR 服务生成，包含集群的相关信息和每个步骤的结果。日志文件存储在主节点上的 /mnt/var/log/hadoop/steps/ 目录中。每个步骤都将其结果记录在单独编号的子目录中：第一步的子目录为 /mnt/var/log/hadoop/steps/s-stepId1/，第二步为 /mnt/var/log/hadoop/steps/s-stepId2/，依此类推。13 个字符的步骤标识符 (如 stepId1、stepId2) 对集群来说是唯一的。

Hadoop 和 YARN 组件日志 — 与 Apache YARN 和 MapReduce（例如）关联的组件的日志包含在所有节点的单独文件夹中/mnt/var/log。/mnt/var/log 下 Hadoop 组件的日志文件位置有：hadoop-hdfs、hadoop-mapreduce、hadoop-httpfs 和 hadoop-yarn。该hadoop-state-pusher 目录用于存放 Hadoop 状态推送器进程的输出。

引导操作日志：如果您的任务使用引导操作，则会记录这些操作的结果。日志文件存储在所有节点上的/mnt/var/log/bootstrap-actions/ 中。每个引导操作都将其结果记录在单独编号的子目录中：第一个引导操作的子目录为 /mnt/var/log/bootstrap-actions/1/、第二个引导操作为 /mnt/var/log/bootstrap-actions/2/，依此类推。

实例状态日志：这些日志提供有关 CPU、内存状态和节点的垃圾收集器线程的信息。日志文件存储在所有节点/mnt/var/log/instance-state/上。

用于您的集群的 Amazon EC2 实例配置文件必须有权使用 kms:GenerateDataKey。

用于您的集群的 Amazon EMR 角色必须有权使用 kms:DescribeKey。

必须将 Amazon EC2 实例配置文件和 Amazon EMR 角色添加到指定 AWS KMS 客户托管密钥的密钥用户列表中，如以下步骤所示：

您还必须配置 KMS 密钥以允许 persistentappui.elasticmapreduce.amazonaws.com 和 elasticmapreduce.amazonaws.com 服务主体使用 kms:GenerateDataKey、kms:GenerateDataKeyWithoutPlaintext 和 kms:Decrypt。这样，EMR 就可以读取使用 KMS 密钥加密的日志并将其写入托管存储。用户 IAM 角色必须具有使用 kms:GenerateDataKey 和 kms:Decrypt 的权限。

{
   "Sid": "Allow User Role to use KMS key",
   "Effect": "Allow",
   "Principal": {
        "AWS": "User Role"
    },
    "Action": [
        "kms:Decrypt", 
        "kms:GenerateDataKey"
   ],
    "Resource": "*",
    "Condition": {
        "StringLike": {
            "kms:EncryptionContext:aws:elasticmapreduce:clusterId": "j-*",
           "kms:ViaService": "elasticmapreduce.region.amazonaws.com"
       }
    }
},
{
    "Sid": "Allow Persistent APP UI to validate KMS key for write",
    "Effect": "Allow",
    "Principal":{
        "Service": [
            "elasticmapreduce.amazonaws.com"
        ]
     },
     "Action": [
       "kms:GenerateDataKeyWithoutPlaintext"
      ],
     "Resource": "*",
     "Condition": {
        "StringLike": {
            "aws:SourceArn": "arn:aws:elasticmapreduce:region:account:cluster/j-*",
            "kms:EncryptionContext:aws:elasticmapreduce:clusterId": "j-*"
        }
     }
},
{
    "Sid": "Allow Persistent APP UI to Write/Read Logs",
    "Effect": "Allow",
    "Principal":{
        "Service": [
            "persistentappui.elasticmapreduce.amazonaws.com",
            "elasticmapreduce.amazonaws.com"
        ]
     },
     "Action": [
       "kms:Decrypt",
       "kms:GenerateDataKey"
     ],
     "Resource": "*",
     "Condition": {
        "StringLike": {
            "aws:SourceArn": "arn:aws:elasticmapreduce:region:account:cluster/j-*",
            "kms:EncryptionContext:aws:elasticmapreduce:clusterId": "j-*",
            "kms:ViaService": "s3.region.amazonaws.com"
        }
     }
}

作为安全最佳实践，我们建议您添加 aws:SourceArn 和 kms:EncryptionContext 条件。这些条件有助于确保密钥仅供 Amazon EMR on EC2 使用，并且仅用于在虚拟集群中运行的作业生成的日志。

S3 日志记录配置只能在创建集群时进行设置，并且无法针对正在运行的集群进行修改。

Persistent-ui-logs 不能有 on-customer-s仅限 3 的策略。允许的策略由 emr 管理且 persistent-ui-logs已禁用。

LogUri 要求：对系统日志或应用程序日志使用 on-customer-s 3only 策略时，必须指定一个参数。 LogUri否则 LogUri，集群创建将失败。

默认行为：如果未指定 S3，LoggingConfiguration 则所有日志类型都默认为 emr 管理的行为。