解析器处理器 - Amazon CloudWatch
OCSF 处理器CSV 处理器Grok 处理器VPC 处理器JSON 处理器Route 53 处理器键值处理器

解析器处理器

解析器处理器将原始或半结构化日志数据转换为结构化格式。每个管道最多可以有一个解析器处理器，该处理器必须是管道中的第一个处理器。

OCSF 处理器

根据开放式网络安全架构框架（OCSF）标准解析和转换日志数据。

配置

使用以下参数配置 OCSF 处理器：

processor:
  - ocsf:
      version: "1.5"
      mapping_version: 1.5.0
      schema:
          microsoft_office365_management_activity:
Parameters
version（必需）

用于转换的 OCSF 架构版本。必须为 1.5

mapping_version（必需）

用于转换的 OCSF 映射版本。必须为 1.5.0。

schema（必需）

指定数据来源类型的架构对象。支持的架构取决于管道来源类型，每种来源类型都有自己的一组兼容的 OCSF 架构。您必须使用与管道来源类型相匹配的架构。

此表列出了支持的架构组合。

管道来源类型 支持的架构 版本 映射版本
cloudwatch_logs cloud_trail: 1.5 可选
cloudwatch_logs route53_resolver: 1.5 可选
cloudwatch_logs vpc_flow: 1.5 可选
cloudwatch_logs eks_audit: 1.5 可选
cloudwatch_logs aws_waf: 1.5 非必需
s3 任何 OCSF 架构 任何 任何
microsoft_office365 microsoft_office365: 1.5 1.5.0
microsoft_entraid microsoft_entraid: 1.5 1.5.0
microsoft_windows_event microsoft_windows_event: 1.5 1.5.0
paloaltonetworks_nextgenerationfirewall paloaltonetworks_nextgenerationfirewall: 1.5 1.5.0
okta_auth0 okta_auth0: 1.5 1.5.0
okta_sso okta_sso: 1.5 1.5.0
crowdstrike_falcon crowdstrike_falcon: 1.5 1.5.0
github_auditlogs github_auditlogs: 1.5 1.5.0
sentinelone_endpointsecurity sentinelone_endpointsecurity: 1.5 1.5.0
servicenow_cmdb servicenow_cmdb: 1.5 1.5.0
wiz_cnapp wiz_cnapp: 1.5 1.5.0
zscaler_internetaccess zscaler_internetaccess: 1.5 1.5.0

CSV 处理器

将 CSV 格式的数据解析为结构化字段。

配置

使用以下参数配置 CSV 处理器：

processor:
  - csv:      
      column_names: ["col1", "col2", "col3"]
      delimiter: ","
      quote_character: '"'
Parameters
column_names（可选）

已解析字段的列名称数组。最多 100 列，每个名称最多可以有 128 个字符。如果未提供，则默认为 column_1、column_2 等。

delimiter（可选）

用于分隔 CSV 字段的字符。必须为单个字符。默认为逗号 (,)。

quote_character（可选）

用于引用包含分隔符的 CSV 字段的字符。必须为单个字符。默认为双引号 (")。

要在不指定其他参数的情况下使用处理器，请使用以下命令：

processor:
  - csv: {}

Grok 处理器

使用 Grok 模式解析非结构化数据。每个管道最多支持 1 个 Grok。有关 CloudWatch Logs 中的 Grok 转换器的详细信息，请参阅《CloudWatch Logs 用户指南》中的可以使用的处理器。

配置

使用以下参数配置 Grok 处理器：

如果数据来源为字典，可以使用此配置：

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]

如果数据来源为 CloudWatch Logs，可以使用此配置：

processor:
  - grok:      
      match:
       source_key: ["%{WORD:level} %{GREEDYDATA:msg}"]
Parameters
match（必需）

使用 Grok 模式进行字段映射。仅允许一个字段映射。

match.<field>（必需）

具有单个 Grok 模式的数组。每个模式最多 512 个字符。

VPC 处理器

将 VPC 流日志数据解析为结构化字段。

配置

使用以下参数配置 VPC 处理器：

processor:
  - parse_vpc: {}

JSON 处理器

将 JSON 数据解析为结构化字段。

配置

使用以下参数配置 JSON 处理器：

processor:
  - parse_json:
      source: "message"
      destination: "parsed_json"
Parameters
source（可选）

包含要解析的 JSON 数据的字段。如果省略，则处理整条日志消息

destination（可选）

存储已解析 JSON 的字段。如果省略，则将已解析的字段添加到根级别

Route 53 处理器

将 Route 53 Resolver 日志数据解析为结构化字段。

配置

使用以下参数配置 Route 53 处理器：

processor:
  - parse_route53: {}

键值处理器

将键值对格式的数据解析为结构化字段。

配置

使用以下参数配置键值处理器：

processor:
  - key_value:
      source: "message"
      destination: "parsed_kv"
      field_delimiter: "&"
      key_value_delimiter: "="
Parameters
source（可选）

包含键值数据的字段。最多 128 个字符。

destination（可选）

已解析键值对的目标字段。最多 128 个字符。

field_delimiter（可选）

用于拆分键值对的模式。最多 10 个字符。

key_value_delimiter（可选）

用于将键与值拆分的模式。最多 10 个字符。

overwrite_if_destination_exists（可选）

是否覆盖现有的目标字段。

prefix（可选）

要添加到提取密钥的前缀。最多 128 个字符。

non_match_value（可选）

没有匹配项的键的值。最多 128 个字符。

要在不指定其他参数的情况下使用处理器，请使用以下命令：

processor:
  - key_value: {}