处理器兼容性和限制 - Amazon CloudWatch
特定于处理器的限制

处理器兼容性和限制

一般处理器规则
最大计数

一个管道最多可以有 20 个处理器。

解析器放置

解析器处理器（若使用，例如 OCSF、CSV、Grok 等）必须是管道中的第一个处理器。

唯一的处理器

以下处理器在每个管道中只能出现一次：

  • add_entries

  • copy_values

处理器类型 CloudWatch Logs 来源 S3 来源 基于 API 的来源
OCSF 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
parse_vpc 必须是第一个处理器 不适用 不适用
parse_route53 必须是第一个处理器 不适用 不适用
parse_json 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
grok 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
csv 必须是第一个处理器 不兼容 不兼容
key_value 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
add_entries 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
copy_values 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
字符串处理器（lowercase、uppercase、trim） 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
字段处理器（move_keys、rename_keys） 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
数据转换（date、flatten） 必须是第一个处理器 必须是第一个处理器 必须是第一个处理器
兼容性定义
必须是第一个处理器

使用时，必须是管道配置中的第一个处理器

不兼容

不能与此来源类型一起使用

不适用

处理器与此来源类型无关

特定于处理器的限制

按来源类型划分的处理器限制
处理器 源类型 限制
OCSF CloudWatch Logs 和 CloudTrail

  • 仅当 data_source_name 为 aws_cloudtrail 时才允许

  • 必须使用特定于 CloudTrail 的架构版本

  • 不能与其他处理器结合使用
OCSF 基于 API 的来源

  • 必须使用特定于来源的架构（例如，Office 365 的 microsoft_office365_management_activity）

  • 每种来源类型都需要特定的映射版本

  • 必须是管道中的第一个处理器
parse_vpc CloudWatch Logs

  • 仅对 VPC 流日志有效

  • 必须是第一个处理器

  • 输入必须包含原始 VPC 流日志格式
parse_route53 CloudWatch Logs

  • 仅对 Route 53 Resolver 查询日志有效

  • 必须是第一个处理器

  • 输入必须包含 Route 53 Resolver 查询日志格式
add_entries 所有来源

  • 每个管道最多一个实例

  • 根据字段命名规则，密钥名称必须有效
copy_values 所有来源

  • 每个管道最多一个实例

  • 事件中必须存在来源字段
重要

使用具有限制的处理器时：

  • 在部署之前，请务必使用 ValidateTelemetryPipelineConfiguration API 验证您的管道配置

  • 通过 TestTelemetryPipeline API 使用示例数据测试管道，确保正确处理

  • 部署后监控管道指标，确保事件按预期处理