Pipelines do CloudWatch
O CloudWatch Pipelines é um coletor de dados totalmente gerenciado que ingere, transforma e encaminha dados de log de serviços da AWS, aplicações de terceiros e fontes personalizadas para o CloudWatch. Os processadores integrados permitem enriquecer, filtrar e padronizar logs em formatos como OCSF, sem gerenciar a infraestrutura ou ferramentas de terceiros.
Os pipelines do CloudWatch são totalmente integrados à experiência de gerenciamento de logs, permitindo que você processe e enriqueça consistentemente os dados de logs em grupos de logs relacionados por meio da especificação da fonte de dados e do tipo de dados. Isso desbloqueia casos de uso como:
-
Categorização automática de logs: os logs processados por meio de pipelines são automaticamente marcados com tags com as informações da fonte de dados, permitindo a descoberta e a consulta centradas no serviço em toda a sua infraestrutura
-
Expansão do suporte de terceiros: agregue e normalize logs de uma biblioteca crescente de fontes terceirizadas para análise e conformidade unificadas
A saída dos pipelines é totalmente compatível com os atributos do CloudWatch Logs, incluindo consultas do Logs Insights, detecção de anomalias de logs e Live Tail. Os pipelines do CloudWatch funcionam com as classes de log de acesso padrão e infrequente e são compatíveis com versões anteriores de transformadores de logs.
Para começar a usar os pipelines do CloudWatch, acesse os pipelines na página de ingestão do CloudWatch
nota
Tenha em mente estes limites que se aplicam aos pipelines do CloudWatch
-
Número máximo de pipelines por conta: 330
-
Até 300 pipelines para coletar dados do CloudWatch Logs
-
Até 30 pipelines para coletar dados de outras fontes
-
Componentes do pipeline
Cada pipeline consiste nos componentes a seguir:
-
Origem: define a origem dos dados (buckets do Amazon S3, CloudWatch Logs, integração de terceiros). Cada pipeline deve ter exatamente uma origem.
-
Processadores (opcional): transformam, analisam e enriquecem os dados de log à medida que fluem pelo pipeline. Os processadores são aplicados sequencialmente na ordem em que são definidos.
-
Coletor: define o destino para onde os dados de log processados são enviados. Cada pipeline deve ter exatamente um coletor.
-
Extensões (opcional): fornecem funcionalidades adicionais, como integração com o AWS Secrets Manager para gerenciamento de credenciais.
Em todo o pipeline, seus dados permanecem protegidos com a criptografia de camada de transporte, garantindo que os requisitos de segurança e conformidade sejam atendidos.
nota
As definições de pipeline não são criptografadas e nunca devem incluir dados sensíveis, como informações de identificação pessoal (PII).
nota
A adição de processado resulta na mutação dos eventos de logs, e os logs originais (brutos) não são retidos.
Preços
Os pipelines do CloudWatch estão incluídos no CloudWatch Logs sem custo adicional. As taxas padrão de ingestão de logs com base na classe de log (fornecido ou personalizado) e na classe de armazenamento (acesso padrão ou infrequente) ainda se aplicam. A medição ocorre no momento da primeira ingestão no CloudWatch. As fontes do CloudWatch Logs são medidas antes do processamento do pipeline. Fontes de terceiros e de buckets do S3 são classificadas como logs personalizados e medidas após o processamento. Para obter detalhes sobre a definição de preços, consulte Definição de preços do CloudWatch
Disponibilidade de regiões
Os pipelines do CloudWatch estão disponíveis nas regiões da AWS a seguir:
-
Leste dos EUA (Ohio)
-
Leste dos EUA (Norte da Virgínia)
-
Oeste dos EUA (N. da Califórnia)
-
Oeste dos EUA (Oregon)
-
Ásia-Pacífico (Hong Kong)
-
Ásia-Pacífico (Malásia)
-
Ásia-Pacífico (Mumbai)
-
Ásia-Pacífico (Osaka)
-
Ásia-Pacífico (Seul)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Tailândia)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Londres)
-
Europa (Paris)
-
Europa (Espanha)
-
Europa (Estocolmo)
-
América do Sul (São Paulo)
nota
A coleta de fontes de dados de terceiros está disponível em regiões onde o OpenSearch Ingestion tem endpoints de API.
Para obter mais detalhes, consulte Endpoints e cotas do Amazon CloudWatch na Referência geral da AWS.
Tópicos
