View a markdown version of this page

Envie AWS WAF registros para o Splunk usando o AWS Firewall Manager Amazon Data Firehose - Recomendações da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Envie AWS WAF registros para o Splunk usando o AWS Firewall Manager Amazon Data Firehose

Michael Friedenthal, Aman Kaur Gandhi e JJ Johnson, Amazon Web Services

Resumo

Historicamente, havia duas maneiras de mover dados para o Splunk: uma arquitetura push ou pull. Uma arquitetura pull oferece garantias de entrega de dados por meio de novas tentativas, mas requer recursos dedicados no Splunk para pesquisar dados. As arquiteturas Pull geralmente não são em tempo real por causa da pesquisa. Uma arquitetura push normalmente tem menor latência, é mais escalável e reduz a complexidade operacional e os custos. No entanto, isso não garante a entrega e normalmente requer agentes.

A integração do Splunk com o Amazon Data Firehose fornece dados de fluxos em tempo real ao Splunk por meio de um coletor de eventos HTTP (HEC, na sigla em inglês). Essa integração oferece as vantagens das arquiteturas push e pull – ela garante a entrega de dados por meio de novas tentativas, é quase em tempo real e tem baixa latência e baixa complexidade. O HEC envia dados de forma rápida e eficiente por HTTP ou HTTPS diretamente para o Splunk. HECs são baseados em tokens, o que elimina a necessidade de codificar credenciais em um aplicativo ou em arquivos de suporte.

Em uma AWS Firewall Manager política, você pode configurar o registro para todo o tráfego de ACL AWS WAF da web em todas as suas contas e, em seguida, usar um stream de entrega do Firehose para enviar esses dados de registro ao Splunk para monitoramento, visualização e análise. Essa solução oferece os seguintes benefícios:

  • Gerenciamento central e registro do tráfego de ACL AWS WAF da web em todas as suas contas

  • Integração do Splunk com um único Conta da AWS

  • Escalabilidade

  • Entrega quase em tempo real dos dados de log

  • Otimização de custos por meio do uso de uma solução de tecnologia sem servidor, para que você não precise pagar por recursos não utilizados.

Pré-requisitos e limitações

Pré-requisitos

  • Um ativo Conta da AWS que faz parte de uma organização em AWS Organizations.

  • É necessário ter as seguintes permissões para habilitar o registro em log com o Firehose:

    • iam:CreateServiceLinkedRole

    • firehose:ListDeliveryStreams

    • wafv2:PutLoggingConfiguration

  • AWS WAF e sua web ACLs deve ser configurada. Para obter instruções, consulte Introdução ao AWS WAF.

  • AWS Firewall Manager deve ser configurado. Para obter instruções, consulte AWS Firewall Manager prerequisites.

  • As políticas de segurança do Firewall Manager AWS WAF devem ser configuradas. Para obter instruções, consulte Introdução às AWS Firewall ManagerAWS WAF políticas.

  • O Splunk deve estar configurado com um endpoint HTTP público que possa ser acessado pelo Firehose.

Limitações

  • Eles Contas da AWS devem ser gerenciados em uma única organização em AWS Organizations.

  • A Web ACL deve estar na mesma região do que o fluxo de entrega. Se você estiver capturando registros para a Amazon CloudFront, crie o stream de entrega do Firehose na região Leste dos EUA (Norte da Virgínia),. us-east-1

  • O complemento do Splunk para o Firehose está disponível para implantações do Splunk Cloud com licença paga, para implementações distribuídas do Splunk Enterprise e para implementações de instância única do Splunk Enterprise. Esse complemento não é compatível com implantações de teste gratuito do Splunk Cloud.

Arquitetura

Pilha de tecnologias de destino

  • Firewall Manager

  • Firehose

  • Amazon Simple Storage Service (Amazon S3)

  • AWS WAF

  • Splunk

Arquitetura de destino

A imagem a seguir mostra como você pode usar o Firewall Manager para registrar centralmente todos os AWS WAF dados e enviá-los ao Splunk por meio do Firehose.

Diagrama da arquitetura ilustrando o envio de dados de log do AWS WAF para o Splunk por meio do Amazon Data Firehose.
  1. A AWS WAF web ACLs envia dados de registro do firewall para o Firewall Manager.

  2. O Firewall Manager encaminha os dados de log para o Firehose.

  3. O fluxo de entrega do Firehose envia os dados de log para o Splunk e para um bucket do S3. O bucket do S3 atua como um backup no caso de um erro com o stream de entrega do Firehose.

Automação e escala

Essa solução foi projetada para escalar e acomodar toda a AWS WAF web ALCs dentro da organização. Você pode configurar toda ACLs a web para usar a mesma instância do Firehose. No entanto, se desejar configurar e usar múltiplas instâncias do Firehose, isso também é possível.

Ferramentas

Serviços da AWS

  • AWS Firewall Manageré um serviço de gerenciamento de segurança que ajuda você a configurar e gerenciar centralmente as regras de firewall em suas contas e aplicativos em AWS Organizations.

  • O Amazon Data Firehose ajuda você a entregar dados de streaming em tempo real para outros Serviços da AWS endpoints HTTP personalizados e endpoints HTTP de propriedade de provedores de serviços terceirizados compatíveis, como o Splunk.

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados.

  • O AWS WAF é um firewall para aplicações web que ajuda a monitorar solicitações HTTP e HTTPS encaminhadas aos recursos da sua aplicação web protegida.

Outras ferramentas

  • O Splunk ajuda você a monitorar, visualizar e analisar dados de log.

Épicos

TarefaDescriptionHabilidades necessárias

Instale o aplicativo Splunk para AWS.

  1. Faça login no Splunk Heavy Forwarder. O URL padrão é http://<IP address>:8000.

  2. Na navegação à esquerda, ao lado de Aplicativos, escolha o botão de engrenagem.

  3. Escolha Procurar mais aplicativos.

  4. Pesquise por AWS.

  5. Para o aplicativo Splunk para AWS, escolha Instalar.

  6. Insira suas credenciais de login no Splunk.com, aceite os termos e condições e escolha Login e Instalar.

  7. Selecione Concluído.

Administrador de segurança, administrador do Splunk

Instale o complemento para AWS WAF.

Repita as instruções anteriores para instalar o complemento do AWS Web Application Firewall para o Splunk.

Administrador de segurança, administrador do Splunk

Faça a instalação e configuração do complemento do Splunk para o Firehose.

  1. Faça a instalação e configuração do complemento do Splunk para o Firehose. Como parte da instalação e configuração, se necessário para sua plataforma Splunk, você configura um coletor de eventos HTTP e prepara a infraestrutura para enviar os dados de log aos seus indexadores. Veja as instruções que correspondem à sua implantação do Splunk:

    Importante

    Interrompa este procedimento após instalar e configurar o complemento do Splunk. Não prossiga com as instruções de configuração do Firehose para enviar dados para a plataforma Splunk.

  2. Anote o token do coletor de eventos HTTP e o endpoint HTTP. Você precisará desse valor posteriormente, ao configurar o stream de entrega.

Administrador de segurança, administrador do Splunk
TarefaDescriptionHabilidades necessárias

Conceda ao Firehose acesso a um destino do Splunk.

Configure a política de acesso que autoriza o Firehose a acessar um destino do Splunk e a armazenar os dados de log em backup em um bucket do S3. Para obter mais informações, consulte Grant Firehose access to a Splunk destination.

Administrador de segurança

Crie um fluxo de entrega do Firehose.

Na mesma conta em que você gerencia a web ACLs AWS WAF, crie um stream de entrega no Firehose. Você precisa ter um perfil do IAM ao criar um fluxo de entrega. O Firehose assume esse perfil do IAM e obtém acesso ao bucket do S3 especificado. Para obter instruções, consulte Criação de um stream de entrega. Observe o seguinte:

  • O nome do fluxo de entrega deve começar com aws-waf-logs-.

  • Para a fonte, escolha Direct PUT.

  • Para o modo de backup do S3, escolha Backup de todos os eventos e, em seguida, escolha um bucket existente ou crie um novo.

  • Para definir o destino, siga as instruções em Choose Splunk for your destination na documentação do Firehose. Para obter informações sobre os valores de endpoints do Splunk e tipos de endpoint, consulte Configure Amazon Data Firehose na documentação do Splunk.

Repita esse processo para cada token que você configurou no coletor de eventos HTTP.

Administrador de segurança

Teste o fluxo de entrega.

Teste o stream de entrega para validar se ele está configurado corretamente. Para obter instruções, consulte Test using Splunk as the destination na documentação do Firehose.

Administrador de segurança
TarefaDescriptionHabilidades necessárias

Configure as políticas do Firewall Manager.

As políticas do Firewall Manager devem estar configuradas para habilitar o registro em log e encaminhar os logs para o fluxo de entrega correto do Firehose. Para obter mais informações e instruções, consulte Como configurar o registro em log para uma AWS WAF política.

Administrador de segurança

Recursos relacionados

AWS recursos

Documentação do Splunk