As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Garanta que o registro do Amazon EMR no Amazon S3 esteja habilitado no lançamento
*Priyanka Chaudhary, Amazon Web Services*
## Resumo
Esse padrão fornece um controle de segurança que monitora a configuração de log para clusters do Amazon EMR executados na Amazon Web Services (AWS).
O Amazon EMR é uma ferramenta da AWS para processamento e análise de big data. O Amazon EMR oferece o serviço expansível de baixa configuração como alternativa à execução da computação em cluster interna. O Amazon EMR fornece dois tipos de clusters EMR.
+ **Clusters transitórios do Amazon EMR**: os clusters transitórios do Amazon EMR são desligados automaticamente e param de incorrer em custos quando o processamento é concluído.
+ **Clusters persistentes do Amazon EMR**: os clusters persistentes do Amazon EMR continuam em execução após a conclusão do trabalho de processamento de dados.
Tanto o Amazon EMR como o Hadoop produzem arquivos de log que informam o status no cluster. Por padrão, eles são gravados no nó principal no diretório **mnt/var/log//.** Dependendo de como você configura o cluster ao iniciá-lo, também poderá salvar esses logs no Amazon Simple Storage Service (Amazon S3) e visualizá-los por meio da ferramenta de depuração gráfica. Observe que o registro em log do Amazon S3 só pode ser especificado quando o cluster é iniciado. Com essa configuração, os registros são enviados do nó primário para o local do Amazon S3 a cada cinco minutos. Para clusters transitórios, o registro no Amazon S3 é importante porque os clusters desaparecem quando o processamento é concluído, e esses arquivos de log podem ser usados para depurar qualquer trabalho com falha.
O padrão usa um CloudFormation modelo da AWS para implantar um controle de segurança que monitora as chamadas de API e inicia o Amazon CloudWatch Events em "”RunJobFlow. O gatilho invoca o AWS Lambda, que executa um script Python. A função do Lambda recupera o ID do cluster EMR da entrada JSON do evento e também verifica se há um URI de log do Amazon S3. Se um URI do Amazon S3 não for encontrado, a função do Lambda enviará uma notificação do Amazon Simple Notification Service (Amazon SNS) detalhando o nome do cluster do EMR, os detalhes da violação, a região da AWS, a conta da AWS e o nome do recurso da Amazon (ARN) do Lambda do qual a notificação foi originada.
## Pré-requisitos e limitações
**Pré-requisitos **
+ Uma conta AWS ativa
+ Um bucket S3 para o arquivo .zip do código Lambda
+ Um endereço de e-mail no qual você deseja receber a notificação de violação
**Limitações**
+ Esse controle de detetive é regional e deve ser implantado nas regiões da AWS que você pretende monitorar.
**Versões do produto**
+ Versão 4.8.0 e posterior do Amazon EMR
## Arquitetura
**Pilha de tecnologias de destino**
+ Evento Amazon CloudWatch Events
+ Amazon EMR
+ Função do Lambda
+ Bucket do S3
+ Amazon SNS
**Arquitetura de destino**
**Automação e escala**
+ Se você estiver usando o AWS Organizations, poderá usar CloudFormation StackSets a [AWS](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/what-is-cfnstacksets.html) para implantar esse modelo em várias contas que você deseja monitorar.
## Ferramentas
**Ferramentas**
+ [AWS CloudFormation](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/Welcome.html) — CloudFormation A AWS ajuda você a modelar e configurar recursos da AWS usando a infraestrutura como código.
+ [Eventos do AWS Cloudwatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/events/WhatIsCloudWatchEvents.html) — O AWS CloudWatch Events fornece um fluxo quase em tempo real de eventos do sistema que descrevem mudanças nos recursos da AWS.
+ [Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-what-is-emr.html): o Amazon EMR é uma plataforma de cluster gerenciada que simplifica a execução de frameworks de Big Data.
+ [AWS Lambda](https://aws.amazon.com/lambda/): o AWS Lambda oferece suporte à execução de código sem provisionar ou gerenciar servidores. O Lambda executa o código somente quando necessário e dimensiona automaticamente, desde algumas solicitações por dia até milhares por segundo.
+ [Amazon S3](https://docs.aws.amazon.com/AmazonS3/latest/dev/Welcome.html): o Amazon S3 é uma interface de serviços da web que você pode usar para armazenar e recuperar qualquer quantidade de dados, a qualquer momento, em qualquer lugar da web.
+ [Amazon SNS](https://docs.aws.amazon.com/sns/latest/dg/welcome.html): o Amazon SNS é um serviço da Web que coordena e gerencia a entrega ou o envio de mensagens entre editores e clientes, incluindo servidores da Web e endereços de e-mail.
**Código **
+ Um arquivo .zip do projeto está disponível como anexo.
## Épicos
### Definir o bucket do S3
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Definir o bucket do S3. | Para hospedar o arquivo .zip do código Lambda, escolha ou crie um bucket do S3 com um nome exclusivo que não contenha barras iniciais. Um nome de bucket do S3 é globalmente exclusivo, e o namespace é compartilhado por todas as contas da AWS. Seu bucket do S3 precisa estar na mesma região da AWS do cluster do Amazon EMR que está sendo avaliado. | Arquiteto de nuvem |
### Carregar o código do Lambda para o bucket do S3
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Carregue o código do Lambda para o bucket do S3. | Faça upload do arquivo .zip do código Lambda fornecido na seção “Anexos” para o bucket do S3. O bucket do S3 deve estar na mesma região da que o cluster do Amazon EMR que está sendo avaliado. | Arquiteto de nuvem |
### Implemente o CloudFormation modelo da AWS
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Implante o CloudFormation modelo da AWS. | No CloudFormation console da AWS, na mesma região do seu bucket do S3, implante o CloudFormation modelo da AWS que é fornecido como anexo a esse padrão. No próximo épico, forneça os valores para os parâmetros. Para obter mais informações sobre a implantação de CloudFormation modelos da AWS, consulte a seção “Recursos relacionados”. | Arquiteto de nuvem |
### Preencha os parâmetros no CloudFormation modelo da AWS
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Dê um nome ao bucket do S3. | Em seguida, informe o nome do bucket do S3 que você criou no primeiro épico. | Arquiteto de nuvem |
| Forneça a chave do Amazon S3. | Forneça a localização do arquivo .zip do código Lambda em seu bucket do S3, sem barras iniciais (por exemplo, /.zip). | Arquiteto de nuvem |
| Forneça um endereço de e-mail. | Forneça um endereço de e-mail ativo para receber notificações do Amazon SNS. | Arquiteto de nuvem |
| Defina o nível de registro em log. | Defina o nível de registro e a frequência da sua função do Lambda. O termo “Info” designa mensagens informativas detalhadas a respeito do andamento da aplicação. O termo “Error” representa eventos de erro que podem ocorrer sem interromper o funcionamento da aplicação. O termo “Warning” indica situações potencialmente prejudiciais. | Arquiteto de nuvem |
### Confirmar a assinatura
| Tarefa | Description | Habilidades necessárias |
| --- | --- | --- |
| Confirmar a assinatura. | Quando o modelo é implantado com sucesso, ele envia uma mensagem de e-mail de assinatura para o endereço de e-mail fornecido. Você deve confirmar essa assinatura de e-mail para receber notificações de violação. | Arquiteto de nuvem |
## Recursos relacionados
+ [AWS Lambda](https://aws.amazon.com/lambda/)
+ [Registro em log no Amazon EMR](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html)
+ [Implantação de modelos da AWS CloudFormation ](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-console-create-stack.html)
## Anexos
Para acessar o conteúdo adicional associado a este documento, descompacte o seguinte arquivo:[ attachment.zip](samples/p-attach/079af32e-0418-4bb2-bc20-c67ea5ac3b6e/attachments/attachment.zip)