# Conexão ao Datadog O Datadog é uma plataforma de monitoramento e análise para aplicações em escala de nuvem, incluindo infraestrutura, aplicações, serviços e ferramentas. **Topics** + [Suporte do AWS Glue para o Datadog](datadog-support.md) + [Políticas que contêm as operações de API para criar e usar conexões](datadog-configuring-iam-permissions.md) + [Configuração do Datadog](datadog-configuring.md) + [Configuração de conexões do Datadog](datadog-configuring-connections.md) + [Leitura de entidades do Datadog](datadog-reading-from-entities.md) + [Opções de conexão do Datadog](datadog-connection-options.md) + [Criação de uma conta do Datadog](datadog-create-account.md) + [Limitações](datadog-connector-limitations.md) # Suporte do AWS Glue para o Datadog O AWS Glue oferece suporte ao Datadog da seguinte forma: **Compatível como fonte?** Sim. É possível usar trabalhos de ETL do AWS Glue para consultar seus dados do Datadog. **Compatível como destino?** Nº **Versões da API do Datadog com suporte** + v1 + v2 # Políticas que contêm as operações de API para criar e usar conexões O exemplo de política a seguir descreve as permissões da AWS necessárias para criar e usar conexões. Se você estiver criando um novo perfil, crie uma política que contenha o seguinte: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:ListConnectionTypes", "glue:DescribeConnectionType", "glue:RefreshOAuth2Tokens", "glue:ListEntities", "glue:DescribeEntity" ], "Resource": "*" } ] } ``` ------ Se não quiser usar o método anterior, uma alternativa será usar as seguintes políticas do IAM gerenciadas: + [AWSGlueServiceRole](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole): concede acesso a recursos que vários processos do AWS Glue exigem para serem executados em seu nome. Esses recursos incluem o AWS Glue, Amazon S3, IAM, CloudWatch Logs e Amazon EC2. Se você seguir a convenção de nomenclatura para os recursos especificados nesta política, os processos do AWS Glue terão as permissões necessárias. Esta política geralmente é anexada a funções especificadas durante a definição de crawlers, trabalhos e endpoints de desenvolvimento. + [AWSGlueConsoleFullAccess](https://console.aws.amazon.com/iam/home#policies/arn:aws:iam::aws:policy/AWSGlueConsoleFullAccess): concede acesso total aos recursos do AWS Glue quando uma identidade à qual a política está anexada usa o Console de Gerenciamento da AWS. Se você seguir a convenção de nomenclatura para os recursos especificados nesta política, os usuários poderão acessar todos os recursos do console. Esta política geralmente é anexada aos usuários do console do AWS Glue. # Configuração do Datadog Antes de poder usar o AWS Glue para transferir dados do Datadog, os seguintes requisitos precisarão ser atendidos: ## Requisitos mínimos + Você tem uma conta do Datadog com DD-API-KEY e DD-APPLICATION-KEY. Para obter mais informações sobre como criar uma conta, consulte [Criação de uma conta do Datadog](datadog-create-account.md). + Sua conta do Datadog tem acesso à API com uma licença válida. O Datadog oferece suporte aos seis URLs a seguir. Todos os clientes da API do Datadog são configurados por padrão para consumir as APIs do site Datadog US1. Se você estiver no site Datadog EU, você deve selecionar o URL https://api.datadoghq.eu com a `DD-API-KEY` e `DD-APPLICATION-KEY` do site Datadog EU para acessar as APIs. Da mesma forma, para outros sites, você deverá selecionar os respectivos URLs com a `DD-API-KEY and DD-APPLICATION-KEY` do respectivo site. + URL da API US1: [https://api.datadoghq.com](https://api.datadoghq.com)https://api.datadoghq.com + URL da API EU: [https://api.datadoghq.eu](https://api.datadoghq.eu) + URL da API US3: [https://api.us3.datadoghq.com](https://api.us3.datadoghq.com) + URL da API US5: [https://api.us5.datadoghq.com](https://api.us5.datadoghq.com) + URL da API S1-FED: [https://api.ddog-gov.com](https://api.ddog-gov.com) + URL da API do Japão: [https://api.ap1.datadoghq.com](https://api.ap1.datadoghq.com) Se você atender a esses requisitos, poderá conectar o AWS Glue à sua conta do Datadog. # Configuração de conexões do Datadog O Datadog oferece suporte à autenticação personalizada. A seguir estão as etapas para configurar a conexão do Datadog: Para configurar uma conexão do Datadog: 1. No AWS Secrets Manager, crie um segredo com os seguintes detalhes: Para uma aplicação conectada gerenciada pelo cliente, o segredo deve conter o segredo do consumidor da aplicação conectada com `API_KEY` e `APPLICATION_KEY` como chaves. **nota** É preciso criar um segredo por conexão em AWS Glue. 1. Em AWS Glue Studio, crie uma conexão em **Conexões de dados** seguindo estas etapas: 1. Ao selecionar um **Tipo de conexão**, selecione Datadog. 1. Forneça o `Instance_Url` do Datadog ao qual você deseja se conectar. 1. Selecione o perfil do IAM que o AWS Glue pode assumir e tem permissões para as seguintes ações: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "secretsmanager:DescribeSecret", "secretsmanager:GetSecretValue", "secretsmanager:PutSecretValue", "ec2:CreateNetworkInterface", "ec2:DescribeNetworkInterfaces", "ec2:DeleteNetworkInterface" ], "Resource": "*" } ] } ``` ------ 1. Selecione o `secretName` que você deseja usar para essa conexão no AWS Glue para colocar os tokens. 1. Selecione as opções de rede se quiser usar sua rede. 1. Conceda permissão ao perfil do IAM associado ao seu trabalho do AWS Glue para ler `secretName`. # Leitura de entidades do Datadog **Pré-requisitos** Um objeto do Datadog do qual você deseja ler. Consulte a tabela de entidades compatíveis abaixo para verificar as entidades disponíveis. **Entidades compatíveis** | Entidade | Pode ser filtrada | Oferece suporte a limite | Oferece suporte a Ordenar por | Oferece suporte a Selecionar \$1 | Oferece suporte a particionamento | | --- | --- | --- | --- | --- | --- | | Série temporal de métricas | Sim | Não | Não | Sim | Não | | Consultas de log | Sim | Sim | Sim | Sim | Não | **Exemplo** ``` Datadog_read = glueContext.create_dynamic_frame.from_options( connection_type="datadog", connection_options={ "connectionName": "connectionName", "ENTITY_NAME": "log-queries", "API_VERSION": "v2", "INSTANCE_URL": "https://api.datadoghq.com", "FILTER_PREDICATE": "from = `2023-10-03T09:00:26Z`" } ``` **Detalhes de entidades e campos do Datadog** [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/glue/latest/dg/datadog-reading-from-entities.html) # Opções de conexão do Datadog Estas são as opções de conexão do Datadog: + `ENTITY_NAME`(string): (obrigatório) usado para leitura/gravação. O nome do seu objeto no Datadog. + `API_VERSION`(string): (obrigatório) usado para leitura/gravação. Versão da API Rest do Datadog que você deseja usar. A versão `v1` oferece suporte à entidade `metrics-timeseries`, enquanto a versão `v2` oferece suporte à entidade `log-queries`. + `INSTANCE_URL`(string): (obrigatório) usado para leitura. URL da instância do Datadog. O URL da instância do Datadog varia de acordo com a região. + `SELECTED_FIELDS`(lista): padrão: vazio (SELECT \$1). Usado para leitura. Colunas que deseja selecionar para o objeto. + `FILTER_PREDICATE`(string): padrão: vazio. Usado para leitura. Deve estar no formato Spark SQL. + `QUERY`(string): padrão: vazio. Usado para leitura. Consulta completa do Spark SQL. # Criação de uma conta do Datadog 1. Acesse [https://www.datadoghq.com/](https://api.datadoghq.com). 1. Escolha **COMEÇAR GRATUITAMENTE**. 1. Insira as informações necessárias e cadastre-se. 1. Instale o **Instalador do agente do Datadog** conforme sugerido. 1. Certifique-se de que a conta seja registrada em uma organização válida (da lista disponível) que tenha uma assinatura ativa do Datadog. 1. Depois de fazer login na sua conta do Datadog, passe o mouse sobre seu nome de usuário no canto superior direito para ver os detalhes das **Chaves**: 1. Para obter sua chave de API, escolha **Chaves de API**. 1. Para obter sua chave de aplicação, escolha **Chaves de aplicação**. # Limitações Estas são as limitações do conector do Datadog: + O Datadog não oferece suporte ao particionamento baseado em campos ou baseado em registros. + `from` é um parâmetro de filtro obrigatório para a entidade `Log Queries`. + `from_to_date` e `query` são parâmetros de filtro obrigatórios para a entidade `Metrics Timeseries`.