View a markdown version of this page

Criando e trabalhando com AWS Glue DataBrew empregos de perfil - AWS Glue DataBrew Guia do Desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criando e trabalhando com AWS Glue DataBrew empregos de perfil

Os trabalhos de perfil executam uma série de avaliações em um conjunto de dados e enviam os resultados para o Amazon S3. As informações que a criação de perfil de dados coleta ajudam você a entender seu conjunto de dados e decidir que tipo de etapas de preparação de dados você pode querer executar em seus trabalhos de receita.

A maneira mais simples de executar um trabalho de perfil é usando as DataBrew configurações padrão. Você pode configurar seu trabalho de perfil antes de executá-lo para que ele retorne apenas as informações desejadas.

Use o procedimento a seguir para criar um trabalho DataBrew de perfil.

Para criar um emprego de perfil

  1. Faça login no Console de gerenciamento da AWS e abra o DataBrew console em https://console.aws.amazon.com/databrew/.

  2. Escolha TRABALHOS no painel de navegação, escolha a guia Perfil de trabalhos e, em seguida, escolha Criar trabalho.

  3. Insira um nome para seu trabalho e, em seguida, escolha Criar um trabalho de perfil.

  4. Para Job input, forneça o nome do conjunto de dados a ser perfilado.

  5. (Opcional) Configure o seguinte no painel Configurações do perfil de dados:

    • Configurações no nível do conjunto de dados — configure os detalhes do seu trabalho de perfil para todas as colunas do seu conjunto de dados.

      Opcionalmente, você pode ativar a capacidade de detectar e contar linhas duplicadas no conjunto de dados. Você também pode escolher Ativar matriz de correlações e selecionar colunas para ver até que ponto os valores em várias colunas estão relacionados. Para obter detalhes sobre as estatísticas que você pode configurar no nível do conjunto de dados, consulteEstatísticas configuráveis no nível do conjunto de dados. Você pode configurar estatísticas no DataBrew console ou usando a DataBrew API ou os AWS SDKs.

    • Configurações em nível de coluna — Usando as configurações de perfil padrão, você pode selecionar as colunas a serem incluídas em seu trabalho de perfil. Use Adicionar substituição de configuração para selecionar as colunas para as quais limitar o número de estatísticas coletadas ou substituir a configuração padrão de determinadas estatísticas. Para obter detalhes sobre as estatísticas que você pode configurar no nível da coluna, consulteEstatísticas configuráveis no nível da coluna. Você pode configurar estatísticas no DataBrew console ou usando a DataBrew API ou os AWS SDKs.

      Certifique-se de que todas as substituições de configuração que você especificar se apliquem às colunas que você incluiu no seu trabalho de perfil. Se houver conflitos entre substituições diferentes que você configurou para uma coluna, a última substituição conflitante terá prioridade.

  6. (Opcional) Você pode criar regras de qualidade de dados e aplicar conjuntos de regras adicionais associados a esse conjunto de dados ou remover os já aplicados. Para obter mais informações sobre validação da qualidade de dados, consulteValidando a qualidade dos dados em AWS Glue DataBrew.

  7. No painel Configurações avançadas do trabalho, você pode escolher mais opções de como seu trabalho deve ser executado:

    • Número máximo de unidades — DataBrew processa trabalhos usando vários nós de computação, executados em paralelo. O número padrão de nós é 5. O número máximo de nós é 149.

    • Tempo limite do trabalho — Se um trabalho levar mais do que o número de minutos que você definiu aqui para ser executado, ele falhará com um erro de tempo limite. O valor padrão é 2.880 minutos ou 48 horas.

    • Número de novas tentativas — Se um trabalho falhar durante a execução, DataBrew pode tentar executá-lo novamente. Por padrão, o trabalho não é repetido.

    • Habilitar Amazon CloudWatch Logs para trabalho — Permite DataBrew publicar informações de diagnóstico no CloudWatch Logs. Esses registros podem ser úteis para solucionar problemas ou para obter mais detalhes sobre como o trabalho é processado.

  8. Para o Cronograma Associado, você pode aplicar um DataBrew cronograma de trabalho para que seu trabalho seja executado em um horário específico ou de forma recorrente. Para obter mais informações, consulte Automatizando a execução de trabalhos com um cronograma.

  9. Quando as configurações estiverem como você deseja, escolha Criar trabalho. Ou, se você quiser executar o trabalho imediatamente, escolha Criar e executar o trabalho.