# Gerenciar trabalhos de ETL com o AWS Glue Studio
Você pode usar a interface gráfica simples no AWS Glue Studio para gerenciar seus trabalhos de ETL. Usando o menu de navegação, escolhar **Jobs** (Trabalhos) para visualizar a página **Jobs** (Trabalhos). Nessa página, você pode ver todos os trabalhos que criou com o AWS Glue Studio ou com o console do AWS Glue. Você pode exibir, gerenciar e executar seus trabalhos nessa página.
**Topics**
+ [Iniciar uma execução de trabalho](#start-jobs)
+ [Programar execuções de trabalho](#schedule-jobs)
+ [Gerenciar programações de trabalho](#manage-schedules)
+ [Interromper execuções de trabalho](#stop-jobs)
+ [Visualizar os trabalhos](#view-jobs)
+ [Exibir informações para execuções de trabalho recentes](#view-job-run-details)
+ [Visualizar o script de trabalho](#view-job-script)
+ [Modificar as propriedades do trabalho](#edit-jobs-properties)
+ [Salvar o trabalho](#save-job)
+ [Clonar um trabalho](#clone-jobs)
+ [Excluir trabalhos](#delete-jobs)
## Iniciar uma execução de trabalho
No AWS Glue Studio, você pode executar seus trabalhos sob demanda. Um trabalho pode ser executado várias vezes, e cada vez que você o executa, o AWS Glue coleta informações sobre as atividades e a performance do trabalho. Essa informação é referida como uma *execução de trabalho* e é identificada por um ID de execução de trabalho.
Você pode iniciar uma execução de trabalho no das seguintes formas AWS Glue Studio:
+ Na página **Jobs** (Trabalhos), escolha o trabalho que você deseja iniciar e, em seguida, escolha o botão **Run job** (Executar trabalho).
+ Se você estiver visualizando um trabalho no editor visual e ele estiver salvo, você pode escolher o botão **Run** (Executar) para iniciar uma execução de trabalho.
Para obter mais informações sobre execuções de trabalhos, consulte [Trabalhar com trabalhos no console do AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/console-jobs.html) no *Guia do desenvolvedor do AWS Glue*.
## Programar execuções de trabalho
No AWS Glue Studio, você pode criar uma programação para que seus trabalhos sejam executados em horários específicos. Você pode especificar restrições, como a quantidade de vezes que os trabalhos são executados. Essas restrições são feitas com base no `cron` e têm as mesmas limitações que o `cron`. Por exemplo, se você optar por executar seu trabalho no dia 31 de cada mês, lembre-se de que alguns meses não têm 31 dias. Para obter mais informações sobre o `cron`, consulte [Expressões do Cron](https://docs.aws.amazon.com/glue/latest/dg/monitor-data-warehouse-schedule.html#CronExpressions) no *Guia do desenvolvedor do AWS Glue*.
**Para executar trabalhos de acordo com uma programação**
1. Crie uma programação de trabalho usando um dos seguintes métodos:
+ Na página **Jobs** (Trabalhos), escolha o trabalho para o qual você deseja criar uma programação, escolha **Actions** (Ações) e depois **Schedule job** (Programar trabalho).
+ Se você estiver visualizando um trabalho no editor visual e ele estiver salvo, escolha a guia **Schedules** (Programações). Em seguida, escolha **Create Schedule** (Criar programação).
1. Na página **Schedule job run** (Programar execução de trabalho), insira as seguintes informações:
+ **Name** (Nome): insira um nome para a programação do trabalho.
+ **Frequency** (Frequência): insira a frequência da programação do trabalho. Você pode escolher uma das seguintes opções:
+ **Hourly** (Por hora): o trabalho será executado a cada hora, começando em um minuto específico. Você pode especificar o **Minute** (Minuto) da hora em que o trabalho deve ser executado. Por padrão, quando você escolhe por hora, o trabalho é executado no início da hora (minuto 0).
+ **Daily** (Diariamente): o trabalho será executado todos os dias, iniciando em um determinado momento. Você pode especificar o **Minute** (Minuto) da hora em que o trabalho deve ser executado e a **Start hour** (Hora de início) do trabalho. As horas são especificadas usando um relógio de 23 horas, em que você usa os números 13 a 23 para as horas após meio-dia. O valor padrão para minuto e hora é zero, o que significa que se você selecionar **Daily** (Diariamente), por padrão, o trabalho será executado à meia-noite.
+ **Weekly** (Semanal): o trabalho será executado todas as semanas em um ou mais dias. Além das mesmas configurações descritas anteriormente para Daily (Diariamente), você pode escolher os dias da semana em que o trabalho será executado. Você pode escolher um ou mais dias.
+ **Monthly** (Mensalmente): o trabalho será executado todos os meses em um dia específico. Além das mesmas configurações descritas anteriormente para Daily (Diariamente), você pode escolher o dia do mês em que o trabalho será executado. Especifique o dia como um valor numérico de 1 a 31. Se você selecionar um dia que não existe em um mês, por exemplo, o 30º dia de fevereiro, então o trabalho não será executado nesse mês.
+ **Custom** (Personalizado): insira uma expressão para sua programação de trabalho usando a sintaxe do `cron`. As expressões do Cron permitem que você crie programações mais complicadas, como o último dia do mês (em vez de um dia específico do mês) ou a cada terceiro mês no 7º e 21º dias do mês.
Consulte [Expressões do Cron](https://docs.aws.amazon.com/glue/latest/dg/monitor-data-warehouse-schedule.html#CronExpressions) no *Guia do desenvolvedor do AWS Glue*
+ **Description** (Descrição): como opção, você pode inserir uma descrição para a programação do trabalho. Se você planeja usar a mesma programação para vários trabalhos, uma descrição facilita determinar o que a programação do trabalho faz.
1. Escolha **Create schedule** (Criar programação) para salvar a programação de trabalho.
1. Depois de criar a programação, uma mensagem de êxito é exibida na parte superior da página do console. Você pode escolher **Job details** (Detalhes do trabalho) nesse banner, para exibir os detalhes do trabalho. Isso abre a página do editor de trabalhos visual, com a guia **Schedules** (Programações) selecionada.
## Gerenciar programações de trabalho
Depois de criar programações para um trabalho, você pode abri-lo no editor visual e escolher a guia **Schedules** (Programações) para gerenciar as programações.
Na guia **Schedules** (Programações) do editor visual, você pode executar as seguintes tarefas:
+ Criar uma nova programação.
Escolha **Create schedule** (Criar programação) e insira as informações da programação, conforme descrito em [Programar execuções de trabalho](#schedule-jobs).
+ Editar uma programação existente.
Escolha a programação que você deseja editar e selecione **Action** (Ação) e, em seguida, **Edit schedule** (Editar programação). Quando você opta por editar uma programação existente, **Frequency** (Frequência) exibe **Custom** (Personalizada) e a programação é exibida como uma expressão do `cron`. Você também pode modificar a expressão do `cron` ou especificar uma nova programação usando o botão **Frequency** (Frequência). Ao concluir as alterações, escolha **Update schedule** (Atualizar programação).
+ Pausar uma programação ativa.
Escolha uma programação ativa, selecione **Action** (Ação) e, em seguida, **Pause schedule** (Pausar programação). A programação é desativada instantaneamente. Escolha o botão refresh (reload) [atualizar (recarregar)] para ver o status da programação de trabalho atualizada.
+ Retomar uma programação pausada.
Escolha uma programação desativada, selecione **Action** (Ação) e, em seguida, **resume schedule** (Retomar programação). A programação é ativada instantaneamente. Escolha o botão refresh (reload) [atualizar (recarregar)] para ver o status da programação de trabalho atualizada.
+ Excluir uma programação.
Escolha a programação que você deseja remover, selecione **Action** (Ação) e, em seguida, **Delete schedule** (Excluir programação). A programação é excluída instantaneamente. Escolha o botão refresh (reload) [atualizar (recarregar)] para ver a lista de programações de trabalho atualizada. A programação terá o status **Deleting** (Excluíndo) até que tenha sido completamente removida.
## Interromper execuções de trabalho
Você pode interromper um trabalho antes que ele tenha concluído sua execução. Você pode escolher essa opção se souber que o trabalho não está configurado corretamente ou se ele está demorando muito para ser concluído.
Na página **Monitoring** (Monitoramento), na lista **Job runs** (Execuções de trabalho), selecione o trabalho que deseja interromper, escolha **Actions** (Ações) e **Stop run** (Interromper execução).
## Visualizar os trabalhos
Você pode visualizar todos os trabalhos na página **Jobs** (Trabalhos). Você pode acessar essa página escolhendo **Jobs** (Trabalhos) no painel de navegação.
Na página **Jobs** (Trabalhos), você poderá ver todos os trabalhos criados na sua conta. A list **Your jobs** (Seus trabalhos) mostra o nome do trabalho, o tipo, o status da última execução desse trabalho e as datas em que ele foi criado e modificado pela última vez. Você pode escolher o nome de um trabalho para ver informações detalhadas sobre ele.
Você também pode usar o painel Monitoring (Monitoramento) para exibir todos os trabalhos. Você pode acessar o painel escolhendo **Monitoring** (Monitoramento) no painel de navegação.
### Personalizar a exibição do trabalho
Você pode personalizar como os trabalhos são exibidos na seção **Your jobs** (Seus trabalhos) da página **Jobs** (Trabalhos). Além disso, você pode inserir um texto no campo de pesquisa de texto para exibir somente trabalhos com um nome que contenha esse texto.
Se você escolher o ícone de configurações  na seção **Your jobs** (Seus trabalhos), poderá personalizar como AWS Glue Studio exibe as informações na tabela. Você pode optar por quebrar as linhas de texto na exibição, alterar o número de trabalhos exibidos na página e especificar quais colunas serão exibidas.
## Exibir informações para execuções de trabalho recentes
Um trabalho pode ser executado várias vezes à medida que novos dados são adicionados no local de origem. Cada vez que um trabalho é executado, um ID exclusivo é atribuído à execução do trabalho e as informações sobre essa execução são coletadas. É possível exibir essas informações usando os métodos a seguir:
+ Escolha a guia **Runs** (Execuções) do editor visual para exibir as informações de execução do trabalho exibido no momento.
Na guia **Runs** (Execuções), página **Recent job runs** (Execuções de trabalho recentes), há um cartão para cada execução de trabalho. As informações exibidas na guia **Runs** (Execuções) incluem:
+ ID de execução de trabalho
+ Número de tentativas para execução desse trabalho
+ Status da execução do trabalho
+ Horário de início e de término da execução do trabalho
+ O runtime do trabalho
+ Um link para os arquivos de log do trabalho
+ Um link para os arquivos de log de erros do trabalho
+ O erro retornado para trabalhos com falha
+ É possível selecionar uma execução de trabalho para ver informações adicionais sobre o trabalho, incluindo:
+ **Argumentos de entrada**
+ **Logs contínuos**
+ **Métricas**: é possível ver visualizações de métricas básicas. Para obter ter mais informações sobre as métricas incluídas, consulte [Visualizar métricas do Amazon CloudWatch para uma execução de trabalho do Spark](view-job-runs.md#monitoring-job-run-metrics).
+ **Interface do usuário do Spark**: é possível visualizar os logs do Spark do seu trabalho na interface do usuário do Spark. Para obter mais informações sobre o uso da interface do usuário Web do spark , consulte o [Monitorar trabalhos usando a interface do usuário da Web do Apache Spark](monitor-spark-ui.md). Habilite esse recurso seguindo o procedimento em [Habilitar a interface do usuário da Web do Apache Spark para trabalhos do AWS Glue](monitor-spark-ui-jobs.md).
Você pode selecionar **Visualizar detalhes** para ver informações semelhantes na página de detalhes da execução do trabalho. Como alternativa, você pode navegar até a página de detalhes da execução do trabalho por meio da página **Monitoramento**. No painel de navegação, escolha **Monitoring (Monitoramento)**. Role para baixo até a lista **Job runs** (Execuções do trabalho). Escolha o trabalho e, em seguida, escolha **View run details** (Visualizar os detalhes da execução). O conteúdo está descrito em [Visualizar os detalhes de uma execução de trabalho](view-job-runs.md#monitoring-job-run-details).
Para obter mais informações sobre os logs de trabalhos, consulte [Visualizar os logs de execuções de trabalho](view-job-runs.md#monitoring-job-run-logs).
## Visualizar o script de trabalho
Depois de fornecer informações para todos os nós no trabalho, o AWS Glue Studio gera um script que é usado pelo trabalho para ler os dados da origem, transformá-los e gravá-los no local de destino. Se você salvar o trabalho, poderá exibir esse script a qualquer momento.
**Para exibir o script gerado para seu trabalho**
1. No painel de navegação, escolha **Jobs** (Trabalhos).
1. Na página **Jobs** (Trabalhos), na lista **Your jobs** (Seus trabalhos), escolha o nome do trabalho que você deseja revisar. Como alternativa, você pode selecionar um trabalho na lista, escolher o menu **Actions** (Ações) e, em seguida, escolher **Edit job** (Editar trabalho).
1. Na página do editor visual, escolha a guia **Script** na parte superior para exibir o script de trabalho.
Se quiser editar o script de trabalho, consulte [Guia de programação do AWS Glue](edit-script.md).
## Modificar as propriedades do trabalho
Os nós no diagrama de trabalho definem as ações executadas pelo trabalho, mas há várias propriedades que você também pode configurar para o trabalho. Essas propriedades determinam o ambiente em que o trabalho é executado, os recursos que ele usa, as configurações de limite, as configurações de segurança e muito mais.
**Para personalizar o ambiente de execução do trabalho**
1. No painel de navegação, escolha **Jobs** (Trabalhos).
1. Na página **Jobs** (Trabalhos), na lista **Your jobs** (Seus trabalhos), escolha o nome do trabalho que você deseja revisar.
1. Na página do editor visual, escolha a guia **Job details** Detalhes do trabalho) na parte superior do painel de edição do trabalho.
1. Modifique as propriedades do trabalho, conforme necessário.
Para obter mais informações sobre as propriedades do trabalho, consulte [Definir propriedades do trabalho](https://docs.aws.amazon.com/glue/latest/dg/add-job.html#create-job) no *Guia do desenvolvedor do AWS Glue*.
1. Expanda a seção **Advanced properties** (Propriedades avançadas), se você precisar especificar essas propriedades de trabalho adicionais:
+ **Script filename** (Nome de arquivo do script): o nome do arquivo que armazena o script do trabalho no Amazon S3.
+ **Script path** (Caminho do script): o local do Amazon S3 em que o script do trabalho é armazenado.
+ **Job metrics** (Métricas de trabalho): (indisponível para trabalhos de shell do Python) ativa a criação de métricas do Amazon CloudWatch quando esse trabalho é executado.
+ **Continuos logging** (Registro em log contínuo): (indisponível para trabalhos de shell do Python) ativa o registro em log contínuo no CloudWatch, para que os logs estejam disponíveis para visualização antes que o trabalho seja concluído.
+ **Spark UI** (IU do Spark) e **Spark UI logs path** (Caminho de logs da IU do Spark): (indisponível para trabalhos de shell do Python) ativa o uso da interface do usuário do Spark para monitorar o trabalho e especifica o local para os logs da interface do usuário do Spark.
+ **Maximum concurrency** (Simultaneidade máxima): define o número máximo de execuções simultâneas permitidas para o trabalho.
+ **Temporary path** (Caminho temporário): o local de um diretório de trabalho no Amazon S3 onde os resultados intermediários temporários serão gravados quando o AWS Glue executar o script.
+ **Delay notification threshold (minutes)** (Limite de notificação de atraso [minutos]): especifica um limite de atraso para o trabalho. Se o trabalho for executado por mais tempo do que o especificado pelo limite, o AWS Glue envia uma notificação de atraso para o trabalho ao CloudWatch.
+ **Security configuration** (Configuração de segurança) e **Server-side encryption** (Criptografia do lado do servidor): use esses campos para escolher as opções de criptografia do trabalho.
+ **Use Glue Data Catalog as the Hive metastore** (Usar o Glue Data Catalog como metastore do Hive): escolha essa opção se quiser usar o AWS Glue Data Catalog como uma alternativa ao Apache Hive Metastore.
+ **Additional network connection**(Conexão de rede adicional): para uma origem dos dados em uma VPC, você pode especificar uma conexão do tipo `Network` a fim de garantir que seu trabalho acesse seus dados por meio da VPC.
+ **Python library path** (Caminho da biblioteca do Python), **Dependent jars path** (Caminho de arquivos jar dependentes, não disponível para trabalhos de shell do Python) ou **Referenced files path** (Caminho de arquivos referenciados): use esses campos para especificar o local dos arquivos adicionais usados pelo trabalho quando ele executa o script.
+ **Job Parameters** (Parâmetros do trabalho): você pode adicionar um conjunto de pares de chave-valor que são transmitidos como parâmetros nomeados para o script. Nas chamadas do Python para AWS Glue APIs, é melhor transmitir os parâmetros explicitamente por nome. Para obter mais informações sobre como usar parâmetros em um script de trabalho, consulte [Transmitir e acessar parâmetros do Python no AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-calling.html#aws-glue-programming-python-calling-parameters) no *Guia do desenvolvedor do AWS Glue*.
+ **Tags**: você pode adicionar tags ao trabalho para ajudar a organizá-las e identificá-las.
1. Depois de modificar as propriedades do trabalho, salve-o.
### Armazenar arquivos de ordem aleatória do Spark no Amazon S3
Alguns trabalhos de ETL exigem leitura e combinação de informações de várias partições, por exemplo, ao usar uma transformação de união. Essa operação é referida como *shuffling* (ordenamento aleatório). Durante uma geração de ordem aleatória, os dados são gravados no disco e transferidos pela rede. Com o AWS Glue versão 3.0, você pode configurar o Amazon S3 como um local de armazenamento para esses arquivos. O AWS Glue fornece um gerenciador de ordenamento aleatório que grava e lê arquivos aleatórios de e para o Amazon S3. Gravar e ler arquivos de ordem aleatória do Amazon S3 é mais lento (de 5% a 20%) em comparação com o disco local (ou o Amazon EBS, que é altamente otimizado para o Amazon EC2). No entanto, o Amazon S3 fornece capacidade de armazenamento ilimitada, assim você não precisa se preocupar com erros de “`No space left on device`” ao executar seu trabalho.
**Para configurar seu trabalho a fim de usar o Amazon S3 para arquivos de ordem aleatória**
1. Na página **Jobs** (Trabalhos), na lista **Your jobs** (Seus trabalhos), escolha o nome do trabalho que você deseja modificar.
1. Na página do editor visual, escolha a guia **Job details** Detalhes do trabalho) na parte superior do painel de edição do trabalho.
Role para baixo até a seção **Job parameters** (Parâmetros do trabalho).
1. Especifique os seguintes pares de chave-valor.
+ `--write-shuffle-files-to-s3` — `true`
Esse é o parâmetro principal que configura o gerenciador de ordenamento aleatório no AWS Glue a fim de usar buckets do Amazon S3 para gravar e ler dados de ordem aleatória. Esse parâmetro é um sinalizador baseado na presença — adicioná-lo a qualquer valor permite o embaralhamento do Amazon S3. Para desabilitar o embaralhamento do Amazon S3, remova esse parâmetro completamente da configuração do seu trabalho.
+ (Opcional) `--write-shuffle-spills-to-s3`: `true` (compatível apenas com o AWS Glue versão 2.0)
Esse parâmetro permite que você descarregue arquivos de despejo em buckets do Amazon S3, o que fornece resiliência adicional ao seu trabalho do Spark no AWS Glue. Isso só é necessário para grandes workloads que despejam muitos dados no disco. Quando o sinalizador não é especificado, nenhum arquivo de vazamento intermediário é gravado.
+ (Opcional) `--conf spark.shuffle.glue.s3ShuffleBucket`: `S3://<{{shuffle-bucket}}>`
Esse parâmetro especifica o bucket do Amazon S3 que deve ser usado ao gravar os arquivos de ordem aleatória. Se você não definir esse parâmetro, o local será a pasta `shuffle-data` no local especificado como **caminho temporário** (`--TempDir`).
**nota**
Certifique-se de que o local do bucket de ordem aleatória está na mesma região da Região da AWS na qual o trabalho é executado.
Além disso, o serviço de ordenamento aleatório não limpa os arquivos após a conclusão da execução do trabalho, portanto, você deve configurar as políticas de ciclo de vida de armazenamento do Amazon S3 no local do bucket de ordem aleatória. Para obter mais informações, consulte [Gerenciar ciclo de vida de armazenamento](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html) no *Manual do usuário do Amazon S3*.
## Salvar o trabalho
Um aviso em vermelho informando **Job has not being saved** (O trabalho não foi salvo) é exibido à esquerda do botão **Save** (Salvar) até que você salve o trabalho.
**Para salvar seu trabalho**
1. Forneça todas as informações necessárias nas guias **Visual** e **Job details** (Detalhes do trabalho).
1. Clique no botão **Salvar**.
Depois de salvar o trabalho, o aviso “not saved” (não salvo) muda para exibir a hora e a data em que o trabalho foi salvo pela última vez.
Se você sair do AWS Glue Studio antes de salvar seu trabalho, na próxima vez que você entrar no AWS Glue Studio, uma notificação será exibida. A notificação indica que há um trabalho não salvo e pergunta se você deseja restaurá-lo. Se optar por restaurar o trabalho, poderá continuar a editá-lo.
### Solucionar problemas com erros ao salvar um trabalho
Se escolher o botão **Save** (Salvar), mas houver algumas informações necessárias faltando no trabalho, um aviso em vermelho aparecerá na guia onde as informações estão faltando. O número no aviso indica quantos campos faltantes foram detectados.
+ Se um nó no editor visual não estiver configurado corretamente, a guia **Visual** exibirá um aviso em vermelho e o nó com o erro exibirá um símbolo de aviso .
1. Escolher o nó. No painel de detalhes do nó, um aviso em vermelho aparece na guia onde as informações ausentes ou incorretas estão localizadas.
1. Escolha a guia no painel de detalhes do nó que mostra um aviso em vermelho e localize os campos problemáticos, que estarão destacados. Uma mensagem de erro abaixo dos campos fornece informações adicionais sobre o problema.
+ Se houver um problema com as propriedades do trabalho, a guia **Job details** (Detalhes do trabalho) mostrará um aviso em vermelho. Escolha essa guia e localize os campos problemáticos, que estarão destacados. As mensagens de erro abaixo dos campos fornecem informações adicionais sobre o problema.
## Clonar um trabalho
Você pode usar a ação **Clone job** (Clonar trabalho) para copiar um trabalho existente em um novo trabalho.
**Para criar um trabalho por cópia de um trabalho existente**
1. Na página **Jobs** (Trabalhos), na lista **Your jobs** (Seus trabalhos), escolha o nome do trabalho que você deseja duplicar.
1. No menu **Actions** (Ações), escolha **Clone job** (Clonar trabalho).
1. Insira um nome para o novo trabalho. Em seguida, você poderá salvar ou editar o trabalho.
## Excluir trabalhos
É possível remover trabalhos que não sejam mais necessários. É possível excluir um ou mais trabalhos em uma única operação.
**Para remover trabalhos do AWS Glue Studio**
1. Na página **Jobs** (Trabalhos), na lista **Your jobs** (Seus trabalhos), escolha o nome do trabalho que você deseja excluir.
1. No menu **Actions** (Ações), escolha **Delete job** (Excluir trabalho).
1. Confirme que você deseja excluir o trabalho digitando **delete**.
Você também pode excluir um trabalho salvo ao visualizar a guia **Job details** (Detalhes do trabalho) desse trabalho no editor visual.