O Amazon Forecast não está mais disponível para novos clientes. Os clientes existentes do Amazon Forecast podem continuar usando o serviço normalmente. [Saiba mais](https://aws.amazon.com/blogs/machine-learning/transition-your-amazon-forecast-usage-to-amazon-sagemaker-canvas/) As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Monitoramento de preditores **nota** Se você ativar o monitoramento de preditores, o Amazon Forecast armazenará dados de cada uma de suas previsões para análise de desempenho do preditor, mesmo depois de excluir os dados de previsão. Para excluir esses dados, exclua o recurso de monitor. O monitoramento do preditor permite que você veja como o desempenho do preditor muda com o passar do tempo. Vários fatores podem causar mudanças no desempenho, como desenvolvimentos econômicos ou mudanças no comportamento do cliente. Por exemplo, considere um cenário de previsão em que o alvo seja `sales` e haja dois atributos relacionados: `price` e `color`. Nos meses após a criação do primeiro preditor, certas cores podem se tornar inesperadamente mais populares entre seus clientes. Isso pode aumentar as vendas de itens com esse atributo. Esses novos dados podem afetar o desempenho do seu preditor e a precisão das previsões que ele gera. Com o monitoramento de preditores ativado, o Forecast analisa o desempenho do seu preditor à medida que você gera previsões e importa mais dados. O Forecast compara os novos dados com as previsões anteriores para detectar quaisquer alterações no desempenho. Você pode ver gráficos de como diferentes métricas de precisão mudaram ao longo do tempo no console Forecast. Ou pode obter resultados de monitoramento com a operação [ListMonitorEvaluations](API_ListMonitorEvaluations.md). O monitoramento do preditor ajuda a decidir se está na hora de treinar novamente seu preditor. Se o desempenho estiver diminuindo, você poderá treinar novamente o preditor com base em dados mais recentes. Se você treinar novamente seu preditor, o novo preditor incluirá os dados de monitoramento do anterior. Você também pode usar o monitoramento de preditores para coletar dados contextuais sobre seu ambiente de produção ou para realizar comparações para diferentes experimentos. O monitoramento de preditores está disponível apenas para AutoPredictors. Você pode atualizar os preditores legados existentes para AutoPredictor. Consulte [Atualizando para. AutoPredictor](howitworks-predictor.md#upgrading-autopredictor) **Topics** + [Fluxo de trabalho de monitoramento do preditor](#predictor-monitoring-workflow) + [Habilitar o monitoramento do preditor](enabling-predictor-monitoring.md) + [Visualizar os resultados do monitoramento](predictor-monitoring-results.md) + [Restrições e melhores práticas](#predictor-monitoring-best-practices) ## Fluxo de trabalho de monitoramento do preditor Para ver os resultados do monitoramento do preditor, você deve primeiro usar seu preditor para gerar uma previsão e depois importar mais dados. O fluxo de trabalho é o seguinte: 1. Ative o monitoramento de preditores para um preditor automático: + Crie um novo preditor com o monitoramento ativado. Consulte [Como habilitar o monitoramento de preditores para um novo preditor](enabling-predictor-monitoring.md#enabling-predictor-monitoring-new). + Ou habilite o monitoramento de um preditor existente. Consulte [Como habilitar o monitoramento de preditores para um preditor existente](enabling-predictor-monitoring.md#enabling-predictor-monitoring-existing). 1. Use o preditor para gerar uma ou mais previsões. 1. Importe mais dados. Para obter informações sobre a importação de dados para o Forecast, consulte [Importação de conjuntos de dados](howitworks-datasets-groups.md). 1. Veja os resultados do monitoramento do preditor: + Você pode ver os resultados na guia **Monitoramento** do preditor. + Ou você pode obter resultados de monitoramento com a operação [ListMonitorEvaluations](API_ListMonitorEvaluations.md). Para obter mais informações, consulte [Visualizar os resultados do monitoramento](predictor-monitoring-results.md). # Habilitar o monitoramento do preditor Você pode ativar o monitoramento do preditor ao criar o preditor ou ativá-lo para um preditor existente. **nota** O monitoramento de preditores está disponível apenas para AutoPredictors. Você pode atualizar os preditores legados existentes para AutoPredictor. Consulte [Atualizando para. AutoPredictor](howitworks-predictor.md#upgrading-autopredictor) **Topics** + [Como habilitar o monitoramento de preditores para um novo preditor](#enabling-predictor-monitoring-new) + [Como habilitar o monitoramento de preditores para um preditor existente](#enabling-predictor-monitoring-existing) ## Como habilitar o monitoramento de preditores para um novo preditor Você pode ativar o monitoramento do preditor para um novo preditor com o console,, AWS CLI AWS SDKs, e a [CreateAutoPredictor](API_CreateAutoPredictor.md) operação. ------ #### [ Console ] **Para ativar o monitoramento do preditor** 1. Faça login Console de gerenciamento da AWS e abra o console do Amazon Forecast em [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. Na página **Grupos de conjuntos de dados**, escolha seu grupo de conjuntos de dados. 1. No painel de navegação, selecione **Preditores**. 1. Escolha **Treinar novo preditor**. 1. Na seção **Configuração do preditor**, escolha **Ativar monitoramento**. 1. Forneça os valores para os seguintes campos obrigatórios: + **Nome**: um nome de preditor exclusivo. + **Frequência de previsão**: a granularidade das previsões. + **Horizonte de previsão**: o número de etapas de tempo a serem previstas. 1. Escolha **Iniciar** para criar um preditor automático com o monitoramento ativado. Você verá os resultados do monitoramento ao usar o preditor para gerar previsões e depois importar mais dados. ------ #### [ Python ] Para ativar o monitoramento do preditor para um novo preditor com o SDK para Python (Boto3), use o método `create_auto_predictor` e forneça um nome de monitor em `MonitoringConfig`. O código a seguir cria um preditor automático que faz previsões para 24 (`ForecastHorizon`) dias (`ForecastFrequency`) no futuro e especifica `MyPredictorMonitor` como o `MonitorName`. Depois de gerar uma previsão e importar mais dados, você pode ver os resultados do monitoramento do preditor. Para obter mais informações sobre recuperação de logs, consulte [Visualizar os resultados do monitoramento](predictor-monitoring-results.md). Para obter informações sobre os parâmetros obrigatórios e opcionais para criar um preditor, consulte [CreateAutoPredictor](API_CreateAutoPredictor.md). ``` import boto3 forecast = boto3.client('forecast') create_predictor_response = forecast.create_auto_predictor( PredictorName = 'predictor_name', ForecastHorizon = 24, ForecastFrequency = 'D', DataConfig = { "DatasetGroupArn": "arn:aws:forecast:region:account:dataset-group/datasetGroupName" }, MonitorConifg = { "MonitorName": "MyMonitorName" } ) ``` ------ ## Como habilitar o monitoramento de preditores para um preditor existente Você pode ativar o monitoramento do preditor para um preditor existente com o console AWS CLI, e. AWS SDKs ------ #### [ Console ] **Para habilitar o monitoramento de preditores** 1. Faça login Console de gerenciamento da AWS e abra o console do Amazon Forecast em [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. Na página **Grupos de conjuntos de dados**, escolha seu grupo de conjuntos de dados. 1. No painel de navegação, selecione **Preditores**. 1. Escolha seu preditor. 1. Acesse a guia **Monitoramento**. 1. Na seção **Detalhes do monitoramento**, escolha **Iniciar monitoramento**. Quando o **Status de monitoramento** é Ativo, o monitoramento de preditores está ativado. Depois de gerar uma previsão e importar mais dados, você poderá visualizar os resultados do monitoramento do preditor. Para obter mais informações, consulte [Visualizar os resultados do monitoramento](predictor-monitoring-results.md) ------ #### [ Python ] Para habilitar o monitoramento do preditor para um preditor existente com o SDK para Python (Boto3), use o método `create_monitor`. Especifique um nome para o monitoramento e, para `ResourceArn`, especifique o nome do recurso da Amazon (ARN) para o preditor monitorar. Use o método `describe_monitor` e forneça o ARN do monitor para obter o status do monitor. Depois de gerar uma previsão e importar mais dados, você poderá visualizar os resultados do monitoramento do preditor. Para obter mais informações, consulte [Visualizar os resultados do monitoramento](predictor-monitoring-results.md). Para obter informações sobre os parâmetros obrigatórios e opcionais, consulte [CreateMonitor](API_CreateMonitor.md) e [DescribeMonitor](API_DescribeMonitor.md). ``` import boto3 forecast = boto3.client('forecast') create_monitor_response = forecast.create_monitor( MonitorName = 'monitor_name', ResourceArn = 'arn:aws:forecast:region:accountNumber:predictor/predictorName' ) monitor_arn = create_monitor_response['MonitorArn'] describe_monitor_response = forecast.describe_monitor( MonitorArn = monitor_arn ) print("Monitor status: " + describe_monitor_response['Status']) ``` ------ # Visualizar os resultados do monitoramento Depois de gerar uma previsão e importar mais dados, você poderá visualizar os resultados do monitoramento do preditor. Você pode ter uma visualização dos resultados com o console Forecast ou pode obter os resultados de forma programática com a operação [ListMonitorEvaluations](API_ListMonitorEvaluations.md). O console Forecast exibe gráficos de resultados para cada [métrica do preditor](metrics.md). Os gráficos incluem como cada métrica mudou ao longo da vida útil do preditor e dos eventos dele, como um novo treinamento. A operação [ListMonitorEvaluations](API_ListMonitorEvaluations.md) gera resultados métricos e eventos preditores para diferentes períodos. ------ #### [ Console ] **Para ver os resultados do monitoramento do preditor** 1. Faça login Console de gerenciamento da AWS e abra o console do Amazon Forecast em [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. Na página **Grupos de conjuntos de dados**, escolha seu grupo de conjuntos de dados. 1. No painel de navegação, selecione **Preditores**. 1. Escolha o preditor e escolha a guia **Monitoramento**. + A seção **Resultados do monitoramento** mostra como as diferentes métricas de precisão mudaram com o passar do tempo. Use a lista suspensa para alterar a métrica que o gráfico monitora. + A seção **Histórico de monitoramento** mostra os detalhes dos diferentes eventos rastreados nos resultados. Veja um exemplo de um gráfico de como a pontuação `Avg wQL` de um preditor mudou ao longo do tempo. No gráfico, observe que o valor `Avg wQL` está aumentando com o tempo. Esse aumento indica que a precisão do preditor está diminuindo. Use essas informações para determinar se você precisa revalidar o modelo e tomar alguma atitude. ![\[Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.\]](http://docs.aws.amazon.com/pt_br/forecast/latest/dg/images/predictor-drift.png) ------ #### [ SDK for Python (Boto3) ] Para obter resultados de monitoramento com o SDK para Python (Boto3), use o método `list_monitor_evaluations`. Forneça o nome do recurso da Amazon (ARN) do monitor e, opcionalmente, especifique o número máximo de resultados a serem obtidos com o parâmetro `MaxResults`. Opcionalmente, especifique um `Filter` para filtrar os resultados. Você pode filtrar as avaliações por `EvaluationState` um de `SUCCESS` ou`FAILURE`. O seguinte código obtém no máximo 20 avaliações de monitoramento bem-sucedidas. ``` import boto3 forecast = boto3.client('forecast') monitor_results = forecast.list_monitor_evaluations( MonitorArn = 'monitor_arn', MaxResults = 20, Filters = [ { "Condition": "IS", "Key": "EvaluationState", "Value": "SUCCESS" } ] ) print(monitor_results) ``` O seguinte é um exemplo de resposta do JSON. ``` { "NextToken": "string", "PredictorMonitorEvaluations": [ { "MonitorArn": "MonitorARN", "ResourceArn": "PredictorARN", "EvaluationTime": "2020-01-02T00:00:00Z", "EvaluationState": "SUCCESS", "WindowStartDatetime": "2019-01-01T00:00:00Z", "WindowEndDatetime": "2019-01-03T00:00:00Z", "PredictorEvent": { "Detail": "Retrain", "Datetime": "2020-01-01T00:00:00Z" }, "MonitorDataSource": { "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*", "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*", "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*", }, "MetricResults": [ { "MetricName": "AverageWeightedQuantileLoss", "MetricValue": 0.17009070456599376 }, { "MetricName": "MAPE", "MetricValue": 0.250711322309796 }, { "MetricName": "MASE", "MetricValue": 1.6275608734888485 }, { "MetricName": "RMSE", "MetricValue": 3100.7125081405547 }, { "MetricName": "WAPE", "MetricValue": 0.17101159704738722} ] } ] } ``` ------ ## Restrições e melhores práticas Considere as seguintes restrições e práticas recomendadas ao trabalhar com o monitoramento de preditores. + **O monitoramento de preditores está disponível somente para preditores automáticos:** você não pode ativar o monitoramento de preditores antigos que foram criados com o AutoML ou por meio de seleção manual. Consulte [Atualizando para. AutoPredictor](howitworks-predictor.md#upgrading-autopredictor) + **O monitoramento por preditor é exclusivo por preditor automático:** você só pode criar um monitor por preditor automático. + **O monitoramento de preditores exige novos dados e a geração de previsões:** à medida que você importa novos dados que são usados para gerar novas previsões, os resultados do monitoramento de preditores ficam disponíveis. Se você não estiver importando novos dados ou se os dados recém-importados não cobrirem um horizonte de previsão completo, você não verá os resultados do monitoramento. + **O monitoramento de preditores exige novas previsões:** você deve gerar continuamente novas previsões para gerar resultados de monitoramento. Se você não estiver gerando novas previsões, não verá os resultados do monitoramento. + **O Amazon Forecast armazenará dados de cada uma de suas previsões para análise de desempenho do preditor:** o Forecast armazenará esses dados mesmo se você excluir previsões. Para excluir esses dados, exclua o monitor associado. + A operação [StopResource](API_StopResource.md) interromperá todas as avaliações atuais e futuras. + A métrica avgWQL está disponível somente quando você gera previsões para quantis diferentes da média. + As avaliações do monitor em andamento não são mostradas na operação [ListMonitorEvaluations](API_ListMonitorEvaluations.md).