Amazon Forecast ya no está disponible para nuevos clientes. Los clientes actuales de Amazon Forecast pueden seguir utilizando el servicio con normalidad. [Más información](https://aws.amazon.com/blogs/machine-learning/transition-your-amazon-forecast-usage-to-amazon-sagemaker-canvas/) Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Supervisión de predictores **nota** Si habilita la supervisión de predictores, Amazon Forecast almacenará los datos de cada una de sus previsiones para analizar el rendimiento de los predictores, incluso después de eliminar los datos de las previsiones. Para eliminar estos datos, elimine el recurso de supervisión. La supervisión del predictor le permite ver cómo cambia el rendimiento de su predictor a lo largo del tiempo. Diversos factores pueden provocar cambios en el rendimiento, como la evolución económica o los cambios en el comportamiento de los clientes. Por ejemplo, imaginemos un escenario de previsión en el que el objetivo es `sales` y hay dos atributos relacionados: `price` y `color`. En los meses posteriores a la creación del primer predictor, es posible que algunos colores se vuelvan más populares entre los clientes de forma inesperada. Esto podría aumentar las ventas de artículos con este atributo. Estos nuevos datos podrían afectar al rendimiento del predictor y a la precisión de las previsiones que genera. Con la supervisión de predictores habilitada, Forecast analiza el rendimiento de su predictor a medida que genera previsiones e importa más datos. Forecast compara los nuevos datos con las previsiones anteriores para detectar cualquier cambio en el rendimiento. Puede ver gráficos de cómo han cambiado las diferentes métricas de precisión a lo largo del tiempo en la consola de Forecast. O bien, puede obtener los resultados de la supervisión con la operación [ListMonitorEvaluations](API_ListMonitorEvaluations.md). La supervisión de predictores puede ayudar a decidir si ha llegado el momento de volver a entrenar el predictor. Si el rendimiento se está degradando, es posible que desee volver a entrenar el predictor con datos más recientes. Si decide volver a entrenar el predictor, el nuevo predictor incluirá los datos de supervisión del anterior. También puede utilizar la supervisión de predictores para recopilar datos contextuales sobre su entorno de producción o para realizar comparaciones entre distintos experimentos. La monitorización de predictores solo está disponible para AutoPredictors. Puede actualizar los predictores heredados existentes a. AutoPredictor Consulte [Actualizar a. AutoPredictor](howitworks-predictor.md#upgrading-autopredictor) **Topics** + [Flujo de trabajo de supervisión de predictores](#predictor-monitoring-workflow) + [Cómo habilitar la supervisión de predictores](enabling-predictor-monitoring.md) + [Visualización de resultados de supervisión](predictor-monitoring-results.md) + [Restricciones y prácticas recomendadas](#predictor-monitoring-best-practices) ## Flujo de trabajo de supervisión de predictores Para obtener los resultados de la supervisión de los predictores, primero debe utilizar el predictor para generar una previsión y, a continuación, importar más datos. El flujo de trabajo de supervisión es el siguiente: 1. Habilite la supervisión de predictores para un autopredictor: + Cree un nuevo predictor con la supervisión habilitada. Consulte [Cómo habilitar la supervisión de un predictor para un nuevo predictor](enabling-predictor-monitoring.md#enabling-predictor-monitoring-new). + O habilite la supervisión para un predictor existente. Consulte [Cómo habilitar la supervisión de predictores para un predictor existente](enabling-predictor-monitoring.md#enabling-predictor-monitoring-existing). 1. Utilice el predictor para generar una o más previsiones. 1. Importe más datos. Para obtener información sobre cómo importar datos en Forecast, consulte [Importación de conjuntos de datos](howitworks-datasets-groups.md). 1. Vea los resultados de la supervisión de predictores: + Puede ver los resultados en la pestaña **Supervisión ** del predictor. + O bien, puede obtener los resultados de la supervisión con la operación [ListMonitorEvaluations](API_ListMonitorEvaluations.md). Para obtener más información, consulte [Visualización de resultados de supervisión](predictor-monitoring-results.md). # Cómo habilitar la supervisión de predictores Puede habilitar la supervisión de predictores al crear el predictor o puede habilitarla para un predictor existente. **nota** La monitorización de predictores solo está disponible para AutoPredictors. Puede actualizar los predictores heredados existentes a. AutoPredictor Consulte [Actualizar a. AutoPredictor](howitworks-predictor.md#upgrading-autopredictor) **Topics** + [Cómo habilitar la supervisión de un predictor para un nuevo predictor](#enabling-predictor-monitoring-new) + [Cómo habilitar la supervisión de predictores para un predictor existente](#enabling-predictor-monitoring-existing) ## Cómo habilitar la supervisión de un predictor para un nuevo predictor Puede habilitar la supervisión de un predictor nuevo con la consola, AWS CLI AWS SDKs, y la [CreateAutoPredictor](API_CreateAutoPredictor.md) operación. ------ #### [ Console ] **Para habilitar la supervisión de predictores** 1. Inicie sesión en la consola Amazon Forecast Consola de administración de AWS y ábrala en [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. En **Grupos de conjuntos de datos**, elija su grupo de conjuntos de datos. 1. En el panel de navegación, elija **Predictores**. 1. Elija **Entrenar un nuevo predictor**. 1. En la sección de **Configuración del predictor**, elija **Habilitar supervisión**. 1. Proporcione valores para los siguientes campos obligatorios: + **Nombre**: un nombre de predictor único. + **Frecuencia de previsión**: la granularidad de sus previsiones. + **Horizonte de previsión**: el número de pasos de tiempo que se preven. 1. Elija **Iniciar** para crear un predictor automático con la supervisión habilitada. Verá los resultados de la supervisión a medida que utilice el predictor para generar previsiones y, a continuación, importar más datos. ------ #### [ Python ] Para habilitar la supervisión de un predictor nuevo con el SDK para Python (Boto3), utilice el método `create_auto_predictor` y dé un nombre de monitor en la `MonitoringConfig`. El siguiente código crea un autopredictor que hace predicciones para 24 (`ForecastHorizon`) días (`ForecastFrequency`) en el futuro y and especifique `MyPredictorMonitor` como el `MonitorName`. Después de generar una previsión y, a continuación, importar más datos, podrá ver los resultados de la supervisión de predictores. Para obtener más información acerca de la recuperación de resultados, consulte [Visualización de resultados de supervisión](predictor-monitoring-results.md). Para obtener más información acerca de los parámetros obligatorios y opcionales para crear un predictor, consulte [CreateAutoPredictor](API_CreateAutoPredictor.md). ``` import boto3 forecast = boto3.client('forecast') create_predictor_response = forecast.create_auto_predictor( PredictorName = 'predictor_name', ForecastHorizon = 24, ForecastFrequency = 'D', DataConfig = { "DatasetGroupArn": "arn:aws:forecast:region:account:dataset-group/datasetGroupName" }, MonitorConifg = { "MonitorName": "MyMonitorName" } ) ``` ------ ## Cómo habilitar la supervisión de predictores para un predictor existente Puede habilitar la monitorización de un predictor existente con la consola AWS CLI, y. AWS SDKs ------ #### [ Console ] **Para habilitar la supervisión de predictores** 1. Inicie sesión en la consola Amazon Forecast Consola de administración de AWS y ábrala en [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. En **Grupos de conjuntos de datos**, elija su grupo de conjuntos de datos. 1. En el panel de navegación, elija **Predictores**. 1. Elija su predictor. 1. Navegue hasta la pestaña **Supervisión**. 1. En la sección **Detalles de supervisión**, seleccione **Iniciar supervisión** Cuando el **estado de supervisión** es Activo, la supervisión predictora estará habilitada. Después de generar una previsión y, a continuación, importar más datos, podrá ver los resultados de la supervisión de predictores. Para obtener más información consulte [Visualización de resultados de supervisión](predictor-monitoring-results.md) ------ #### [ Python ] Para habilitar la supervisión de predictores de un predictor existente con el SDK para Python (Boto3), utilice el método `create_monitor`. Especifique un nombre para la supervisión y para `ResourceArn`, especifique el nombre de recurso de Amazon (ARN) para el predictor que desea supervisar. Utilice el método `describe_monitor` y proporcione el ARN del monitor para obtener el estado del monitor. Después de generar una previsión y, a continuación, importar más datos, podrá ver los resultados de la supervisión de predictores. Para obtener más información, consulte [Visualización de resultados de supervisión](predictor-monitoring-results.md). Para obtener más información acerca de los parámetros obligatorios y opcionales, consulte la [CreateMonitor](API_CreateMonitor.md) y la [DescribeMonitor](API_DescribeMonitor.md). ``` import boto3 forecast = boto3.client('forecast') create_monitor_response = forecast.create_monitor( MonitorName = 'monitor_name', ResourceArn = 'arn:aws:forecast:region:accountNumber:predictor/predictorName' ) monitor_arn = create_monitor_response['MonitorArn'] describe_monitor_response = forecast.describe_monitor( MonitorArn = monitor_arn ) print("Monitor status: " + describe_monitor_response['Status']) ``` ------ # Visualización de resultados de supervisión Después de generar una previsión y, a continuación, importar más datos, podrá ver los resultados de la supervisión de predictores. Puede ver una visualización de los resultados con la consola Forecast o puede recuperar los resultados mediante programación con la operación [ListMonitorEvaluations](API_ListMonitorEvaluations.md). La consola de Forecast muestra gráficos de los resultados de cada [métrica del predictor](metrics.md). Los gráficos incluyen cómo ha cambiado cada métrica a lo largo de la vida del predictor y de los eventos del predictor, como el reentrenamiento. La operación [ListMonitorEvaluations](API_ListMonitorEvaluations.md) devuelve los resultados de las métricas y los eventos del predictor para distintos períodos de tiempo. ------ #### [ Console ] **Para ver los resultados de la supervisión de predictores:** 1. Inicie sesión en la consola Amazon Forecast Consola de administración de AWS y ábrala en [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. En **Grupos de conjuntos de datos**, elija su grupo de conjuntos de datos. 1. En el panel de navegación, elija **Predictores**. 1. Seleccione el predictor y elija la pestaña **Supervisión**. + La sección **Resultados de supervisión** muestra cómo han cambiado las diferentes métricas de precisión a lo largo del tiempo. Utilice la lista desplegable para cambiar la métrica que realiza seguimiento del gráfico. + La sección **Historial de supervisión** muestra los detalles de los diferentes eventos rastreados en los resultados. A continuación se muestra un ejemplo de un gráfico que muestra cómo ha cambiado la puntuación `Avg wQL` de un predictor a lo largo del tiempo. En este gráfico, observe que el valor de `Avg wQL` aumenta con el tiempo. Este aumento indica que la precisión del predictor está disminuyendo. Utilice esta información para determinar si necesita revalidar el modelo y tomar medidas. ![\[Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.\]](http://docs.aws.amazon.com/es_es/forecast/latest/dg/images/predictor-drift.png) ------ #### [ SDK for Python (Boto3) ] Para obtener resultados de supervisión con el SDK para Python (Boto3), use el método `list_monitor_evaluations`. Proporcione el nombre de recurso de Amazon (ARN) del monitor y, de forma opcional, especifique el número máximo de resultados que desea recuperar con el parámetro `MaxResults`. Si lo desea, especifique un `Filter` para filtrar los resultados. Puede filtrar las evaluaciones por un `EvaluationState` de `SUCCESS` o `FAILURE`: El siguiente código permite obtener un máximo de 20 evaluaciones de supervisión correctas. ``` import boto3 forecast = boto3.client('forecast') monitor_results = forecast.list_monitor_evaluations( MonitorArn = 'monitor_arn', MaxResults = 20, Filters = [ { "Condition": "IS", "Key": "EvaluationState", "Value": "SUCCESS" } ] ) print(monitor_results) ``` A continuación, se muestra un ejemplo de respuesta JSON. ``` { "NextToken": "string", "PredictorMonitorEvaluations": [ { "MonitorArn": "MonitorARN", "ResourceArn": "PredictorARN", "EvaluationTime": "2020-01-02T00:00:00Z", "EvaluationState": "SUCCESS", "WindowStartDatetime": "2019-01-01T00:00:00Z", "WindowEndDatetime": "2019-01-03T00:00:00Z", "PredictorEvent": { "Detail": "Retrain", "Datetime": "2020-01-01T00:00:00Z" }, "MonitorDataSource": { "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*", "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*", "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*", }, "MetricResults": [ { "MetricName": "AverageWeightedQuantileLoss", "MetricValue": 0.17009070456599376 }, { "MetricName": "MAPE", "MetricValue": 0.250711322309796 }, { "MetricName": "MASE", "MetricValue": 1.6275608734888485 }, { "MetricName": "RMSE", "MetricValue": 3100.7125081405547 }, { "MetricName": "WAPE", "MetricValue": 0.17101159704738722} ] } ] } ``` ------ ## Restricciones y prácticas recomendadas Tenga en cuenta las siguientes restricciones y prácticas recomendadas para trabajar con la supervisión de predictores. + **Supervisión de predictores solo está disponible para autopredictores**: no puede habilitar la supervisión para los predictores heredados que se crearon con AutoML o mediante una selección manual. Consulte [Actualización a AutoPredictor](howitworks-predictor.md#upgrading-autopredictor). + **La supervisión de predictores es única para cada autopredictor**: solo puede crear un monitor por cada autopredictor. + **La supervisión de predictores requiere nuevos datos y la generación de previsiones**: a medida que se importan nuevos datos que se utilizan para generar nuevas previsiones, los resultados de la supervisión de predictores estarán disponibles. Si no está importando datos nuevos o los datos recién importados no cubren un horizonte de previsión completo, no verá los resultados de la supervisión. + **La supervisión de predictores requiere nuevas previsiones**: debe generar nuevas previsiones de forma continua para generar los resultados de la supervisión. Si no está generando nuevas previsiones, no verá los resultados de la supervisión. + **Amazon Forecast almacenará los datos de cada una de sus previsiones para el análisis del rendimiento de los predictores**: Forecast almacena estos datos incluso si elimina las previsiones. Para eliminar estos datos, elimine el monitor asociado. + La operación [StopResource](API_StopResource.md) detendrá todas las evaluaciones actuales y futuras. + La métrica AvgWQL solo está disponible cuando se generan previsiones para cuantiles distintos de la media. + Las evaluaciones del monitor en curso no se muestran en la operación [ListMonitorEvaluations](API_ListMonitorEvaluations.md).