Amazon Forecast n'est plus disponible pour les nouveaux clients. Les clients existants d'Amazon Forecast peuvent continuer à utiliser le service normalement. [En savoir plus »](https://aws.amazon.com/blogs/machine-learning/transition-your-amazon-forecast-usage-to-amazon-sagemaker-canvas/) Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Surveillance des prédicteurs **Note** Si vous activez la surveillance des prédicteurs, Amazon Forecast stockera les données de chacune de vos prévisions à des fins d'analyse des performances des prédicteurs, même après avoir supprimé les données de prévision. Pour supprimer ces données, supprimez la ressource de surveillance. La surveillance des prédicteurs vous permet de voir comment les performances de votre prédicteur évoluent au fil du temps. Divers facteurs peuvent entraîner des modifications des performances, tels que les développements économiques ou les modifications du comportement de vos clients. Imaginons, par exemple, un scénario de prévisions dans lequel la cible est `sales` (ventes), associée à deux attributs : `price` (prix) et `color` (couleur). Dans les mois qui suivent la création de votre premier prédicteur, certaines couleurs peuvent soudainement gagner en popularité auprès de vos clients. Cela peut faire augmenter les ventes d'articles dotés de cet attribut. Ces nouvelles données peuvent avoir un impact sur les performances de votre prédicteur et sur la précision des prévisions qu'il génère. Lorsque la surveillance des prédicteurs est activée, Forecast analyse les performances de votre prédicteur à mesure que vous générez des prévisions et que vous importez davantage de données. Forecast compare les nouvelles données aux prévisions précédentes afin de détecter toute modification des performances. Vous pouvez consulter des graphiques illustrant l'évolution des différentes mesures de précision au fil du temps dans la console Forecast. Ou vous pouvez obtenir des résultats de surveillance avec l'[ListMonitorEvaluations](API_ListMonitorEvaluations.md)opération. La surveillance des prédicteurs peut vous aider à décider s'il est temps de réentraîner votre prédicteur. Si les performances se dégradent, vous souhaiterez peut-être réentraîner le prédicteur sur des données plus récentes. Si vous choisissez de réentraîner votre prédicteur, le nouveau prédicteur inclura les données de surveillance du précédent. Vous pouvez également utiliser la surveillance prédictive pour collecter des données contextuelles sur votre environnement de production ou pour effectuer des comparaisons pour différentes expériences. La surveillance prédictive n'est disponible que pour AutoPredictors. Vous pouvez mettre à niveau les anciens prédicteurs existants vers. AutoPredictor Consultez la section [Mise à niveau vers AutoPredictor](howitworks-predictor.md#upgrading-autopredictor). **Topics** + [Flux de travail de surveillance des prédicteurs](#predictor-monitoring-workflow) + [Activation de la surveillance des prédicteurs](enabling-predictor-monitoring.md) + [Affichage des résultats de surveillance](predictor-monitoring-results.md) + [Restrictions et meilleures pratiques](#predictor-monitoring-best-practices) ## Flux de travail de surveillance des prédicteurs Pour obtenir des résultats de surveillance des prédicteurs, vous devez d'abord utiliser votre prédicteur pour générer une prévision, puis importer d'autres données. Le flux de travail de surveillance est le suivant. 1. Activez la surveillance des prédicteurs pour un prédicteur automatique : + Créez un nouveau prédicteur avec la surveillance activée. Consultez [Activation de la surveillance des prédicteurs pour un nouveau prédicteur](enabling-predictor-monitoring.md#enabling-predictor-monitoring-new). + Vous pouvez également activer la surveillance d'un prédicteur existant. Consultez [Activation de la surveillance des prédicteurs pour un prédicteur existant](enabling-predictor-monitoring.md#enabling-predictor-monitoring-existing). 1. Utilisez le prédicteur pour générer une ou plusieurs prévisions. 1. Importer plus de données. Pour plus d'informations sur l'importation de données dans Forecast, consultez[Importation de jeux de données](howitworks-datasets-groups.md). 1. Afficher les résultats de la surveillance des prédicteurs : + Vous pouvez consulter les résultats dans l'onglet **Surveillance** de votre prédicteur. + Ou vous pouvez obtenir des résultats de surveillance avec l'[ListMonitorEvaluations](API_ListMonitorEvaluations.md)opération. Pour de plus amples informations, veuillez consulter [Affichage des résultats de surveillance](predictor-monitoring-results.md). # Activation de la surveillance des prédicteurs Vous pouvez activer la surveillance des prédicteurs lorsque vous créez le prédicteur, ou vous pouvez l'activer pour un prédicteur existant. **Note** La surveillance prédictive n'est disponible que pour AutoPredictors. Vous pouvez mettre à niveau les anciens prédicteurs existants vers. AutoPredictor Consultez la section [Mise à niveau vers AutoPredictor](howitworks-predictor.md#upgrading-autopredictor). **Topics** + [Activation de la surveillance des prédicteurs pour un nouveau prédicteur](#enabling-predictor-monitoring-new) + [Activation de la surveillance des prédicteurs pour un prédicteur existant](#enabling-predictor-monitoring-existing) ## Activation de la surveillance des prédicteurs pour un nouveau prédicteur Vous pouvez activer la surveillance des prédicteurs pour un nouveau prédicteur à l'aide de la console, AWS CLI AWS SDKs, et de l'[CreateAutoPredictor](API_CreateAutoPredictor.md)opération. ------ #### [ Console ] **Pour activer la surveillance de Predictor** 1. Connectez-vous à la console Amazon Forecast AWS Management Console et ouvrez-la à l'adresse [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. Dans **Groupes de jeux de données**, choisissez votre groupe de jeux de données. 1. Dans le volet de navigation, sélectionnez **Predictors.** 1. Choisissez **Train new predictor.** 1. Dans la section **Configuration du prédicteur**, choisissez **Activer la surveillance**. 1. Entrez des valeurs pour les champs obligatoires suivants : + **Nom : nom** unique du prédicteur. + **Fréquence des prévisions** : granularité de vos prévisions. + **Horizon de prévision** : nombre d'étapes temporelles à prévoir. 1. Choisissez **Démarrer** pour créer un indicateur automatique avec la surveillance activée. Vous verrez les résultats de surveillance lorsque vous utiliserez le prédicteur pour générer des prévisions, puis que vous importerez davantage de données. ------ #### [ Python ] Pour activer la surveillance des prédicteurs pour un nouveau prédicteur avec le SDK pour Python (Boto3), `create_auto_predictor` utilisez la méthode et indiquez un nom de moniteur dans le. `MonitoringConfig` Le code suivant crée un prédicteur automatique qui fait des prédictions pour 24 (`ForecastHorizon`) jours (`ForecastFrequency`) dans le futur, et spécifie `MyPredictorMonitor` comme. `MonitorName` Après avoir généré une prévision, puis importé d'autres données, vous pouvez consulter les résultats de la surveillance des prédicteurs. Pour plus d'informations sur la récupération des résultats, consultez[Affichage des résultats de surveillance](predictor-monitoring-results.md). Pour plus d'informations sur les paramètres obligatoires et facultatifs pour la création d'un prédicteur, voir[CreateAutoPredictor](API_CreateAutoPredictor.md). ``` import boto3 forecast = boto3.client('forecast') create_predictor_response = forecast.create_auto_predictor( PredictorName = 'predictor_name', ForecastHorizon = 24, ForecastFrequency = 'D', DataConfig = { "DatasetGroupArn": "arn:aws:forecast:region:account:dataset-group/datasetGroupName" }, MonitorConifg = { "MonitorName": "MyMonitorName" } ) ``` ------ ## Activation de la surveillance des prédicteurs pour un prédicteur existant Vous pouvez activer la surveillance des prédicteurs pour un prédicteur existant à l'aide de la console AWS CLI, et. AWS SDKs ------ #### [ Console ] **Pour activer la surveillance des prédicteurs** 1. Connectez-vous à la console Amazon Forecast AWS Management Console et ouvrez-la à l'adresse [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. Dans **Groupes de jeux de données**, choisissez votre groupe de jeux de données. 1. Dans le volet de navigation, sélectionnez **Predictors.** 1. Choisissez votre prédicteur. 1. Accédez à l'onglet **Surveillance**. 1. Dans la section **Détails de la surveillance**, choisissez **Démarrer la surveillance** Lorsque le **statut de surveillance** est actif, la surveillance des prédicteurs est activée. Après avoir généré une prévision, puis importé d'autres données, vous pouvez consulter les résultats de la surveillance des prédicteurs. Pour plus d'informations, consultez [Affichage des résultats de surveillance](predictor-monitoring-results.md). ------ #### [ Python ] Pour activer la surveillance d'un prédicteur existant avec le SDK pour Python (Boto3), utilisez la méthode. `create_monitor` Spécifiez un nom pour la surveillance et pour `ResourceArn` spécifier le nom de ressource Amazon (ARN) pour le prédicteur à surveiller. Utilisez la `describe_monitor` méthode et fournissez l'ARN du moniteur pour obtenir l'état du moniteur. Après avoir généré une prévision, puis importé d'autres données, vous pouvez consulter les résultats de la surveillance des prédicteurs. Pour de plus amples informations, veuillez consulter [Affichage des résultats de surveillance](predictor-monitoring-results.md). Pour plus d'informations sur les paramètres obligatoires et facultatifs, consultez le [CreateMonitor](API_CreateMonitor.md) et[DescribeMonitor](API_DescribeMonitor.md). ``` import boto3 forecast = boto3.client('forecast') create_monitor_response = forecast.create_monitor( MonitorName = 'monitor_name', ResourceArn = 'arn:aws:forecast:region:accountNumber:predictor/predictorName' ) monitor_arn = create_monitor_response['MonitorArn'] describe_monitor_response = forecast.describe_monitor( MonitorArn = monitor_arn ) print("Monitor status: " + describe_monitor_response['Status']) ``` ------ # Affichage des résultats de surveillance Après avoir généré une prévision, puis importé d'autres données, vous pouvez consulter les résultats de la surveillance des prédicteurs. Vous pouvez visualiser les résultats à l'aide de la console Forecast ou les récupérer par programmation avec l'[ListMonitorEvaluations](API_ListMonitorEvaluations.md)opération. La console Forecast affiche des graphiques des résultats pour chaque [métrique prédictive](metrics.md). Les graphiques indiquent l'évolution de chaque métrique au cours de la durée de vie de votre prédicteur et les événements prédictifs, tels que le recyclage. L'[ListMonitorEvaluations](API_ListMonitorEvaluations.md)opération renvoie des résultats métriques et des événements prédictifs pour différentes fenêtres temporelles. ------ #### [ Console ] **Pour afficher les résultats de la surveillance des prédicteurs** 1. Connectez-vous à la console Amazon Forecast AWS Management Console et ouvrez-la à l'adresse [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/). 1. Dans **Groupes de jeux de données**, choisissez votre groupe de jeux de données. 1. Dans le volet de navigation, sélectionnez **Predictors.** 1. Choisissez le prédicteur et cliquez sur l'onglet **Surveillance**. + La section **des résultats de surveillance** montre comment les différentes mesures de précision ont évolué au fil du temps. Utilisez la liste déroulante pour modifier la métrique suivie par le graphique. + La section **Historique du suivi** répertorie les détails des différents événements suivis dans les résultats. Voici un exemple de graphique illustrant l'évolution du `Avg wQL` score d'un prédicteur au fil du temps. Dans ce graphique, notez que la `Avg wQL` valeur augmente au fil du temps. Cette augmentation indique que la précision du prédicteur diminue. Utilisez ces informations pour déterminer si vous devez revalider le modèle et prendre des mesures. ![\[Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.\]](http://docs.aws.amazon.com/fr_fr/forecast/latest/dg/images/predictor-drift.png) ------ #### [ SDK for Python (Boto3) ] Pour obtenir des résultats de surveillance avec le SDK pour Python (Boto3), utilisez la méthode. `list_monitor_evaluations` Indiquez le nom de ressource Amazon (ARN) du moniteur et spécifiez éventuellement le nombre maximum de résultats à récupérer à l'aide du `MaxResults` paramètre. Spécifiez éventuellement a `Filter` pour filtrer les résultats. Vous pouvez filtrer les évaluations en fonction `EvaluationState` de l'un `SUCCESS` ou de l'autre`FAILURE`. Le code suivant permet d'obtenir au maximum 20 évaluations de suivi réussies. ``` import boto3 forecast = boto3.client('forecast') monitor_results = forecast.list_monitor_evaluations( MonitorArn = 'monitor_arn', MaxResults = 20, Filters = [ { "Condition": "IS", "Key": "EvaluationState", "Value": "SUCCESS" } ] ) print(monitor_results) ``` Voici un exemple de réponse JSON : ``` { "NextToken": "string", "PredictorMonitorEvaluations": [ { "MonitorArn": "MonitorARN", "ResourceArn": "PredictorARN", "EvaluationTime": "2020-01-02T00:00:00Z", "EvaluationState": "SUCCESS", "WindowStartDatetime": "2019-01-01T00:00:00Z", "WindowEndDatetime": "2019-01-03T00:00:00Z", "PredictorEvent": { "Detail": "Retrain", "Datetime": "2020-01-01T00:00:00Z" }, "MonitorDataSource": { "DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*", "ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*", "PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*", }, "MetricResults": [ { "MetricName": "AverageWeightedQuantileLoss", "MetricValue": 0.17009070456599376 }, { "MetricName": "MAPE", "MetricValue": 0.250711322309796 }, { "MetricName": "MASE", "MetricValue": 1.6275608734888485 }, { "MetricName": "RMSE", "MetricValue": 3100.7125081405547 }, { "MetricName": "WAPE", "MetricValue": 0.17101159704738722} ] } ] } ``` ------ ## Restrictions et meilleures pratiques Tenez compte des restrictions et des meilleures pratiques suivantes lorsque vous travaillez avec la surveillance prédictive. + **La surveillance des prédicteurs n'est disponible que pour les prédicteurs automatiques** : vous ne pouvez pas activer la surveillance pour les anciens prédicteurs créés avec AutoML ou par sélection manuelle. Consultez la section [Mise à niveau vers AutoPredictor](howitworks-predictor.md#upgrading-autopredictor). + **La surveillance des prédicteurs est unique par prédicteur automatique** : vous ne pouvez créer qu'un seul moniteur par prédicteur automatique. + **La surveillance des prédicteurs nécessite de nouvelles données et la génération de prévisions** : lorsque vous importez de nouvelles données utilisées pour générer de nouvelles prévisions, les résultats de la surveillance des prédicteurs sont disponibles. Si vous n'importez pas de nouvelles données ou si les données récemment importées ne couvrent pas un horizon de prévision complet, les résultats du suivi ne s'afficheront pas. + **La surveillance des prédicteurs nécessite de nouvelles prévisions** : vous devez générer de nouvelles prévisions en permanence pour générer des résultats de surveillance. Si vous ne générez pas de nouvelles prévisions, les résultats de surveillance ne s'afficheront pas. + **Amazon Forecast stockera les données de chacune de vos prévisions à des fins d'analyse des performances des prédicteurs**. Forecast stocke ces données même si vous supprimez des prévisions. Pour supprimer ces données, supprimez le moniteur associé. + L'[StopResource](API_StopResource.md)opération mettra fin à toutes les évaluations en cours et à toutes les évaluations futures. + La métrique AvgQL n'est disponible que lorsque vous générez des prévisions pour des quantiles autres que la moyenne. + Les évaluations du moniteur en cours ne sont pas affichées dans l'[ListMonitorEvaluations](API_ListMonitorEvaluations.md)opération.