신규 고객은 Amazon Forecast를 더 이상 사용할 수 없습니다. Amazon Forecast의 기존 고객은 서비스를 정상적으로 계속 사용할 수 있습니다. [자세히 알아보기](https://aws.amazon.com/blogs/machine-learning/transition-your-amazon-forecast-usage-to-amazon-sagemaker-canvas/)
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 예측기 모니터링
**참고**
예측기 모니터링을 활성화하면 Amazon Forecast는 예측 데이터를 삭제한 후에도 예측기 성능 분석을 위해 각 예측의 데이터를 저장합니다. 이 데이터를 삭제하려면 모니터링 리소스를 삭제하세요.
예측기 모니터링을 사용하면 시간 경과에 따라 예측기의 성능이 어떻게 변하는지 볼 수 있습니다. 경제 발전이나 고객 행동 변화 등 다양한 요인으로 인해 성능이 달라질 수 있습니다.
예를 들어 대상이 `sales`이고 `price` 및 `color`의 두 관련 속성이 있는 예측 시나리오를 생각해 보세요. 첫 번째 예측기를 생성한 후 몇 달이 지나 특정 색상이 예기치 않게 고객에게 인기가 높아질 수 있습니다. 이로 인해 이 속성을 가진 항목의 판매량이 증가할 수 있습니다. 이 새 데이터는 예측기의 성능과 예측기가 생성하는 예측의 정확도에 영향을 미칠 수 있습니다.
예측기 모니터링을 활성화하면 Forecast는 사용자가 예측을 생성하고 더 많은 데이터를 가져올 때 예측기의 성능을 분석합니다. Forecast는 새 데이터를 이전 예측과 비교하여 성능의 변화를 감지합니다. Forecast 콘솔에서 시간 경과에 따른 다양한 정확도 지표의 변화를 그래프로 확인할 수 있습니다. 또는 [ListMonitorEvaluations](API_ListMonitorEvaluations.md) 작업을 통해 모니터링 결과를 얻을 수 있습니다.
예측기 모니터링은 예측기를 재훈련할 시기가 되었는지 판단하는 데 도움이 될 수 있습니다. 성능이 저하되는 경우 더 많은 최신 데이터를 사용하여 예측기를 재훈련하는 것이 좋습니다. 예측기를 재훈련하기로 선택한 경우 새 예측기에는 이전 예측기의 모니터링 데이터가 포함됩니다. 예측기 모니터링을 사용하여 프로덕션 환경에 대한 컨텍스트 데이터를 수집하거나 다양한 실험을 비교할 수도 있습니다.
예측기 모니터링은 AutoPredictor에만 사용할 수 없습니다. 기존 레거시 예측기를 AutoPredictor로 업그레이드할 수 있습니다. [AutoPredictor로 업그레이드](howitworks-predictor.md#upgrading-autopredictor)를 참조하세요.
**Topics**
+ [예측기 모니터링 워크플로](#predictor-monitoring-workflow)
+ [예측기 모니터링 활성화](enabling-predictor-monitoring.md)
+ [모니터링 결과 보기](predictor-monitoring-results.md)
+ [제한 및 모범 사례](#predictor-monitoring-best-practices)
## 예측기 모니터링 워크플로
예측기 모니터링 결과를 가져오려면 먼저 예측기를 사용하여 예측을 생성한 다음 추가 데이터를 가져와야 합니다. 모니터링 워크플로는 다음과 같습니다.
1. 자동 예측기에 대한 예측기 모니터링 활성화:
+ 모니터링이 활성화된 새 예측기를 생성합니다. [새 예측기에 대한 예측기 모니터링 활성화](enabling-predictor-monitoring.md#enabling-predictor-monitoring-new)을(를) 참조하세요.
+ 또는 기존 예측기에 대한 모니터링을 활성화합니다. [기존 예측기에 대한 예측기 모니터링 활성화](enabling-predictor-monitoring.md#enabling-predictor-monitoring-existing)을(를) 참조하세요.
1. 예측기를 사용하여 하나 이상의 예측을 생성합니다.
1. 더 많은 데이터를 가져옵니다. Forecast로 데이터 가져오기에 대한 자세한 내용은 [데이터 세트 가져오기](howitworks-datasets-groups.md)을 참조하세요.
1. 예측기 모니터링 결과 보기:
+ 예측기의 **모니터링** 탭에서 결과를 볼 수 있습니다.
+ 또는 [ListMonitorEvaluations](API_ListMonitorEvaluations.md) 작업을 통해 모니터링 결과를 얻을 수 있습니다.
자세한 내용은 [모니터링 결과 보기](predictor-monitoring-results.md) 단원을 참조하십시오.
# 예측기 모니터링 활성화
예측기를 생성할 때 예측기 모니터링을 활성화하거나 기존 예측기에 대해 예측기 모니터링을 활성화할 수 있습니다.
**참고**
예측기 모니터링은 AutoPredictor에만 사용할 수 없습니다. 기존 레거시 예측기를 AutoPredictor로 업그레이드할 수 있습니다. [AutoPredictor로 업그레이드](howitworks-predictor.md#upgrading-autopredictor)를 참조하세요.
**Topics**
+ [새 예측기에 대한 예측기 모니터링 활성화](#enabling-predictor-monitoring-new)
+ [기존 예측기에 대한 예측기 모니터링 활성화](#enabling-predictor-monitoring-existing)
## 새 예측기에 대한 예측기 모니터링 활성화
콘솔, AWS CLI AWS SDKs 및 [CreateAutoPredictor](API_CreateAutoPredictor.md) 작업을 사용하여 새 예측기에 대한 예측기 모니터링을 활성화할 수 있습니다.
------
#### [ Console ]
**예측기 모니터링을 활성화하려면**
1. 에 로그인 AWS Management Console 하고 [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/) Amazon Forecast 콘솔을 엽니다.
1. **데이터 세트 그룹**에서 데이터 세트 그룹을 선택합니다.
1. 탐색 창에서 **예측기**를 선택합니다.
1. **새 예측기 훈련**을 선택합니다.
1. **예측기 구성** 섹션에서 **모니터링 활성화**를 선택합니다.
1. 다음 필수 필드에 값을 입력합니다.
+ **이름** - 고유한 예측기 이름입니다.
+ **예측 빈도** - 예측의 세분 수준입니다.
+ **예측 기간** - 예측할 시간 단계 수입니다.
1. 모니터링이 활성화된 자동 예측기를 생성하려면 **시작**을 선택합니다. 예측기를 사용하여 예측을 생성한 다음 추가 데이터를 가져오면 모니터링 결과를 확인할 수 있습니다.
------
#### [ Python ]
SDK for Python(Boto3)을 사용하여 새 예측기에 대한 예측기 모니터링을 활성화하려면 `create_auto_predictor` 메서드를 사용하고 `MonitoringConfig`에서 모니터 이름을 제공합니다.
다음 코드는 장래의 24(`ForecastHorizon`)일(`ForecastFrequency`)을 예측하는 자동 예측기를 생성하고 `MyPredictorMonitor`를 `MonitorName`으로 지정합니다. 예측을 생성한 다음 추가 데이터를 가져오면 예측기 모니터링의 결과를 볼 수 있습니다. 결과 검색에 대한 자세한 내용은 [모니터링 결과 보기](predictor-monitoring-results.md) 단원을 참조하세요.
예측기 생성을 위한 필수 및 선택적 파라미터에 대한 자세한 내용은 [CreateAutoPredictor](API_CreateAutoPredictor.md)를 참조하세요.
```
import boto3
forecast = boto3.client('forecast')
create_predictor_response = forecast.create_auto_predictor(
PredictorName = 'predictor_name',
ForecastHorizon = 24,
ForecastFrequency = 'D',
DataConfig = {
"DatasetGroupArn": "arn:aws:forecast:region:account:dataset-group/datasetGroupName"
},
MonitorConifg = {
"MonitorName": "MyMonitorName"
}
)
```
------
## 기존 예측기에 대한 예측기 모니터링 활성화
콘솔 AWS CLI, 및 AWS SDKs.
------
#### [ Console ]
**예측기 모니터링을 활성화하려면**
1. 에 로그인 AWS Management Console 하고 [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/) Amazon Forecast 콘솔을 엽니다.
1. **데이터 세트 그룹**에서 데이터 세트 그룹을 선택합니다.
1. 탐색 창에서 **예측기**를 선택합니다.
1. 예측기를 선택합니다.
1. **모니터링** 탭으로 이동합니다.
1. **모니터링 세부 정보** 섹션에서 **모니터링 시작**을 선택합니다.
**모니터링 상태**가 활성이면 예측기 모니터링이 활성화된 것입니다. 예측을 생성한 다음 추가 데이터를 가져오면 예측기 모니터링의 결과를 볼 수 있습니다. 자세한 내용은 [모니터링 결과 보기](predictor-monitoring-results.md) 섹션을 참조하세요.
------
#### [ Python ]
SDK for Python(Boto3)으로 기존 예측기의 예측기 모니터링을 활성화하려면 `create_monitor` 메서드를 사용하세요. 모니터링 이름을 지정하고, `ResourceArn`에서 모니터링할 예측기의 Amazon 리소스 이름(ARN)을 지정합니다. `describe_monitor` 메서드를 사용하고 모니터 ARN을 제공하여 모니터의 상태를 가져옵니다. 예측을 생성한 다음 추가 데이터를 가져오면 예측기 모니터링의 결과를 볼 수 있습니다. 자세한 내용은 [모니터링 결과 보기](predictor-monitoring-results.md)을 참조하세요.
필수 및 선택적 파라미터에 대한 자세한 내용은 [CreateMonitor](API_CreateMonitor.md) 및 [DescribeMonitor](API_DescribeMonitor.md)를 참조하세요.
```
import boto3
forecast = boto3.client('forecast')
create_monitor_response = forecast.create_monitor(
MonitorName = 'monitor_name',
ResourceArn = 'arn:aws:forecast:region:accountNumber:predictor/predictorName'
)
monitor_arn = create_monitor_response['MonitorArn']
describe_monitor_response = forecast.describe_monitor(
MonitorArn = monitor_arn
)
print("Monitor status: " + describe_monitor_response['Status'])
```
------
# 모니터링 결과 보기
예측을 생성한 다음 추가 데이터를 가져오면 예측기 모니터링의 결과를 볼 수 있습니다. Forecast 콘솔에서 결과의 시각화를 보거나 [ListMonitorEvaluations](API_ListMonitorEvaluations.md) 작업을 통해 프로그래밍 방식으로 결과를 검색할 수 있습니다.
Forecast 콘솔은 각 [예측기 지표](metrics.md)의 결과 그래프를 표시합니다. 그래프에는 예측기와 예측기 이벤트(예: 재훈련)의 수명 주기 동안 각 지표가 어떻게 변했는지가 포함됩니다.
[ListMonitorEvaluations](API_ListMonitorEvaluations.md) 작업은 다양한 기간의 지표 결과와 예측기 이벤트를 반환합니다.
------
#### [ Console ]
**예측기 모니터링 결과를 보려면**
1. 에 로그인 AWS Management Console 하고 [https://console.aws.amazon.com/forecast/](https://console.aws.amazon.com/forecast/) Amazon Forecast 콘솔을 엽니다.
1. **데이터 세트 그룹**에서 데이터 세트 그룹을 선택합니다.
1. 탐색 창에서 **예측기**를 선택합니다.
1. 예측기를 선택하고 **모니터링** 탭을 선택합니다.
+ **모니터링 결과** 섹션은 시간 경과에 따른 다양한 정확도 지표가 어떻게 변했는지 보여줍니다. 드롭다운 목록을 사용하여 그래프가 추적하는 지표를 변경할 수 있습니다.
+ **모니터링 기록** 섹션에는 결과에서 추적된 다양한 이벤트의 세부 정보가 나열됩니다.
다음은 시간 경과에 따른 예측기 `Avg wQL` 점수의 변화를 보여주는 그래프의 예입니다. 이 그래프에서 `Avg wQL` 값이 시간이 지남에 따라 증가하고 있음을 알 수 있습니다. 이 증가는 예측기 정확도가 감소하고 있음을 나타냅니다. 이 정보를 사용하여 모델을 재검증하고 조치를 취해야 하는지 여부를 결정하세요.
![\[Graph showing increasing Avg wQL score over time, indicating decreasing predictor accuracy.\]](http://docs.aws.amazon.com/ko_kr/forecast/latest/dg/images/predictor-drift.png)
------
#### [ SDK for Python (Boto3) ]
SDK for Python(Boto3)을 사용하여 모니터링 결과를 가져오려면 `list_monitor_evaluations` 메서드를 사용합니다. 모니터의 Amazon 리소스 이름(ARN)을 제공하고, 선택적으로 `MaxResults` 파라미터로 검색할 최대 결과 수를 지정합니다. 선택적으로 `Filter`를 지정하여 결과를 필터링할 수 있습니다. `SUCCESS` 또는 `FAILURE`의 `EvaluationState`를 기준으로 평가를 필터링할 수 있습니다. 다음 코드는 최대 20개의 성공적 모니터링 평가를 가져옵니다.
```
import boto3
forecast = boto3.client('forecast')
monitor_results = forecast.list_monitor_evaluations(
MonitorArn = 'monitor_arn',
MaxResults = 20,
Filters = [
{
"Condition": "IS",
"Key": "EvaluationState",
"Value": "SUCCESS"
}
]
)
print(monitor_results)
```
다음은 JSON 응답의 예입니다.
```
{
"NextToken": "string",
"PredictorMonitorEvaluations": [
{
"MonitorArn": "MonitorARN",
"ResourceArn": "PredictorARN",
"EvaluationTime": "2020-01-02T00:00:00Z",
"EvaluationState": "SUCCESS",
"WindowStartDatetime": "2019-01-01T00:00:00Z",
"WindowEndDatetime": "2019-01-03T00:00:00Z",
"PredictorEvent": {
"Detail": "Retrain",
"Datetime": "2020-01-01T00:00:00Z"
},
"MonitorDataSource": {
"DatasetImportJobArn": "arn:aws:forecast:region:accountNumber:dataset-import-job/*",
"ForecastArn": "arn:aws:forecast:region:accountNumber:forecast/*",
"PredictorArn": "arn:aws:forecast:region:accountNumber:predictor/*",
},
"MetricResults": [
{
"MetricName": "AverageWeightedQuantileLoss",
"MetricValue": 0.17009070456599376
},
{
"MetricName": "MAPE",
"MetricValue": 0.250711322309796
},
{
"MetricName": "MASE",
"MetricValue": 1.6275608734888485
},
{
"MetricName": "RMSE",
"MetricValue": 3100.7125081405547
},
{
"MetricName": "WAPE",
"MetricValue": 0.17101159704738722}
]
}
]
}
```
------
## 제한 및 모범 사례
예측기 모니터링을 사용할 때는 다음 제한 및 모범 사례를 고려하세요.
+ **예측기 모니터링은 자동 예측기에만 사용할 수 있습니다** - AutoML을 사용하거나 수동 선택을 통해 생성한 레거시 예측기에서는 모니터링을 활성화할 수 없습니다. [AutoPredictor로 업그레이드](howitworks-predictor.md#upgrading-autopredictor)를 참조하세요.
+ **예측기 모니터링은 자동 예측기마다 고유합니다** - 자동 예측기당 하나의 모니터만 생성할 수 있습니다.
+ **예측기 모니터링에는 새 데이터와 예측 생성이 필요합니다** - 새 예측을 생성하는 데 사용되는 새 데이터를 가져오면 예측기 모니터링 결과를 사용할 수 있게 됩니다. 새 데이터를 가져오지 않거나 새로 가져온 데이터가 전체 예측 기간을 포괄하지 않는 경우에는 모니터링 결과를 볼 수 없습니다.
+ **예측기 모니터링에는 새 예측이 필요합니다** - 모니터링 결과를 생성하려면 새 예측을 지속적으로 생성해야 합니다. 새 예측을 생성하지 않는 경우 모니터링 결과가 표시되지 않습니다.
+ **Amazon Forecast는 예측기 성능 분석을 위해 각 예측의 데이터를 저장합니다** - 예측을 삭제하더라도 Forecast는 이러한 데이터를 저장합니다. 이러한 데이터를 삭제하려면 연결된 모니터를 삭제하세요.
+ [StopResource](API_StopResource.md) 작업은 모든 현재 평가와 모든 미래 평가를 중지합니다.
+ avGWQL 지표는 평균이 아닌 분위수에 대한 예측을 생성할 때만 사용할 수 있습니다.
+ 진행 중인 모니터 평가는 [ListMonitorEvaluations](API_ListMonitorEvaluations.md) 작업에 표시되지 않습니다.