Amazon Fraud Detector는 2025년 11월 7일부터 신규 고객에게 더 이상 공개되지 않습니다. Amazon Fraud Detector와 유사한 기능을 알아보려면 Amazon SageMaker, AutoGluon 및를 살펴보세요 AWS WAF.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 모델 성능 지표
<a name="training-performance-metrics"></a>

모델 훈련이 완료되면 Amazon Fraud Detector는 모델 훈련에 사용되지 않은 데이터의 15%를 사용하여 모델 성능을 검증합니다. 훈련된 Amazon Fraud Detector 모델은 검증 성능 지표와 유사한 실제 사기 탐지 성능을 가질 것으로 예상할 수 있습니다.

기업으로서 더 많은 사기를 탐지하는 것과 합법적인 고객에게 더 많은 마찰을 가하는 것 사이의 균형을 맞춰야 합니다. 적절한 균형을 선택하는 데 도움이 되도록 Amazon Fraud Detector는 모델 성능을 평가하는 다음과 같은 도구를 제공합니다.
+ **점수 분포 차트** - 모델 점수 분포의 히스토그램은 100,000개의 이벤트로 구성된 예제 모집단을 가정합니다. 왼쪽 Y축은 합법적인 이벤트를 나타내고 오른쪽 Y축은 사기 이벤트를 나타냅니다. 차트 영역을 클릭하여 특정 모델 임계값을 선택할 수 있습니다. 그러면 혼동 행렬 및 ROC 차트의 해당 뷰가 업데이트됩니다.
+ **혼동 행렬** - 모델 예측과 실제 결과를 비교하여 지정된 점수 임계값에 대한 모델 정확도를 요약합니다. Amazon Fraud Detector는 100,000개의 이벤트로 구성된 예제 모집단을 가정합니다. 사기 및 합법적인 이벤트의 배포는 비즈니스의 사기 발생률을 시뮬레이션합니다.
  + **참 긍정 **- 모델은 사기를 예측하고 이벤트는 실제로 사기입니다.
  + **거짓 긍정** - 모델은 사기를 예측하지만 이벤트는 실제로 합법적입니다.
  + **참 부정 **- 모델은 합법적인 것으로 예측하고 이벤트는 실제로 합법적인 것으로 예측합니다.
  + **거짓 부정 **- 모델은 합법적인 것으로 예측하지만 실제로 이벤트는 사기입니다.
  + **참 긍정률(TPR)** - 모델이 탐지한 총 사기의 비율입니다. 캡처 속도라고도 합니다.
  + **FPR(False positive rate)** - 사기로 잘못 예측된 총 합법적인 이벤트의 비율입니다.
+ **수신기 연산자 곡선(ROC) **- 가능한 모든 모델 점수 임계값에 대해 참 긍정 비율을 거짓 긍정 비율의 함수로 표시합니다. **고급 지표를 선택하여이 차트를** 봅니다.
+ **곡선하면적(AUC)** - 가능한 모든 모델 점수 임계값에서 TPR 및 FPR을 요약합니다. 예측력이 없는 모델은 AUC가 0.5인 반면, 완벽한 모델은 점수가 1.0입니다.
+ **불확실성 범위** - 모델에서 예상되는 AUC 범위를 보여줍니다. 범위가 클수록(AUC > 0.1의 상한과 하한 차이) 모델 불확실성이 높아집니다. 불확실성 범위가 큰 경우(>0.1) 레이블이 더 많은 이벤트를 제공하고 모델을 재학습하는 것이 좋습니다.

**모델 성능 지표를 사용하려면**

1. **점수 분포** 차트부터 시작하여 사기 및 합법적인 이벤트에 대한 모델 점수 분포를 검토합니다. 이상적으로는 사기와 합법적인 이벤트가 명확하게 구분됩니다. 이는 모델이 어떤 이벤트가 사기이고 어떤 이벤트가 합법적인지 정확하게 식별할 수 있음을 나타냅니다. 차트 영역을 클릭하여 모델 임계값을 선택합니다. 모델 점수 임계값을 조정하면 참 긍정 및 거짓 긍정 비율에 어떤 영향을 미치는지 확인할 수 있습니다.
**참고**  
점수 분포 차트는 사기 및 합법적인 이벤트를 두 개의 서로 다른 Y축에 표시합니다. 왼쪽 Y축은 합법적인 이벤트를 나타내고 오른쪽 Y축은 사기 이벤트를 나타냅니다.

1. **혼동 행렬**을 검토합니다. 선택한 모델 점수 임계값에 따라 100,000개의 이벤트 샘플을 기반으로 시뮬레이션된 영향을 볼 수 있습니다. 사기 및 합법적인 이벤트의 배포는 비즈니스의 사기 발생률을 시뮬레이션합니다. 이 정보를 사용하여 참 긍정 비율과 거짓 긍정 비율 간의 적절한 균형을 찾을 수 있습니다.

1. 자세한 내용을 보려면 **고급 지표를** 선택합니다. ROC 차트를 사용하여 모델 점수 임계값에 대한 참 긍정 비율과 거짓 긍정 비율 간의 관계를 이해합니다. ROC 곡선은 참 긍정 비율과 거짓 긍정 비율 간의 균형을 미세 조정하는 데 도움이 될 수 있습니다.
**참고**  
테이블을 선택하여 테이블 형식의 지표를 검토할 수도 **있습니다**.  
테이블 보기에는 지표 **정밀도**도 표시됩니다. **정밀도**는 사기로 예측된 모든 이벤트와 비교하여 사기로 올바르게 예측된 사기 이벤트의 백분율입니다.

1. 성능 지표를 사용하여 목표 및 사기 탐지 사용 사례를 기반으로 비즈니스에 대한 최적의 모델 임계값을 결정합니다. 예를 들어 모델을 사용하여 새 계정 등록을 위험도 높음, 중간 또는 낮음으로 분류하려는 경우 다음과 같이 세 가지 규칙 조건의 초안을 작성할 수 있도록 두 개의 임계값 점수를 식별해야 합니다.
   + 점수 > X는 위험이 높습니다.
   + 점수 < X이지만 > Y는 중간 위험입니다.
   + 점수가 < Y이면 위험이 낮습니다.