기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 사용자 지정 개체 인식기 지표
Amazon Comprehend는 개체 인식기가 작업에 얼마나 잘 작동해야 하는지 추정하는 데 도움이 되는 지표를 제공합니다. 인식기 모델 학습을 기반으로 하므로 학습 중 모델의 성능을 정확하게 나타내긴 하지만 개체 검색 중 API 성능의 근사치에 불과합니다.
학습된 개체 인식기의 메타데이터가 반환될 때마다 지표가 반환됩니다.
Amazon Comprehend는 한 번에 최대 25개 항목에 대한 모델 학습을 지원합니다. 학습된 개체 인식기에서 지표가 반환되면 인식기 전체(글로벌 지표)와 개별 개체(개체 지표) 모두에 대해 점수가 계산됩니다.
세 가지 지표를 모두 글로벌 지표와 개체 지표로 사용할 수 습니다.
+ **정밀도**
이는 시스템에서 생성된 개체 중 올바르게 식별되고 올바르게 레이블이 지정된 개체의 비율을 나타냅니다. 이는 모델의 개체 식별이 실제로 올바른 식별이 되는 경우가 얼마나 많은지를 보여줍니다. 이는 총 식별 수치 비율입니다.
즉, 정밀도는 *참양성(tp)* 및 *거짓양성(fp)*을 기반으로 하며 *정밀도 = tp/(tp \$1 fp)*로 계산됩니다.
예를 들어, 문서에 개체의 예가 두 개 있지만 실제로는 하나만 있다고 모델이 예측하는 경우 결과는 참양성 1개와 거짓양성 1개입니다. 이 경우 *정밀도 = 1/ (1 \$1 1)*입니다. 모델에서 식별한 두 요소 중 한 요소가 정확하므로 정밀도는 50%입니다.
+ **리콜**
이는 문서에 있는 개체 중 시스템에서 올바르게 식별되고 레이블을 지정한 개체의 비율을 나타냅니다. *수학적으로 이것은 올바른 식별의 총 개수(*참양성(tp)*와 놓친 식별의 총 개수(거짓음성(fn)*)로 정의됩니다.
*리콜 = tp / (tp \$1 fn)*으로 계산됩니다. 예를 들어, 모델이 한 개체를 올바르게 식별했지만 해당 개체가 있는 다른 두 개의 인스턴스를 놓친 경우 결과는 참양성 1개와 거짓음성 2개입니다. 이 경우 *리콜은 1/ (1 \$1 2)*입니다. 가능한 세 가지 사례 중 한 개체가 맞기 때문에 리콜은 33.33%입니다.
+ **F1 점수**
이는 사용자 지정 개체 인식을 위한 모델의 전체 정확도를 측정하는 정밀도 지표와 리콜 지표의 조합입니다. F1 점수는 정밀도 및 리콜 지표의 조화 평균입니다(*F1 = 2 \$1 정밀도 \$1 리콜/ (정밀도\$1리콜*).
**참고**
직관적으로 보면 조화 평균은 단순 평균이나 다른 방법보다 극단에 더 큰 영향을 줍니다(예: `precision` = 0, `recall` = 1은 가능한 모든 기간을 예측하여 간단하게 달성할 수 있습니다. 여기서 단순 평균은 0.5이지만 `F1`은 0으로 벌칙을 적용합니다).
위의 예에서는 `precision` = 50%이고 `recall` = 33.33%이므로 `F1` = 2 \$1 0.5 \$1 0.3333/ (0.5 \$1 0.3333)입니다. F1 점수는 .3975 또는 39.75% 입니다.
**글로벌 및 개별 개체 지표**
*장소* 또는 *사람* 중 하나인 개체에 대한 다음 문장을 분석하면 글로벌 개체 지표와 개별 개체 지표 간의 관계를 확인할 수 있습니다.
```
John Washington and his friend Smith live in San Francisco, work in San Diego, and own
a house in Seattle.
```
이 예제에서 모델은 다음과 같은 예측을 합니다.
```
John Washington = Person
Smith = Place
San Francisco = Place
San Diego = Place
Seattle = Person
```
하지만 예측은 다음과 같았어야 합니다.
```
John Washington = Person
Smith = Person
San Francisco = Place
San Diego = Place
Seattle = Place
```
이에 대한 개별 개체 지표는 다음과 같습니다.
```
entity: Person
True positive (TP) = 1 (because John Washington is correctly predicted to be a
Person).
False positive (FP) = 1 (because Seattle is incorrectly predicted to be a Person,
but is actually a Place).
False negative (FN) = 1 (because Smith is incorrectly predicted to be a Place, but
is actually a Person).
Precision = 1 / (1 + 1) = 0.5 or 50%
Recall = 1 / (1+1) = 0.5 or 50%
F1 Score = 2 * 0.5 * 0.5 / (0.5 + 0.5) = 0.5 or 50%
entity: Place
TP = 2 (because San Francisco and San Diego are each correctly predicted to be a
Place).
FP = 1 (because Smith is incorrectly predicted to be a Place, but is actually a
Person).
FN = 1 (because Seattle is incorrectly predicted to be a Person, but is actually a
Place).
Precision = 2 / (2+1) = 0.6667 or 66.67%
Recall = 2 / (2+1) = 0.6667 or 66.67%
F1 Score = 2 * 0.6667 * 0.6667 / (0.6667 + 0.6667) = 0.6667 or 66.67%
```
이에 대한 글로벌 지표는 다음과 같습니다.
글로벌:
```
Global:
TP = 3 (because John Washington, San Francisco and San Diego are predicted correctly.
This is also the sum of all individual entity TP).
FP = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This
is the sum of all individual entity FP).
FN = 2 (because Seattle is predicted as Person and Smith is predicted as Place. This
is the sum of all individual FN).
Global Precision = 3 / (3+2) = 0.6 or 60%
(Global Precision = Global TP / (Global TP + Global FP))
Global Recall = 3 / (3+2) = 0.6 or 60%
(Global Recall = Global TP / (Global TP + Global FN))
Global F1Score = 2 * 0.6 * 0.6 / (0.6 + 0.6) = 0.6 or 60%
(Global F1Score = 2 * Global Precision * Global Recall / (Global Precision +
Global Recall))
```
## 사용자 지정 개체 인식기 성능 개선
이러한 지표는 학습된 모델을 사용하여 개체를 식별할 때 학습된 모델이 얼마나 정확하게 수행되는지에 대한 인사이트를 제공합니다. 지표가 예상보다 낮을 경우 지표를 개선하는 데 사용할 수 있는 몇 가지 옵션은 다음과 같습니다.
1. [Annotations](cer-annotation.md) 또는 [개체 목록(일반 텍스트만 해당)](cer-entity-list.md)을 사용하는지 여부에 따라 해당 설명서의 지침을 준수하여 데이터 품질을 개선하십시오. 데이터를 개선하고 모델을 재학습한 후 더 나은 지표를 발견하면 데이터 품질을 계속 반복하고 개선하여 모델 성능을 개선할 수 있습니다.
1. 개체 목록을 사용하는 경우 주석을 대신 사용하는 것이 좋습니다. 수동 주석을 사용하면 결과를 개선할 수 있는 경우가 많습니다.
1. 데이터 품질 문제가 없는 것이 확실하지만 지표가 여전히 불합리하게 낮은 경우 지원 요청을 제출하세요.