本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 自訂分類器指標
<a name="cer-doc-class"></a>

Amazon Comprehend 提供指標，協助您預估自訂分類器的效能。Amazon Comprehend 會使用分類器訓練任務的測試資料來計算指標。這些指標準確代表模型在訓練期間的效能，因此它們近似模型效能，以便分類類似的資料。

使用 [DescribeDocumentClassifier](https://docs.aws.amazon.com/comprehend/latest/APIReference/API_DescribeDocumentClassifier.html) 等 API 操作來擷取自訂分類器的指標。

**注意**  
請參閱[指標：精確度、召回和 FScore](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_recall_fscore_support.html)，以了解基礎精確度、召回和 F1 分數指標。這些指標是在類別層級定義。Amazon Comprehend 使用**巨集**平均，將這些指標結合到測試集 P、R 和 F1，如下所述。

**Topics**
+ [指標](#cer-doc-class-metrics)
+ [改善自訂分類器的效能](#improving-metrics-doc)

## 指標
<a name="cer-doc-class-metrics"></a>

Amazon Comprehend 支援下列指標：

**Topics**
+ [準確性](#class-accuracy-metric)
+ [精確度 （巨集精確度）](#class-macroprecision-metric)
+ [召回 （巨集召回）](#class-macrorecall-metric)
+ [F1 分數 （巨集 F1 分數）](#class-macrof1score-metric)
+ [壅塞損失](#class-hammingloss-metric)
+ [微型精確度](#class-microprecision-metric)
+ [微型召回](#class-microrecall-metric)
+ [Micro F1 分數](#class-microf1score-metric)

若要檢視分類器的指標，請在 主控台中開啟**分類器詳細資訊**頁面。

![自訂分類器指標](http://docs.aws.amazon.com/zh_tw/comprehend/latest/dg/images/classifierperformance.png)


### 準確性
<a name="class-accuracy-metric"></a>

準確度表示模型準確預測之測試資料的標籤百分比。若要計算準確性，請將測試文件中準確預測的標籤數量除以測試文件中的標籤總數。

例如


| 實際標籤 | 預測標籤 | 正確/不正確 | 
| --- | --- | --- | 
| 1 | 1 | 準確 | 
| 0 | 1 | 不正確 | 
| 2 | 3 | 不正確 | 
| 3 | 3 | 準確 | 
| 2 | 2 | 準確 | 
| 1 | 1 | 準確 | 
| 3 | 3 | 準確 | 

準確度包含準確預測的數量除以整體測試樣本的數量 = 5/7 = 0.714 或 71.4%

### 精確度 （巨集精確度）
<a name="class-macroprecision-metric"></a>

精確度是衡量分類器結果在測試資料中的實用性。其定義為準確分類的文件數量，除以類別的分類總數。高精確度表示分類器傳回比不相關結果更相關的結果。

`Precision` 指標也稱為*巨集精確度*。

下列範例顯示測試集的精確度結果。


| 標籤 | 範例大小 | 標籤精確度 | 
| --- | --- | --- | 
| Label\_1 | 400 | 0.75 | 
| Label\_2 | 300 | 0.80 | 
| Label\_3 | 30000 | 0.90 版 | 
| Label\_4 | 20 | 0.50 | 
| Label\_5 | 10 | 0.40 | 

因此，模型的精確度 （巨集精確度） 指標為：

```
Macro Precision = (0.75 + 0.80 + 0.90 + 0.50 + 0.40)/5 = 0.67
```

### 召回 （巨集召回）
<a name="class-macrorecall-metric"></a>

這表示模型可以預測的文字中正確類別的百分比。此指標來自平均所有可用標籤的取回分數。Recall 是測試資料分類器結果完成度的指標。

高度召回表示分類器傳回大部分的相關結果。

`Recall` 指標也稱為*巨集召回*。

下列範例顯示測試集的召回結果。


| 標籤 | 範例大小 | 標籤回收 | 
| --- | --- | --- | 
| Label\_1 | 400 | 0.70 | 
| Label\_2 | 300 | 0.70 | 
| Label\_3 | 30000 | 0.98 | 
| Label\_4 | 20 | 0.80 | 
| Label\_5 | 10 | 0.10 | 

因此，模型的召回 （巨集召回） 指標為：

```
Macro Recall = (0.70 + 0.70 + 0.98 + 0.80 + 0.10)/5 = 0.656
```

### F1 分數 （巨集 F1 分數）
<a name="class-macrof1score-metric"></a>

F1 分數衍生自 `Precision`和 `Recall`值。它測量分類器的整體準確性。最高分數為 1，最低分數為 0。

Amazon Comprehend 會計算*巨集 F1 分數*。這是標籤 F1 分數的未加權平均值。使用下列測試集做為範例：


| 標籤 | 範例大小 | 標籤 F1 分數 | 
| --- | --- | --- | 
| Label\_1 | 400 | 0.724 | 
| Label\_2 | 300 | 0.824 | 
| Label\_3 | 30000 | 0.94 | 
| Label\_4 | 20 | 0.62 | 
| Label\_5 | 10 | 0.16 | 

模型的 F1 分數 （巨集 F1 分數） 計算方式如下：

```
Macro F1 Score = (0.724 + 0.824 + 0.94 + 0.62 + 0.16)/5 = 0.6536
```

### 壅塞損失
<a name="class-hammingloss-metric"></a>

不正確預測的標籤部分。與標籤總數相比，也被視為不正確標籤的一小部分。接近零的分數更好。

### 微型精確度
<a name="class-microprecision-metric"></a>

原始：

與精確度指標類似，但微精確度是根據加在一起的所有精確度分數的整體分數。

### 微型召回
<a name="class-microrecall-metric"></a>

與回收指標類似，但微回收是根據加在一起的所有回收分數的整體分數。

### Micro F1 分數
<a name="class-microf1score-metric"></a>

Micro F1 分數是 Micro Precision 和 Micro Recall 指標的組合。

## 改善自訂分類器的效能
<a name="improving-metrics-doc"></a>

這些指標可讓您深入了解自訂分類器在分類任務期間如何執行。如果指標很低，分類模型可能不適用於您的使用案例。您有多種選項可以改善分類器效能：

1. 在您的訓練資料中，提供明確區隔類別的具體範例。例如，提供使用唯一單字/句子來代表類別的文件。

1. 在訓練資料中為代表性不足的標籤新增更多資料。

1. 嘗試減少類別中的扭曲。如果資料中最大的標籤超過最小標籤中文件的 10 倍，請嘗試增加最小標籤的文件數量。請務必將高度表示和最小表示類別之間的偏斜比率降低到最多 10：1。您也可以嘗試從高度表示的類別中移除輸入文件。