本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 訓練後資料和模型偏差指標
<a name="clarify-measure-post-training-bias"></a>

Amazon SageMaker Clarify 提供十一個訓練後資料和模型偏差指標，以協助量化各種公平性概念。這些概念無法全部同時滿足，並且選擇取決於涉及分析潛在偏差情況下的具體情況。這些指標中的大多數都是從不同人口統計組的二進位分類混淆矩陣中，獲得的數字的組合。由於公平性和偏差可以透過廣泛的指標來定義，因此需要人為判斷來了解和選擇與個別使用案例相關的指標，客戶應諮詢適當的利害關係人，以確定申請使用適當的公平性量值。

我們使用下面的符號來討論偏差指標。描述的概念性模型用於二進位分類，其中事件被標籤為在其範例空間中只有兩個可能的結果，稱為正 (值為 1) 和負 (值為 0)。該框架通常可以直接擴展到多類別分類，或者在需要時涉及連續性有價值結果的案例。在二進位分類案例中，正值和負值標籤會指派給原始資料集中記錄的結果，以及有利構面 *a* 和不利構面 *d*。這些標籤 y 稱為*觀察標籤*，用來區分它們與機器學習模型在機器學習 (ML) 生命週期的訓練或推論階段期間指派的*預測標籤* y'。這些標籤用於定義機率分布 Pa(y) 和 Pd(y) 為其各自的構面結果。
+ 標籤：
  + y 代表訓練資料集中事件結果的 n 個觀察標籤。
  + y' 代表經過訓練的模型在資料集中 n 個觀察標籤的預測標籤。
+ 成果：
  + 樣本的正值結果 (值為 1)，例如申請接受。
    + n(1) 是正結果 (接受) 的觀察標籤數目。
    + n'(1) 是正結 果(接受) 的預測標籤數目。
  + 樣本的負值結果 (值為 0)，例如申請拒絕。
    + n(0) 是負結果 (接受) 的觀察標籤數目。
    + n'(0) 是負結果 (接受) 的預測標籤數目。
+ 構面值：
  + 構面 *a* – 定義對偏差有利人口統計特徵值。
    + na 是有利構面值的觀察標籤數目：na = na(1) \$1 na(0) 構面 *a* 值的正值和負值觀察標籤總和。
    + n'a 是有利構面值的預測標籤數目：n'a = n'a(1) \$1 n'a(0) 構面 *a* 值的正值和負值預測標籤總和。請注意，n'a = na。
  + 構面 *d* — 定義對偏差不利人口統計特徵值。
    + nd 是不利構面值的觀察標籤數目：nd = nd(1) \$1 nd(0) 構面 *d* 值的正值和負值觀察標籤總和。
    + n'd 是不利構面值的預測標籤數目：n'd = n'd(1) \$1 n'd(0) 構面 *a* 值的正值和負值預測標籤總和。請注意，n'd = nd。
+ 標籤構面資料結果的結果機率分布：
  + Pa(y) 是構面 *a* 的觀察標籤機率分布。對於二進位標籤的資料，此分布由標籤為總數正結果的構面 *a* 中的樣本數目比率，Pa(y1) = na(1)/ na，以及總數負結果的樣本數比率，Pa(y0) = na(0)/ na。
  + Pd(y) 是構面 *d* 的觀察標籤機率分布。對於二進位標籤的資料，此分布由標籤為總數正結果的構面 *d* 中的樣本數目比率，Pd(y1) = nd(1)/ nd，以及總數負結果的樣本數比率，Pd(y0) = nd(0)/ nd。

下表包含快速指引的備忘單，以及訓練後偏差指標的連結。

訓練後偏差指標


| 訓練後偏差指標 | Description | 範例問題 | 解譯指標值 | 
| --- | --- | --- | --- | 
| [預測標籤中正值比例的差異 (DPPL)](clarify-post-training-bias-metric-dppl.md) | 測量有利構面 a 和不利構面 d 之間的正預測比例差異。 |  在可能出現偏差的預測正值結果中，人口統計組是否存在不平衡？  |  標準化二進位和多類別構面標籤的範圍：`[-1,+1]` 連續性標籤的範圍：(-∞, \$1∞) 解釋： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [差別影響 (DI)](clarify-post-training-bias-metric-di.md) | 測量有利構面 a 和不利構面 d 的預測標籤比例。 | 在可能出現偏差的預測正值結果中，人口統計組是否存在不平衡？ |  標準化二進位、多類別構面和連續性標籤的範圍：[0,∞) 解釋： [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [預測標籤 (CDDPL) 中的條件人口統計差異](clarify-post-training-bias-metric-cddpl.md)  | 測量整體構面之間的預測標籤差異，也可以按子組進行測量。 | 有些人口統計組別的貸款申請結果被拒絕比例是否比其接受比例更大？ |  二進位、多類別和連續性結果的 CDDPL 值範圍：`[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [反事實翻轉測試 (FT)](clarify-post-training-bias-metric-ft.md)  | 檢查構面 d 的每個項目，並評估構面 a 的類似項目是否具有差別模型預測。 | 一組特定年齡的人口統計是否與不同年齡組別的所有特徵密切相符，但平均支付的費用卻更高？ | 二進位和多類別構面標籤的範圍為[-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [準確度差異 (AD)](clarify-post-training-bias-metric-ad.md)  | 測量有利和不有利構面的預測準確度之間的差異。 | 該模型是否準確地預測所有人口統計群組的申請的標籤？ | 二進位和多類別構面標籤的範圍為[-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [召回差異 (RD)](clarify-post-training-bias-metric-rd.md)  | 比較有利和不有利構面的模型重新召回。 | 貸款是否由於相比於一個年齡組別的模型，另一個年齡組別的召回率較高，而存在年齡的偏差？ |  二進位和多類別分類的範圍：`[-1, +1]`。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [條件式接受的差異 (DCAcc)](clarify-post-training-bias-metric-dcacc.md)  | 比較觀察標籤與模型預測標籤。評估預測正值結果 (接受) 的各個構面是否相同。 | 將比較一個年齡組別與另一個年齡組別時，接受貸款的頻率是否比預期的要低 (根據資格)？ |  二進位、多類別構面和連續性標籤的範圍：(-∞, \$1∞)。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [接受率 (DAR) 差異](clarify-post-training-bias-metric-dar.md)  | 衡量觀察正值結果 (TP) 與預測正值 (TP \$1 FP) 的有利和不利構面之間比率的差異。 | 在預測所有年齡段的合格申請人貸款接受時，該模型是否具有相同的精確度？ | 二進位、多類別構面和連續性標籤的範圍為[-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [特異性差異 (SD)](clarify-post-training-bias-metric-sd.md)  | 比較有利構面和不有利構面之間模型的特異性。 | 貸款是否因為該模型預測一個年齡組與另一個年齡組相比具有更高的特異性，而存在年齡的偏差？ |  二進位和多類別分類的範圍：`[-1, +1]`。 [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html)  | 
| [條件式拒絕的差異 (DCR)](clarify-post-training-bias-metric-dcr.md)  | 比較觀察標籤與模型預測標籤，並評估負值結果 (拒絕) 的各個構面是否相同。 | 根據資格條件，與另一個年齡組別相比，一個年齡組別的貸款申請的拒絕次數是否多於或少於預期數目？ | 二進位、多類別構面和連續性標籤的範圍：(-∞, \$1∞)。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [拒絕率差異 (DRR)](clarify-post-training-bias-metric-drr.md)  | 測量觀察負值結果 (TN) 與預測負值 (TN \$1 FN) 在不利和有利構面之間的比率的差異。 | 在預測所有年齡層的不合格申請人其貸款拒絕時，該模型是否具有相同的精確度？ | 二進位、多類別構面和連續性標籤的範圍為[-1, \$11]。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [處理方式平等 (TE)](clarify-post-training-bias-metric-te.md)  | 測量有利和不利構面之間偽陽性與偽陰性比率的差異。 | 在貸款申請中，所有年齡的人口統計學中偽陽性與偽陰性的相對比率是否相同？  | 二進位和多類別構面標籤的範圍：(-∞, \$1∞)。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 
| [廣義熵 (GE)](clarify-post-training-bias-metric-ge.md)  | 測量模型預測b指派給每個輸入優點的不平等性。 | 在兩種貸款申請分類的候選模式中，其中一種模式是否會導致期望結果的分布比另一種更不均勻？ | 二進位和多類別標籤的範圍：(0, 0.5)。當模型僅預測偽陰性時，GE 為未定義。[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | 

有關訓練後偏差指標的其他資訊，請參閱[機器學習在金融領域的一系列公平量值](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)。

**Topics**
+ [預測標籤中正值比例的差異 (DPPL)](clarify-post-training-bias-metric-dppl.md)
+ [差別影響 (DI)](clarify-post-training-bias-metric-di.md)
+ [條件式接受的差異 (DCAcc)](clarify-post-training-bias-metric-dcacc.md)
+ [條件式拒絕的差異 (DCR)](clarify-post-training-bias-metric-dcr.md)
+ [特異性差異 (SD)](clarify-post-training-bias-metric-sd.md)
+ [召回差異 (RD)](clarify-post-training-bias-metric-rd.md)
+ [接受率 (DAR) 差異](clarify-post-training-bias-metric-dar.md)
+ [拒絕率差異 (DRR)](clarify-post-training-bias-metric-drr.md)
+ [準確度差異 (AD)](clarify-post-training-bias-metric-ad.md)
+ [處理方式平等 (TE)](clarify-post-training-bias-metric-te.md)
+ [預測標籤 (CDDPL) 中的條件人口統計差異](clarify-post-training-bias-metric-cddpl.md)
+ [反事實翻轉測試 (FT)](clarify-post-training-bias-metric-ft.md)
+ [廣義熵 (GE)](clarify-post-training-bias-metric-ge.md)

# 預測標籤中正值比例的差異 (DPPL)
<a name="clarify-post-training-bias-metric-dppl"></a>

預測標籤 中正值比例的差異 (DPPL) 指標決定模型是否針對每個構面預測差別結果。其被定義為構面 *a* 正值預測的比例 (y’ = 1) 與構面 *d* 的正值預測 (y’ = 1) 的比例之間的差異。例如，如果模型預測將放貸給 60％ 的中年人群 (構面 *a*) 和 50％ 的其他年齡組 (構面 *d*)，則可能會偏向構面 *d*。在此範例中，您必須判斷 10% 的差異是否是案例的重要偏差。

標籤比例差異 (DPL) (訓練前偏差的測量) 與 DPPL (訓練後偏差的測量) 的比較，會評估初始存在於資料集中的正比例偏差在訓練後是否變更。如果 DPPL 大於 DPL，則正比例中的偏差會在訓練後增加。如果 DPPL 小於 DPL，則模型在訓練後不會增加正比例中的偏差。比較 DPL 與 DPPL 並不保證模型會減少所有維度的偏差。例如，在考慮 [反事實翻轉測試 (FT)](clarify-post-training-bias-metric-ft.md) 或 [準確度差異 (AD)](clarify-post-training-bias-metric-ad.md) 等其他指標時，模型可能仍會有偏差。如需偏差偵測的詳細資訊，請參閱部落格文章[了解 Amazon SageMaker Clarify 如何協助偵測偏差](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/)。如需 DPL 的詳細資訊，請參閱[標籤比例的差異](clarify-data-bias-metric-true-label-imbalance.md)。

DPPL 的公式為：



        DPPL = q'a - q'd

其中：
+ q'a = n'a(1)/na 是得到值 1 正值結果的構面 *a* 預測比例。在我們的例子中，預計獲得貸款核准的中年構面的比例。這裡 n'a(1) 代表面 *a* 的項目數目，其得值 1 和的正值預測結果，且 na 是構面 *a* 的項目數目。
+ q'd = n'd(1)/nd 是得到值 1 正值結果的構面 *d* 預測比例。在我們的例子中，老年人和年輕人的構面預計將獲得貸款核准。這裡 n'd(1) 代表構面 *d* 的項目數目，其得到一個正值預測結果。且 nd 是構面 *d* 的項目數目。

如果 DPPL 足夠接近 0，這表示已經達成了訓練後的*人口統計奇偶性*。

對於二進位和多類別構面標籤，標準化 DPL 值的範圍在間隔 [-1, 1] 內。對於連續性標籤，值隨間隔 (-∞, \$1∞) 而變化。
+ 正 DPPL 值顯示構面 *a* 與構面 *d* 相比，具有較高的預測正結果比例。

  這被稱為*正偏差*。
+ DPPL 接近零的值顯示構面 *a* 和 *d* 間預測正值更相等的結果比例，值為零顯示完美的人口統計奇偶性。
+ 負 DPPL 值顯示構面 *d* 與構面 *a* 相比，具有較高的預測正結果的比例。這被稱為*負偏差*。

# 差別影響 (DI)
<a name="clarify-post-training-bias-metric-di"></a>

預測標籤指標中的正值比例差異可以用比例的形式評估。

預測標籤指標中正比例的比較可以用比例的形式進行評估，而不是差異，就像使用[預測標籤中正值比例的差異 (DPPL)](clarify-post-training-bias-metric-dppl.md)。差別影響 (DI) 指標被定義為構面 *d* 的正值預測的比例 (y = 1) 超過構面 *a* 的正值預測 (y' = 1)。例如，如果模型預測將放貸給 60％ 的中年人群 (構面 *a*) 和 50％ 的其他年齡組 (構面 *d*)，則 DI = .5/.6 = 0.8，這顯示構面 *d* 代表的其他年齡組產生正偏差和副影響。

對於預測標籤的比例公式：



        DI = q'd/q'a

其中：
+ q'a = n'a(1)/na 是得到值 1 正值結果的構面 *a* 預測比例。在我們的例子中，預計獲得貸款核准的中年構面的比例。這裡 n'a(1) 代表構面 *a* 的項目數目，其得到一個正值預測結果。且 na 是構面 *a* 的項目數目。
+ q'd = n'd(1)/nd 是得到值 1 正值結果的構面 *d* 預測比例。在我們的例子中，老年人和年輕人的構面預計將獲得貸款核准。這裡 n'd(1) 代表構面 *d* 的項目數目，其得到一個正值預測結果。且 nd 是構面 *d* 的項目數目。

對於二進位、多類別構面和連續性標籤，DI 值範圍內的間隔 [0, ∞)。
+ 小於 1 的值顯示構面 *a* 的預測正值結果比構面 *d* 更高比例。這被稱為*正偏差*。
+ 1 值顯示人口統計奇偶性。
+ 大於 1 的值顯示構面 *d* 的預測正值結果比構面 *a* 更高比例。這被稱為*負偏差*。

# 條件式接受的差異 (DCAcc)
<a name="clarify-post-training-bias-metric-dcacc"></a>

此指標將比較觀察標籤與模型預測標籤，並評估各個構面獲得預測正值結果是否相同。此指標接近模仿人類偏差，因為與訓練資料集中的標籤 (標籤 y) 相比，它量化模型在某個構面的正面結果 (標籤 y') 了多少。例如，如果與包含其他年齡組 (構面 *d*) 相比，在中年組 (構面 *a*) 的貸款申請訓練資料集中觀察接受次數 (正值結果)，比不同資格的模型預測要多。這可能表示貸款核准方式存在有利於中年族群的潛在偏差。

條件式接受差異的公式：

        DCAcc = ca - cd

其中：
+ ca = na(1)/ n'a(1) 是構面 *a* 的值 1 (接受) 的觀察正值結果數目，與構面 *a* 的預測的正結果 (接受) 數目比率。
+ cd = nd(1)/ n'd(1) 是構面 *d* 值 1 (接受) 觀察正值結果數目，與構面 *d* 的預測正結果 (接受) 的預測數目比率。

DCAcc 指標可以擷取正值和負偏差，這些偏差可根據資格揭露偏好的待遇。考慮以下不同年齡的貸款接受偏差情況。

**範例 1：正偏差** 

假設我們的資料集有 100 個中年人 (構面 *a*) 和來自其他年齡組的 50 人 (構面 *d*) 申請貸款，其中模型建議構面 *a* 有 60 和構面 *d* 有 30 給予貸款。因此，相對於 DPPL 指標，預測比例是無偏差，但觀察標籤顯示構面 *a* 有 70 和構面 *d* 有 20 獲得了貸款。換句話說，比訓練資料建議的 (70/60 = 1.17) 觀察標籤，模型允許中年構面多 17% 的貸款，並且比觀察標籤建議的 (20/30 = 0.67)，允許其他年齡組多 33% 的貸款。DCAcc 值的計算提供以下內容：

        DCAcc = 70/60 - 20/30 = 1/2

正值表示對中年構面 *a* 有潛在偏差，與其他構面 *d* 相比，接受率低於觀察資料 (視為無偏差)。

**範例 2：負偏差** 

假設我們的資料集有 100 個中年人 (構面 *a*) 和來自其他年齡組的 50 人 (構面 *d*) 申請貸款，其中模型建議構面 *a* 有 60 和構面 *d* 有 30 給予貸款。因此，相對於 DPPL 指標，預測比例是無偏差，但觀察標籤顯示構面從面 *a* 有 50 而構面 *d* 有 40 獲得了貸款。換句話說，比訓練資料建議的 (50/60 = 0.83) 觀察標籤，模型允許中年構面多 17% 的貸款，並且比觀察標籤建議的 (40/30 = 1.33)，允許其他年齡組多 33% 的貸款。DCAcc 值的計算提供以下內容：

        DCAcc = 50/60 - 40/30 = -1/2

負值顯示與中年構面 *a* 相比，觀察資料 (視為無偏差) 顯示構面 *d* 具有較低接受率的潛在偏差。

請注意，您可以使用 DCAcc 來協助您偵測潛在的 (非刻意) 偏差，方法是以人力介入設定監督模型預測。例如，假設模型的預測 y' 是無偏差，但最終決定是由一個人 (可能使用其他功能) 做出的，他們可以改變模型預測以生成 y' 的新版本和最終版本。人類的額外處理可能會無意中拒絕一個構面不成比例數字的貸款。DCAcc 可協助偵測此類潛在的偏差。

二進位、多類別構面和連續性標籤的條件式接受差異值範圍是 (-∞, \$1∞)。
+ 當與構面 *a* 的預測接受次數相比，觀察接受次數比率高於構面 *d* 的相同比率時，會出現正值。這些值顯示對構面 *a* 的合格申請人可能存在偏差。比率的差異越大，偏差越明顯越極端。
+ 當構面 *a* 的預測接受數目與構面 *d* 的預測接受數目相似時，會出現接近零的值。這些值顯示預測的接受率與標籤資料中的觀察值一致，並且兩個構面的合格申請人都以類似的方式被接受。
+ 當觀察接受次數與構面 *a* 的預測接受次數小於構面 *d* 的比率時，會出現負值。這些值顯示對構面 *d* 的合格申請人可能存在偏差。比率的差異值越負，明顯的偏差就越極端。

# 條件式拒絕的差異 (DCR)
<a name="clarify-post-training-bias-metric-dcr"></a>

此指標比較觀察標籤與模型預測標籤，並評估負值結果 (拒絕) 的各個構面是否相同。此指標接近模仿人類偏差，因為與訓練資料集中的標籤 (觀察標籤 y) 建議的結果相比，它量化模型在某個構面的負面結果 (預測標籤 y’) 了多少。例如，如果與包含其他年齡組別的構面相比 (構面 *d*)，中年組 (構面 *a*) 的貸款申請觀察拒絕 (負結果) 多於模型所預測的偏差，這可能顯示貸款被拒絕的方式可能有利於中年人組勝過其他組的潛在偏差。

條件式接受差異的公式：

        DCR = rd - ra

其中：
+ rd = nd(0)/ n'd(0) 是構面 *d* 的值 0 (拒絕) 負結果觀察數目，與構面 *d* 的預測負結果 (拒絕) 數目的比率。
+ ra = na(0)/ n'a(0) 是構面 *a* 的值 0 (拒絕) 負結果觀察數目，與構面 *a* 的預測負結果 (拒絕) 數目的比率。

DCR 指標可以擷取正值和負偏差，這些偏差顯示不同資格的偏好待遇。考慮以下不同年齡的偏差對貸款拒絕的情況。

**範例 1：正偏差** 

假設我們的資料集有 100 個中年人 (構面 *a*) 和來自其他年齡組的 50 人 (構面 *d*) 申請貸款，其中模型建議構面 *a* 有 60 和構面 *d* 有 30 被拒絕貸款。因此，DPPL 指標的預測比例無偏差，但觀察標籤顯示構面 *a* 有 50，且構面 *d* 有 40 被拒絕。換句話說，比訓練資料建議的 (50/60 = 0.83) 觀察標籤，模型拒絕中年構面多 17% 的貸款，並且比觀察標籤建議的 (40/30 = 1.33)，拒絕其他年齡組多 33% 的貸款。DCR 值以構面之間的觀察和預測拒絕率的比率來量化此差異。正值顯示，與其他組相比，存在有利於中年組的潛在偏差，其拒絕率低於觀察資料 (視為無偏差)。

        DCR = 40/30 - 50/60 = 1/2

**範例 2：負偏差** 

假設我們的資料集有 100 個中年人 (構面 *a*) 和來自其他年齡組的 50 人 (構面 *d*) 申請貸款，其中模型建議構面 *a* 有 60 和構面 *d* 有 30 被拒絕貸款。因此，DPPL 指標的預測比例不偏差，但是觀察標籤顯示構面 *a* 有 70，且構面 *d* 中有 20 被拒絕。換句話說，比訓練資料建議的 (70/60 = 1.17) 觀察標籤，模型拒絕中年構面多 17% 的貸款，並且比觀察標籤建議的 (20/30 = 0.67)，拒絕其他年齡組多 33% 的貸款。負值顯示與中年構面 *a* 相比，觀察資料 (視為無偏差) 顯示對具有較低的拒絕率構面 *a* 有利的潛在偏差。

        DCR = 20/30 - 70/60 = -1/2

二進位、多類別構面和連續性標籤的條件式拒絕差異值範圍是 (-∞, \$1∞)。
+ 當觀察拒絕次數與構面 *d* 的預測拒絕數比大於構面 *a* 的比率時，會出現正值。這些值顯示對構面 *a* 的合格申請人可能存在偏差。DCR 指標的值越大，明顯偏差越極端。
+ 觀察拒絕次數與構面 *a* 的預測接受次數的比率與構面 *d* 的比率相似，則會出現接近零的值。這些值顯示預測拒絕率與標籤資料中的觀察值一致，並且兩個構面有資格的申請人都以類似的方式被拒絕。
+ 觀察拒絕次數與構面 *d* 的預測拒絕次數的比率小於該比率構面 *a* 時，會出現負值。這些值顯示對構面 *d* 的合格申請人可能存在偏差。負 DCR 指標的大小越大，明顯偏差越極端。

 

# 特異性差異 (SD)
<a name="clarify-post-training-bias-metric-sd"></a>

特異性差異 (SD) 是有利構面 *a* 和不利構面 *d* 之間的特異性差異。特異性測量模型正確預測負值結果的頻率 (y'=0)。這些特異性的任何差異都是一種潛在的偏差形式。

如果所有 y = 0 情況都正確地預測了該構面，那麼特異性對於構面來說是完美的。當模型最小化偽陽性 (稱為第一型錯誤) 時，特異性會更大。例如，向構面 *a* 貸款的低特異性和向構面 *d* 貸款的高特異性之間的差異是針對構面 *d* 的偏差量值。

以下公式用於構面 *a* 和 *d* 的特異性之間的差異。

        SD = TNd/(TNd \$1 FPd) - TNa/(TNa \$1 FPa) = TNRd - TNRa

下列用於計算 SD 的變數定義如下：
+ TNd 是構面 *d* 預測的真陰性。
+ FPd 是構面 *d* 預測的偽陽性。
+ TNd 是構面 *a* 預測的真陰性。
+ TNd 是構面 *a* 預測的偽陽性。
+ TNRa = TNa/(TNa \$1 FPa) 是真陰性率，也稱為特異性，針對構面 *a*。
+ TNRd = TNd/(TNd \$1 FPd) 是真陰性率，也稱為特異性，針對構面 *d*。

例如，請考慮下列構面 *a* 和 *d* 的混淆矩陣。

混淆矩陣針對有利構面 `a`


| 類別 a 預測 | 實際結果 0 | 實際結果 1 | 總計  | 
| --- | --- | --- | --- | 
| 0 | 20 | 5 | 25 | 
| 1 | 10 | 65 | 75 | 
| 總計 | 30 | 70 | 100 | 

混淆矩陣針對不利構面 `d`


| 類別 d 預測 | 實際結果 0 | 實際結果 1 | 總計  | 
| --- | --- | --- | --- | 
| 0 | 18 | 7 | 25 | 
| 1 | 5 | 20 | 25 | 
| 總計 | 23 | 27 | 50 | 

特異性差異的值為`SD = 18/(18+5) - 20/(20+10) = 0.7826 - 0.6667 = 0.1159`，顯示對構面 *d* 的偏差。

對於二進位和多類別分類的構面 *a* 和 *d* 之間特異性差值的範圍是 `[-1, +1]`。此指標不適用於連續性標籤的情況。下述 SD 的不同值意義：
+ 當構面 *d* 的特異性高於構面 *a* 的特異性時，會獲得正值。這表明模型在構面 *d* 發生的偽陽性比構面 *a* 少。正值顯示構面 *d* 的偏差。
+ 接近零的值顯示正在比較的構面特異性相似。這表明模型在這兩個構面都發現了相似數目的偽陽性，並且沒有偏差。
+ 當構面 *a* 的特異性高於構面 *d* 時，會獲得負值。這表明模型在構面 *a* 發生的偽陽性比構面 *d* 多。負值顯示構面 *a* 的偏差。

# 召回差異 (RD)
<a name="clarify-post-training-bias-metric-rd"></a>

召回差異 (RD) 指標是有利構面 *a* 和不利構面 *d* 之間模型的召回差異。這些召回中的任何差異都是一種潛在的偏差形式。召回是真陽性率 (TPR)，其測量模型多久正確預測應該得到一個正值結果的情況。如果所有 y=1 情況都正確預測為該構面的 y'=1，那麼召回對於構面來說是完美的。當模型最小化稱為第二型錯誤的偽陰性時，召回更大。例如，模型會正確偵測到兩個不同組 (構面 *a* 和 *d*) 中有多少人符合貸款資格？ 如果貸給構面 *a* 的召回率很高，但貸給構面 *d* 的召回率低，則差異提供了對屬於構面 *d* 組的偏差指標。

構面 *a* 和 *d* 的召回率差異的公式：

        RD = TPa/(TPa \$1 FNa) - TPd/(TPd \$1 FNd) = TPRa - TPRd 

其中：
+ TPa 是構面 *a* 預測的真陽性。
+ FNa 是構面 *a* 預測的偽陰性。
+ TPd 是構面 *d* 預測的真陽性。
+ FNd 是構面 *d* 預測的偽陰性。
+ TPRa = TPa/(TPa \$1 FNa) 是構面 *a* 的召回，或其真陽性率。
+ TPRd = TPd/(TPd \$1 FNd) 是構面 *d* 的召回，或其真陽性率。

例如，請考慮下列構面 *a* 和 *d* 的混淆矩陣。

混淆矩陣針對有利構面 a


| 類別 a 預測 | 實際結果 0 | 實際結果 1 | 總計  | 
| --- | --- | --- | --- | 
| 0 | 20 | 5 | 25 | 
| 1 | 10 | 65 | 75 | 
| 總計 | 30 | 70 | 100 | 

混淆矩陣針對不利構面 d


| 類別 d 預測 | 實際結果 0 | 實際結果 1 | 總計  | 
| --- | --- | --- | --- | 
| 0 | 18 | 7 | 25 | 
| 1 | 5 | 20 | 25 | 
| 總計 | 23 | 27 | 50 | 

召回差異的值是 RD = 65/70 - 20/27 = 0.93 - 0.74 = 0.19，這顯示對構面 *d* 的偏差。

二進位和多類別分類的構面 *a* 和 *d* 之間的召回差異值範圍是 [-1, \$11]。此指標不適用於連續性標籤的情況。
+ 當構面 *a* 的召回率高於構面 *d* 時，會獲得正值。這表明模型在構面 *a* 找到更多真陽性，而不是構面 *d*，此為一種偏差形式。
+ 接近零的值顯示正在比較構面的召回類似。這表明模型在這兩個構面中發現大約相同數目的真陽性，並且沒有偏差。
+ 當構面 *d* 的召回率高於構面*a* 時，會獲得負值。這表明模型在構面 *d* 找到更多真陽性，而不是構面 *a*，此為一種偏差形式。

# 接受率 (DAR) 差異
<a name="clarify-post-training-bias-metric-dar"></a>

接受率差異 (DAR) 指標是在真陽性 (TP) 預測與構面 *a* 和 *d* 的差異觀察陽性 (TP \$1 FP) 的比率差異。此指標會測量模型精確度的差異，以預測這兩個構面的接受次數。精確度會測量由模型定義的合格申請人池，其中的合格申請人分數。如果用於預測合格申請人的模型精確度在各個構面之間發生偏差，此為一種偏差，其幅度由 DAR 測量。

構面 *a* 和 *d* 間的接受率差異公式：

        DAR = TPa/(TPa \$1 FPa) - TPd/(TPd \$1 FPd) 

其中：
+ TPa 是構面 *a* 預測的真陽性。
+ FPa 是構面 *a* 預測的偽陽性。
+ TPd 是構面 *d* 預測的真陽性。
+ FPd 是構面 *d* 預測的偽陽性。

例如，假設該模型接受 70 名中年申請人(構面 *a*)的貸款申請 (預測正值標籤)，其中只有 35 人實際接受 (觀察正值標籤)。還假設該模型接受其他年齡人口統計學 (構面 *d*) 的 100 位申請人貸款 (預測陽性標籤)，其中只有 40 人實際接受 (觀察正值標籤)。然後 DAR = 35/70 - 40/100 = 0.10，這顯示對第二個年齡組 (構面 *d*) 的合格人士存在潛在偏差。

二進位、多類別構面和連續性標籤的 DAR 值範圍為 [-1, \$11]。
+ 當構面 *a* 的預測陽性 (接受次數) 與觀察正值結果 (合格申請人) 的比率大於構面 *d* 的相同比率時，會出現正值。這些值顯示由於在構面 *d* 中發生相對較多偽陽性，導致對不利構面 *d* 可能產生偏差。比率的差異越大，明顯的偏差越極端。
+ 當構面s *a* 和 *d* 的預測陽性 (接受次數) 與觀察正值結果 (合格的申請人) 的比率具有類似的值，表示正值結果的觀察標籤以具有相等精確度的模型預測，會出現接近零的值。
+ 當構面 *d* 的預測陽性 (接受次數) 與觀察正結果 (合格申請人) 的比率大於構面 *a* 的比率時，會出現負值。這些值顯示由於在構面 *a* 中發生相對較多偽陽性，導致對有利構面 *a* 可能產生偏差。比率的差異值越負，明顯的偏差就越極端。

# 拒絕率差異 (DRR)
<a name="clarify-post-training-bias-metric-drr"></a>

拒絕率差異 (DRR) 指標是在真陰性 (TN) 預測與構面 *a* 和 *d* 的差異觀察負值 (TP \$1 FP) 的比率差異。此指標會測量模型精確度的差異，以預測這兩個構面的拒絕情況。精確度會測量由模型定義的不合格申請人池，其中的不合格申請人分數。如果用於預測不合格申請人的模型精確度在各個構面之間發生偏差，此為一種偏差，其幅度由 DAR 測量。

構面 *a* 和 *d* 間的拒絕率差異公式：

        DRR = TNd/(TNd \$1 FNd) - TNa/(TNa \$1 FNa) 

先前 DRR 方程式的元件如下。
+ TNd 是構面 *d* 預測的真陰性。
+ FNd 是構面 *d* 預測的偽陰性。
+ TNa 是構面 *a* 預測的真陰性。
+ FNa 是構面 *a* 預測的偽陰性。

例如，假設該模型拒絕 100 名中年申請人 (構面 *a*) 的貸款申請 (預測負值標籤)，其中只有 80 人實際不符合資格 (觀察負值標籤)。還假設該模型拒絕 50 申請人來自其他年齡的人口統計學 (構面 *d*) 貸款 (預測負值標籤)，其中只有 40 實際上是不合格的 (觀察負值標籤)。然後 DRR = 40/50-80 /100 = 0，所以沒有指示偏差。

二進位、多類別構面和連續性標籤 DRR 的值範圍為 [-1, \$11]。
+ 當構面 *d* 的預測負值(拒絕)與觀察負值結果 (不合格申請人) 的比率大於構面 *a* 的相同比率時，會出現正值。這些值顯示由於在構面 *a* 中發生相對較多偽陰性，導致對有利構面 *a* 可能產生偏差。比率的差異越大，明顯的偏差越極端。
+ 當構面s *a* 和 *d* 的預測負值(拒絕)與觀察負值結果 (不合格申請人) 的比率具有類似的值時，會出現接近零的值，這表示模型會以相等的精確度預測負值結果的觀察標籤。
+ 當預測的負值 (拒絕) 與觀察負值結果的比率 (不合格的申請人) 為構面 *a* 大於比面 *d* 大時，會發生負值。這些值顯示由於在構面 *d* 中發生相對較多偽陽性所，導致對不利構面 *d* 可能產生偏差。比率的差異值越負，明顯的偏差就越極端。

# 準確度差異 (AD)
<a name="clarify-post-training-bias-metric-ad"></a>

準確度差異 (AD) 指標是不同構面的預測準確度之間的差異。此指標決定模型的分類對於一個構面是否比另一個更精確。AD 指出一個構面是否會產生類第一型和類第二型錯誤的比例較大。但它無法區分第一型和第二型錯誤。例如，模型對於不同年齡人口統計資料可能具有相同的準確性，但對於一個基於年齡的羣體來說，誤差主要是偽陽性 (第一型錯誤)，另一個組的誤差大多為偽陽性 (第二型錯誤)。

此外，如果中年人口的貸款核准 (構面 *a*) 的準確性要高於其他年齡基於人口 (構面 *d*)，則第二組合格申請人中有更多比例被拒絕貸款 (FN) 或該組的不合格申請人中有更大比例獲得貸款 (FP) 或兩者兼而有之。這些指標中的大多數都是從不同人口統計組的二進位分類混淆矩陣中，獲得的數字的組合。

AD 指標的公式是構面 *a*、ACCa 的預測準確度減去構面 *d*、ACC d的預測準確度之間的差異：

        AD = 累積 a-累積 d

其中：
+ ACCa = (TPa \$1 TNa)/(TPa \$1 TNa \$1 FPa \$1 FNa) 
  + TPa 是構面 *a* 預測的真陽性
  + TNa 是構面 *a* 預測的真陰性
  + FPa 是構面 *a* 預測的偽陽性
  + FNa 是構面 *a* 預測的偽陰性
+ ACCd = (TPd \$1 TNd)/(TPd \$1 TNd \$1 FPd \$1 FNd)
  + TPd 是構面 *d* 預測的真陽性
  + TNd 是構面 *d* 預測的真陰性
  + FPd 是構面 *d* 預測的偽陽性
  + FNd 是構面 *d* 預測的偽陰性

例如，假設一個模型核准構面 *a* 100 位申請人中的 70 位申請人的貸款，而拒絕了另外 30 人。10 位不應該被提供貸款 (FPa) 和 60 本應該被核准的被核准 (TPa)。20 位本應該被核准的被拒絕 (FNa) 和 10 為被正確拒絕 (TNa)。構面 *a* 的精確度如下：

        ACCa = (60 \$1 10)/(60 \$1 10 \$1 20 \$1 10) = 0.7

例如，假設一個模型核准構面 *d* 100 位申請人中的 50 位申請人的貸款，而拒絕了另外 50 人。10 位不應該被提供貸款 (FPa) 和 40 本應該被核准的被核准 (TPa)。40 位本應該被核准的被拒絕 (FNa) 和 10 為被正確拒絕 (TNa)。構面 *a* 的精確度決定如下：

        ACCd= (40 \$1 10)/(40 \$1 10 \$1 40 \$1 10) = 0.5

因此，精確度差異是 AD = ACCa - ACCd = 0.7 - 0.5 = 0.2。這是由於指標為正值，因此對構面 *d* 存在偏差。

二進位和多類別構面標籤 AD 的值範圍為 [-1, \$11]。
+ 當構面 *a* 的預測準確度大於構面 *d* 的預測準確度時，會出現正值。這表示構面 *d* 受到一些偽陽性 (第一型錯誤) 或偽陰性 (第二型錯誤) 組合更多的影響。這表示對不利構面 *d* 存在潛在的偏差。
+ 當構面 *a* 的預測精確度與構面 *d* 的預測準確度相似時，會出現接近零的值。
+ 當構面 *d* 的預測精確度大於構面 *a* 的預測精確度時，會出現負值。這表示構面 *a* 受到一些偽陽性 (第一型錯誤) 或偽陰性 (第二型錯誤) 組合的影響更多。這表示對有利構面 *a* 具有偏差。

# 處理方式平等 (TE)
<a name="clarify-post-training-bias-metric-te"></a>

處理方式平等 (TE) 是構面 *a* 和 *d* 間的偽陰性與偽陽性比率差異。這個指標的主要目的是評估，即使群組之間的準確性相同，錯誤對一個群組的危害是否比另一個群組高？ 錯誤率來自偽陽性和偽陽性的總數，但總數的明細在構面間可能會有很大的不同。TE 測量錯誤是否以相似或不同的方式補償構面。

處理方式平等的公式：

        TE = FNd/FPd - FNa/FPa

其中：
+ FNd 是構面 *d* 預測的偽陰性。
+ FPd 是構面 *d* 預測的偽陽性。
+ FNa 是構面 *a* 預測的偽陰性。
+ FPa 是構面 *a* 預測的偽陽性。

請注意，如果 FP a 或 FP d 為零，則指標將變為無界。

例如，假設有構面 *a* 的 100 位貸款申請人和構面 *d* 的 50 位貸款申請人。對於構面 *a*，8 為被錯誤拒絕了貸款 (FNa)，另外 6 位被錯誤核准 (FPa)。其餘的預測是真實的，所以 TPa \$1 TNa = 86。對於構面 *d*，5 位被錯誤拒絕 (FNd)，2 位被錯誤核准 (FPd)。其餘的預測是真實的，所以 TPd \$1 TNd = 43。針對 構面 *a*，偽陰性與偽陽性的比率等於 8/6 = 1.33，而構面 *d* 則為 5/2 = 2.5。因此 TE = 2.5 - 1.33 = 1.167，即使兩個構面具有相同的精確度：

        ACCa = (86)/(86\$1 8 \$1 6) = 0.86

        ACCd = (43)/(43 \$1 5 \$1 2) = 0.86

二進位和多類別構面標籤的條件式拒絕差異值範圍為 (-∞, \$1∞)。TE 指標未定義為連續性標籤。此指標的解釋取決於偽陽性 (第一型誤差) 和偽陰性 (第二型誤差) 的相對重要性。
+ 當構面 *d* 的偽陰性與偽陽性比率大於構面 *a* 時，會出現正值。
+ 當構面 *a* 的偽陰性與偽陽性比率與構面 *d* 的比率相似時，會出現接近零的值。
+ 當構面 *d* 的偽陰性與偽陽性的比率小於構面 *a* 時，會發生負值。

**注意**  
先前版本列出的處理方式相等指標計算方式為 FPa / FNa - FPd / FNd 而不是 FNd / FPd - FNa / FPa。雖然任何一個版本都可以使用。如需詳細資訊，請參閱[https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)。

# 預測標籤 (CDDPL) 中的條件人口統計差異
<a name="clarify-post-training-bias-metric-cddpl"></a>

人口統計差異指標 (DDPL) 決定構面 *d* 在預測拒絕的標籤中是否比預測接受標籤有更大的比例。它可以比較預測拒絕比例和構面的預測接受比例的差異。此指標與預訓練 CDD 指標完全相同，不同之處在於它是用預測標籤而不是觀察標籤上運算的。此指標位於範圍 (-1, \$11)。

構面 *d* 標籤的人口統計差異預測公式如下：

        DDPLd = n'd(0)/n'(0) - n'd(1)/n'(1) = PdR(y'0) - PdA(y'1) 

其中：
+ n'(0) = n'a(0) \$1 n'd(0) 是構面 *a* 和 *d* 的預測拒絕標籤數目。
+ n'(1) = n'a(1) \$1 n'd(1) 是構面 *a* 和 *d* 的預測接受標籤數目。
+ PdR(y'0) 是預測拒絕標籤 (值 0) 在構面 *d* 中的比例。
+ PdA(y'1) 是預測接受標籤 (值 1) 在構面 *d* 中的比例。

預測標籤的條件式人口統計差異 (CDDPL) 指標中，需要在定義資料集上子組階層的屬性上調控 DDPL，以排除辛普森悖論。重組可以為不太有利構面提供明顯人口統計差異的原因分析。經典案例出現在柏克萊入學的情況下，男性被接受的比率比女性更高。但是，當檢查系所的子組時，證明個系所的女性的入學率高於男性。說明女性申請系所的接受率低於男性。檢視子組接受率發現，對於接受率較低的系所來說，女性的實際接受率高於男性。

CDDPL 指標針對資料集屬性所定義的子組中所有差異提供的單一量值，方法是將它們平均。它被定義為每個子組的預測標籤 (DDPLi) 中人口統計差異的加權平均值，每個子組差異均按照包含的觀察次數呈比例加權。預測標籤的條件式人口統計差異公式如下：

        CDDPL = (1/n)\$1∑ini \$1DDPLi 

其中：
+ ∑ini = n 是觀察的總數且 ni 是每個子組的觀察值數目。
+ DDPLi = n'i(0)/n(0) - n'i(1)/n(1) = PiR(y'0) - PiA(y'1) 是子組預測標籤中的人口統計差異。

因此，預測標籤 (DDPLi) 中的子組的人口統計差異是預測拒絕標籤的比例，與每個子組預測接受標籤的比例間差異。

二進位、多類別和連續性結果的 DDPL 值範圍為 [-1, \$11]。
+ \$11：當構面 *a* 或子組沒有預測拒絕標籤，且構面 *d* 或子組沒有預測接受標籤時。
+ 正值顯示預測標籤中存在人口統計差異，因為構面 *d* 或子組在預測拒絕的標籤中比預測接受標籤的比例大。值越大差異越大。
+ 接近零的值顯示平均而言沒有人口統計差異。
+ 負值顯示預測標籤中存在人口統計差異，因為構面 *a* 或子組在預測拒絕標籤中的比例大於預測的接受標籤的比例。值越低差異越大。
+ -1：當構面 *d* 或子組沒有預測的拒絕襟扣，並且構面 *a* 或子組沒有預測的接受襟扣時。

# 反事實翻轉測試 (FT)
<a name="clarify-post-training-bias-metric-ft"></a>

翻轉測試是一種查看構面 *d* 的每個項目，並評估構面 *a* 的相似項目是否具有不同的模型預測方法。構面 *a* 的項目被選作在構面 *d* 觀察的 k-最近鄰。我們評估相反群體有多少最近鄰接收到不同的預測，其中翻轉的預測可以從正向變為負向，反之亦然。

對於反事實翻轉測試的公式是在兩個集合的基數除以構面 *d* 項目數量的差異：

        FT = (F\$1 - F-)/nd

其中：
+ F\$1 = 是具有不利結果的不利構面 *d* 項目的數量，其最近鄰在有利面 *a* 取得了有利的結果。
+ F- = 是具有有利結果的不利構面 *d* 項目的數量，其最近鄰在有利面 *a* 取得了不利的結果。
+ n d 是構面 *d* 的樣本大小。

二進制和多類構面標籤的反事實翻轉測試的範圍值是 [-1, \$11]。對於連續性標籤，我們設定一個閾值將標籤折疊為二進制。
+ 當不利的構面 *d* 其不利反事實翻轉測試決定的數量超過有利的數量出現正值。
+ 當不利和有利的反事實翻轉測試決定平衡出數量時，會出現接近零的值。
+ 當不利的構面 *d* 其不利的反事實翻轉測試決定數量小於有利的時候，會發生負值。

# 廣義熵 (GE)
<a name="clarify-post-training-bias-metric-ge"></a>

廣義熵指數 (GE) 測量與觀察到的標籤相比，預測標籤的效益`b`不平等。當預測為偽陽性時，會出現效益。當負面觀測 (y=0) 具有正面預測 (y'=1) 時，就會發生偽陽性。當觀察標籤和預測標籤相同 (也稱為真陽性和真陰性) 時，也會出現效益。當預測為偽陰性時，不會出現效益。當正面觀測 (y=1) 預測會有負面結果 (y'=0) 時，就會出現偽陰性。效益`b`的定義如下。

```
 b = y' - y + 1
```

使用此定義時，偽陽性會收到 `2` 的效益 `b`，而偽陰性會收到 `0` 的效益。真正值和真負值都會獲得`1`的效益。

GE 指標的計算方式是遵循[廣義熵指數](https://en.wikipedia.org/wiki/Generalized_entropy_index) (GE)，且權重`alpha`設定為`2`。此權重控制對不同效益值的敏感度。較小`alpha`表示對較小值的敏感度增加。

![\[方程式用 alpha 參數設定為 2 定義廣義熵指數。\]](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/clarify-post-training-bias-metric-ge.png)


以下用於計算 GE 的變數定義如下：
+ bi 是由`ith`資料點獲得的效益。
+ b' 是所有效益的平均值。

GE 的範圍可以介於 0 到 0.5 之間，其中零值表示所有資料點的效益不平等。當所有輸入都正確預測或所有預測都為偽陽性時，即會發生這種情況。當所有預測都是偽陰性時，GE 是未定義的。

**注意**  
指標 GE 不依賴於有利或不利的構面值。