翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# トレーニング前のバイアスメトリクス
<a name="clarify-measure-data-bias"></a>

機械学習モデルでのバイアスの測定は、バイアスを軽減するための最初のステップです。バイアスの測定は、それぞれ異なる公平性の概念に対応しています。公平性の単純な概念を考慮するだけでも、さまざまなコンテキストで適用可能な多様な測定につながります。例えば、年齢に関する公平性を考慮し、簡単にするために、中高年グループとそれ以外の年齢グループを、*ファセット*と呼ばれる関連する 2 つの属性とします。融資の機械学習モデルの場合、中小企業向けローンを両方の同数の属性に発行する必要がある場合があります。または、求人応募者を処理する際に、各属性を同数ずつ採用したい場合があります。ただし、このアプローチでは、両方の属性が同数ずつ求人に応募してくることが前提となるため、応募者の人数を条件付けした方がよい場合があります。さらに、応募者が同数かどうかではなく、対象となる応募者が同数かどうかを考慮した方がよい場合もあります。つまり、公平性は、両方の年齢属性における対象となる応募者の合格率が同等であること、応募者の不合格率が同等であること、またはその両方と見なすことができます。関心のある属性について、データの比率が異なるデータセットを使用することがあります。この不均衡により、選択したバイアス測定が融合される可能性があります。どちらのファセットを選択するかにより、モデルがより正確になる可能性があります。したがって、アプリケーションや状況に概念的にふさわしいバイアスメトリクスを選択する必要があります。

次の表記法を使用してバイアスメトリクスを説明します。ここでは二項分類の概念モデルについて説明します。この概念モデルでは、事象が、そのサンプル空間に正 (値 1) と負 (値 0) という 2 つの可能な結果のみでラベル付けされます。このフレームワークは通常、簡単な方法でマルチカテゴリ分類に拡張したり、必要に応じて連続的に数値化された結果を含むケースに拡張したりできます。二項分類の場合、正と負のラベルは、有利なファセット a と不利なファセット d の raw データセットに記録された結果に割り当てられます。****これらのラベル y は、*観測ラベル*と呼ばれ、機械学習ライフサイクルのトレーニングまたは推論段階で機械学習モデルによって割り当てられる*予測ラベル* y' とは区別されます。これらのラベルは、それぞれのファセットの結果の確率分布 Pa(y) と Pd(y) を定義するために使用されます。
+ ラベル: 
  + y は、トレーニングデータセット内のイベント結果の n 個の観測ラベルを表します。
  + y' は、データセットにある n 個の観察ラベルに対し、トレーニングされたモデルが予測したラベルを表します。
+ 結果:
  + アプリケーションの承認など、サンプルの正の結果 (値 1)。
    + n(1) は、正の結果 (承認) の観測ラベルの数です。
    + n'(1) は、正の結果 (承認) の予測ラベルの数です。
  + アプリケーションの拒否など、サンプルの負の結果 (値 0)。
    + n(0) は、負の結果 (拒否) の観測ラベルの数です。
    + n'(0) は、負の結果 (拒否) の予測ラベルの数です。
+ ファセット値:
  + ファセット a - バイアスが有利になる属性を定義する特徴値。**
    + na は、有利なファセット値の観測ラベルの数: na = na(1) \$1 na(0) ファセット値 a の正と負の観測ラベルの合計。**
    + n'a は、有利なファセット値の予測ラベルの数: n'a = n'a(1) \$1 n'a(0) ファセット値 a の正と負の予測結果ラベルの合計。**n'a = na であることに注意してください。
  + ファセット d - バイアスが不利になる属性を定義する特徴値。**
    + nd は、不利なファセット値の観測ラベルの数: nd = nd(1) \$1 nd(0) ファセット値 d の正と負の観測ラベルの合計。**
    + n'd は、不利なファセット値の予測ラベルの数: n'd = n'd(1) \$1 n'd(0) ファセット値 d の正と負の予測ラベルの合計。**n'd = nd であることに注意してください。
+ ラベル付けされたファセットデータの結果の確率分布:
  + Pa(y) は、ファセット a の観測ラベルの確率分布です。**バイナリラベル付きデータの場合、この分布は、総数に対する正の結果でラベル付けされたファセット a のサンプル数の比率 Pa(y1) = na(1)/ na と、総数に対する負の結果のサンプル数の比率 Pa(y0) = na(0)/ na で与えられます。**
  + Pd(y) は、ファセット d の観測ラベルの確率分布です。**バイナリラベル付きデータの場合、この分布は、総数に対する正の結果でラベル付けされたファセット d のサンプル数Pd(y1) = nd(1)/ nd と、総数に対する負の結果のサンプル数の比率Pd(y0) = nd(0)/ nd で与えられます。**

属性格差でバイアスされたデータでトレーニングされたモデルは、そのバイアスを学習し、さらに助長させる可能性があります。SageMaker Clarify では、モデルのトレーニングにリソースを消費する前にデータのバイアスを特定するため、トレーニングの前に raw データセットで計算できるデータバイアスメトリクスが用意されています。トレーニング前のすべてのメトリクスは、モデルの出力に依存しないため、どのモデルにも有効です。最初のバイアスメトリクスは、ファセットの不均衡を調べますが、結果は調べません。アプリケーションの必要に応じて、トレーニングデータの量が異なるファセット間でどの程度代表的であるかを決定します。残りのバイアスメトリクスは、データ内のファセット a と d について、さまざまな方法で結果ラベルの分布を比較します。****負の値の範囲にあるメトリクスは、負のバイアスを検出できます。次の表に、クイックガイダンス用のチートシートと、トレーニング前のバイアスメトリクスへのリンクを示します。

トレーニング前のバイアスメトリクス


| バイアスメトリクス | 説明 | 質問例 | メトリクス値の解釈 | 
| --- | --- | --- | --- | 
| [クラス不均衡 (CI)](clarify-bias-metric-class-imbalance.md) | 異なるファセット値間のメンバー数の不均衡を測定します。 |  中高年ファセット以外の属性に十分なデータがないため、年齢ベースのバイアスがある可能性がありますか。  |  正規化された範囲: [-1,\$11] 解釈: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 
| [ラベルの比率の差 (DPL)](clarify-data-bias-metric-true-label-imbalance.md) | 異なるファセット値間の正の結果の不均衡を測定します。 | データ内のファセット値の偏ったラベル付けが原因で、機械学習予測に年齢ベースのバイアスが生じる可能性はありますか。 |  正規化されたバイナリおよびマルチカテゴリファセットラベルの範囲: [-1,\$11] 連続ラベルの範囲: (-∞, \$1∞) 解釈: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 
| [カルバックライブラー情報量 (KL)](clarify-data-bias-metric-kl-divergence.md) | 異なるファセットの結果分布がエントロピー的に互いにどの程度離れているかを測定します。 | 異なる属性グループのローン申請結果の分布はどのように異なりますか。 |  バイナリ、マルチカテゴリ、連続の範囲: [0, \$1∞) 解釈: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 
| [ジェンセンシャノン情報量 (JS)](clarify-data-bias-metric-jensen-shannon-divergence.md)  | 異なるファセットの結果分布がエントロピー的に互いにどの程度離れているかを測定します。 | 異なる属性グループのローン申請結果の分布はどのように異なりますか。 |  バイナリ、マルチカテゴリ、連続の範囲: [0, \$1∞) 解釈: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 
| [Lp-norm (LP)](clarify-data-bias-metric-lp-norm.md)  | データセット内の異なるファセットに関連する結果の個別の属性分布間の p- ノルム差を測定します。 | 異なる属性のローン申請結果の分布はどのように異なりますか。 |  バイナリ、マルチカテゴリ、連続の範囲: [0, \$1∞) 解釈: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 
| [合計変動距離 (TVD)](clarify-data-bias-metric-total-variation-distance.md)  | データセット内の異なるファセットに関連する結果の個別の属性分布間の L1- ノルム差の半分を測定します。 | 異なる属性のローン申請結果の分布はどのように異なりますか。 |  バイナリ、マルチカテゴリ、連続結果の範囲: [0, \$1∞) [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 
| [コルモゴロフスミルノフ (KS)](clarify-data-bias-metric-kolmogorov-smirnov.md)  | データセット内の異なるファセットについて、分布の結果間で最大発散を測定します。 | 属性グループによる最大の格差を示しているのは、どの大学の志願結果ですか。 | バイナリ、マルチカテゴリ、連続結果の KS 値の範囲: [0,\$11][\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html) | 
| [条件付き属性格差 (CDD)](clarify-data-bias-metric-cddl.md)  | 異なるファセット間の結果の格差を、全体としてだけでなく、サブグループごとに測定します。 | 一部のグループでは、大学入試結果の不合格の割合が合格の割合よりも大きいですか。 |  CDD の範囲: [-1, \$11] [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/clarify-measure-data-bias.html)  | 

バイアスメトリクスの詳細については、「[金融における機械学習の公平性の測定](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)」を参照してください。

**Topics**
+ [クラス不均衡 (CI)](clarify-bias-metric-class-imbalance.md)
+ [ラベルの比率の差 (DPL)](clarify-data-bias-metric-true-label-imbalance.md)
+ [カルバックライブラー情報量 (KL)](clarify-data-bias-metric-kl-divergence.md)
+ [ジェンセンシャノン情報量 (JS)](clarify-data-bias-metric-jensen-shannon-divergence.md)
+ [Lp-norm (LP)](clarify-data-bias-metric-lp-norm.md)
+ [合計変動距離 (TVD)](clarify-data-bias-metric-total-variation-distance.md)
+ [コルモゴロフスミルノフ (KS)](clarify-data-bias-metric-kolmogorov-smirnov.md)
+ [条件付き属性格差 (CDD)](clarify-data-bias-metric-cddl.md)

# クラス不均衡 (CI)
<a name="clarify-bias-metric-class-imbalance"></a>

クラス不均衡 (CI) バイアスは、ファセット値 d のトレーニングサンプルがデータセット内の別のファセット a と比較して少ない場合に発生します。****これは、モデルが小さいファセットを犠牲にして大きいファセットを優先的に適合させるため、ファセット d のトレーニング誤差が大きくなる可能性があるためです。**また、モデルは小さいデータセットを過剰適合させるリスクも高いため、ファセット d のテスト誤差が大きくなる可能性があります。**機械学習モデルが主に中高年者のデータに基づいてトレーニングされる例 (ファセット a) を考えてみましょう。若年者と高齢者を対象とした予測を行う場合 (ファセット b) は、精度が低くなる可能性があります。

(正規化された) ファセット不均衡測定の計算式は次のとおりです。

        CI = (na - nd)/(na \$1 nd)

ここで、na はファセット a のメンバー数、nd はファセット d のメンバー数であり、****その値は間隔 [-1、1] の範囲にあります。
+ 正の CI 値は、ファセット a で、データセットにより多くのトレーニングサンプルがあることを示し、1 の値は、データにファセット a のメンバーのみが含まれていることを示します。****
+  ゼロに近い CI の値は、ファセット間のメンバーの分布がより均等であることを示し、ゼロの値は、ファセット間のパーティションが完全に等しいことを示し、トレーニングデータ内のサンプルのバランスのとれた分布を表します。
+ 負の CI 値は、ファセット d で、データセットにより多くのトレーニングサンプルがあることを示し、-1 の値は、データにファセット d のメンバーのみが含まれていることを示します。****
+ -1 または 1 のいずれかの極値に近い CI 値は非常に不均衡であり、偏った予測を行うかなりのリスクがあります。

ファセット間に重大なファセットの不均衡が存在することが判明した場合、そのモデルのトレーニングに進む前にサンプルを再調整することをお勧めします。

# ラベルの比率の差 (DPL)
<a name="clarify-data-bias-metric-true-label-imbalance"></a>

ラベルの比率の差 (DPL) は、トレーニングデータセット内のファセット d の正のラベルを持つ観測結果の比率と、ファセット a の正のラベルを持つ観測結果の比率を比較します。****例えば、これを使用して、金融ローンの承認を得た中高年者 (ファセット a) と他の年齢層 (ファセット d) の比率を比較できます。****機械学習モデルは、トレーニングデータの決定をできるだけ忠実に模倣しようとします。そのため、DPL が高いデータセットでトレーニングされた機械学習モデルは、将来の予測で同じ不均衡を反映する可能性があります。

ラベルの比率の差の計算式は次のとおりです。

        DPL = (qa - qd)

実行する条件は以下のとおりです。
+ qa = na(1)/na は、観測されたラベル値が 1 であるファセット a の比率です。**例えば、ローンの承認を得る中高年の属性の割合です。ここで、na(1) は、正の結果を得るファセット a のメンバー数を表し、na は、ファセット a のメンバー数を表します。****
+ qd = nd(1)/nd は、観測されたラベル値が 1 であるファセット d の比率です。**例えば、ローンの承認を得る中高年の属性以外の人たちの割合です。ここで、nd(1) は、正の結果を得るファセット d のメンバー数を表し、nd は、ファセット d のメンバー数を表します。****

DPL が 0 に十分近い場合、*属性パリティ*が達成されたと言えます。

バイナリおよびマルチカテゴリファセットラベルの場合、DPL 値は間隔 (-1, 1) の範囲にあります。連続ラベルの場合、ラベルをバイナリに折りたたむためのしきい値を設定します。
+ 正の DPL 値は、ファセット a がファセット d と比較して正の結果の割合が高いことを示します。****
+ ゼロに近い DPL の値は、ファセット間の正の結果の割合がより均等であることを示し、ゼロの値は、完全な属性パリティを示します。
+ 負の DPL 値は、ファセット d がファセット a と比較して正の結果の割合が高いことを示します。****

DPL の大きさに問題があるかどうかは、状況によって異なります。問題がある場合、大きな DPL は、データ内の根本的な問題の徴候である可能性があります。例えば、DPL が高いデータセットは、モデルが学習するのに望ましくない年齢ベースの属性グループに対する過去のバイアスや偏見を反映している可能性があります。

# カルバックライブラー情報量 (KL)
<a name="clarify-data-bias-metric-kl-divergence"></a>

カルバックライブラー情報量 (KL) は、ファセット a、 Pa(y) の観測されたラベル分布が、ファセット d、Pd(y) の分布からどの程度離れているかを測定します。****これは、Pa(y) の Pd(y) に対する相対エントロピーとも呼ばれ、Pa(y) から Pd(y) に移動するときに失われる情報量を定量化します。

カルバックライブラーの計算式は次のとおりです。

        KL(Pa \$1\$1 Pd) = ∑yPa(y)\$1log[Pa(y)/Pd(y)]

これは、確率 Pa(y) と Pd(y) の対数差の期待値であり、期待値は確率 Pa(y) によって重み付けされます。これは非対称であり、三角不等式を満たさないため、分布間の真の距離ではありません。実装は自然対数を使用し、KL は nat の単位で与えられます。異なる対数の底を使用すると、比例した結果が得られますが、単位は異なります。例えば、2 を底とすると、KL はビット単位で与えられます。

例えば、ローン申請者のグループ (ファセット d) の承認率が 30% で、他の申請者 (ファセット a) の承認率が 80% であるとします。****カルバックライブラー式は、ファセット a とファセット d のラベル分布の相違を次のように示します。****

        KL = 0.8\$1ln(0.8/0.3) \$1 0.2\$1ln(0.2/0.7) = 0.53

この例ではラベルがバイナリであるため、計算式には 2 つの項があります。この測定は、バイナリラベルに加えて、複数のラベルに適用できます。例えば、大学入試のシナリオで、志願者に 3 つのカテゴリラベル (yi = \$1y0, y1, y2\$1 = \$1合格, 補欠, 不合格\$1) のいずれかが割り当てられていると仮定します。

バイナリ、マルチカテゴリ、連続結果の KL メトリクスの値の範囲は、[0、\$1∞) です。
+ ゼロに近い値は、結果が異なるファセットに同様に分布していることを意味します。
+ 正の値は、ラベル分布の発散を意味し、正の値が大きいほど発散が大きくなります。

# ジェンセンシャノン情報量 (JS)
<a name="clarify-data-bias-metric-jensen-shannon-divergence"></a>

ジェンセンシャノン情報量 (JS) は、異なるファセットのラベル分布がエントロピー的に互いにどの程度離れるかを測定します。これは、カルバックライブラー情報量に基づいていますが、対称的です。

ジェンセンシャノン情報量の計算式は次のとおりです。

        JS = ½\$1[KL(Pa \$1\$1 P) \$1 KL(Pd \$1\$1 P)]

ここで、P = ½( Pa \$1 Pd ) は、ファセット a と d の平均ラベル分布です。****

バイナリ、マルチカテゴリ、連続結果の JS 値の範囲は、[0, ln(2)) です。
+ ゼロに近い値は、ラベルが同様に分布していることを意味します。
+ 正の値は、ラベル分布の発散を意味し、正の値が大きいほど発散が大きくなります。

このメトリクスは、ファセット全体のラベルの 1 つに大きな相違があるかどうかを示します。

# Lp-norm (LP)
<a name="clarify-data-bias-metric-lp-norm"></a>

Lp- ノルム (LP) は、トレーニングデータセットの観測ラベルのファセット分布間の p- ノルム距離を測定します。このメトリクスは負ではないため、逆バイアスを検出できません。

Lp- ノルムの計算式は次のとおりです。

        Lp(Pa, Pd) = ( ∑y\$1\$1Pa - Pd\$1\$1p)1/p

ここで、点 x と点 y の間の p- ノルム距離は次のように定義されます。

        Lp(x, y) = (\$1x1-y1\$1p \$1 \$1x2-y2\$1p \$1 … \$1\$1xn-yn\$1p)1/p 

2- ノルムはユークリッドノルムです。例えば、大学入試のマルチカテゴリシナリオで、3 つのカテゴリ (yi = \$1y0, y1, y2\$1 = \$1合格, 補欠, 不合格\$1) の結果分布があるとします。ファセット a と d の結果カウントの差の 2 乗の和を求めます。****結果のユークリッド距離は次のように計算されます。

        L2(Pa, Pd) = [(na(0) - nd(0))2 \$1 (na(1) - nd(1))2 \$1 (na(2) - nd(2))2]1/2

コードの説明は以下のとおりです。
+ na(i) は、ファセット a の i 番目のカテゴリの結果の数です。例えば、na(0) は、ファセット a の承認の数です。****
+ nd(i) は、ファセット d の i 番目のカテゴリの結果の数です。例えば、nd(2) は、ファセット d の拒否の数です。****

  バイナリ、マルチカテゴリ、連続結果の LP 値の範囲は、[0, √2) です。
  + ゼロに近い値は、ラベルが同様に分布していることを意味します。
  + 正の値は、ラベル分布の発散を意味し、正の値が大きいほど発散が大きくなります。

# 合計変動距離 (TVD)
<a name="clarify-data-bias-metric-total-variation-distance"></a>

合計変動距離データバイアスメトリクス (TVD) は、L1- ノルムの半分です。TVD は、ファセット a と d のラベル結果の確率分布間の可能な最大の差です。****L1- ノルムはハミング距離であり、1 つの文字列を別の文字列に変更するのに必要な置換の最小数を決定することにより、2 つのバイナリデータ文字列を比較するために使用されるメトリクスです。文字列が互いにコピーされる場合は、コピー時に発生したエラーの数を決定します。バイアス検出のコンテキストでは、TVD は、ファセット d の結果と一致するように変更する必要があるファセット a の結果の数を定量化します。****

合計変動距離の計算式は次のとおりです。

        TVD = ½\$1L1(Pa, Pd)

例えば、大学入試のマルチカテゴリシナリオで、3 つのカテゴリ (yi = \$1y0, y1, y2\$1 = \$1合格, 補欠, 不合格\$1) の結果分布があるとします。TVD を計算するために、結果ごとにファセット a と d のカウントの差を求めます。****結果は次のようになります。

        L1(Pa, Pd) = \$1na(0) - nd(0)\$1 \$1 \$1na(1) - nd(1)\$1 \$1 \$1na(2) - nd(2)\$1

コードの説明は以下のとおりです。
+ na(i) は、ファセット a の i 番目のカテゴリの結果の数です。例えば、na(0) は、ファセット a の承認の数です。****
+ nd(i) は、ファセット d の i 番目のカテゴリの結果の数です。例えば、nd(2) は、ファセット d の拒否の数です。**

  バイナリ、マルチカテゴリ、連続結果の TVD 値の範囲は、[0、1) です。
  + ゼロに近い値は、ラベルが同様に分布していることを意味します。
  + 正の値は、ラベル分布の発散を意味し、正の値が大きいほど発散が大きくなります。

# コルモゴロフスミルノフ (KS)
<a name="clarify-data-bias-metric-kolmogorov-smirnov"></a>

コルモゴロフスミルノフバイアスメトリクス (KS) は、データセットのファセット a と d の分布におけるラベル間の最大発散に等しくなります。****SageMaker Clarify によって実装された 2 標本 KS 検定は、最も不均衡なラベルを見つけることにより、ラベルの不均衡の他の測定値を補完します。

コルモゴロフスミルノフメトリクスの計算式は次のとおりです。

        KS = max(\$1Pa(y) - Pd(y)\$1)

例えば、大学の志願者グループ (ファセット a) の不合格、補欠、合格がそれぞれ 40％、40％、20％ で、他の志願者 (ファセット d) のこの割合が 20%、10%、70% であるとします。****この場合、コルモゴロフスミルノフバイアスメトリクス値は次のようになります。

KS = max(\$10.4-0.2\$1, \$10.4-0.1\$1, \$10.2-0.7\$1) = 0.5

これは、ファセット分布間の最大発散が 0.5 であり、合格率で発生します。ラベルは基数 3 のマルチクラスであるため、方程式には 3 つの項があります。

バイナリ、マルチカテゴリ、連続結果の LP 値の範囲は、[0、\$11] です。
+ ゼロに近い値は、すべての結果カテゴリのファセット間にラベルが均等に分布していることを示します。例えば、ローンを申請する両方のファセットは、50％ の承認と 50％ の拒否を取得した場合です。
+ 1 に近い値は、1 つの結果のラベルがすべて 1 つのファセットであることを示します。例えば、ファセット a は 100% の承認を取得し、ファセット d は承認を取得しなかった場合です。****
+ 断続的な値は、ラベルの最大不均衡の相対的な程度を示します。

# 条件付き属性格差 (CDD)
<a name="clarify-data-bias-metric-cddl"></a>

属性格差メトリクス (DD) は、ファセットが、データセット内の拒否された結果の割合が承認された結果の割合よりも大きいかどうかを決定します。例えば、男性と女性の 2 つのファセットがデータセットを構成する二項ケースでは、不利なファセットには facet d というラベルが付けられ、有利なファセットには facet a というラベルが付けられます。****例えば、大学入試の場合、女性の不合格者が 46％ で、合格者が 32％ しかいないとすると、不合格者の割合が合格者の割合を上回っているため、*属性格差*があると言えます。この場合、女性の応募者にはファセット *d* というラベルが付けられます。男性の志願者が、不合格となった志願者の 54%、合格した志願者の 68% を占めていた場合、不合格率は合格率よりも低いため、このファセットには属性格差はないと言えます。この場合、男性の志願者にはファセット a というラベルが付けられます。**

有利でないファセット d の属性格差の計算式は次のとおりです。**

        DDd = nd(0)/n(0) - nd(1)/n(1) = PdR(y0) - PdA(y1) 

コードの説明は以下のとおりです。
+ n(0) = na(0) \$1 nd(0) は、有利なファセット *a* と不利なファセット d のデータセットのうち拒否された結果の総数です。
+ n(1) = na(1) \$1 nd(1) は、有利なファセット *a* と不利なファセット *d* のデータセットのうち拒否された結果の総数です。
+ PdR(y0) は、ファセット d で拒否された結果 (値 0) の割合です。**
+ PdA(y1) は、ファセット d で承認された結果 (値 1) の割合です。**

大学入試の例では、属性格差は DDd = 0.46 - 0.32 = 0.14 です。男性の場合 DDa = 0.54 - 0.68 = - 0.14 です。

シンプソンのパラドックスを除外するには、データセット上のサブグループの層を定義する属性に対して DD を条件付ける条件付き属性格差 (CDD) メトリクスが必要です。再グループ化により、有利でないファセットの明らかな属性格差の原因についてインサイトを得ることができます。典型的な例は、バークレー校の入試で、男性の方が女性よりも全体的に合格率が高かったというものです。この場合の統計量は DD の計算例で使用されました。しかし、学科別のサブグループを調べると、学科別に条件付けするとは女性の方が男性よりも高い合格率であることが示されました。その説明は、女性は男性よりも合格率の低い学科に志願していたということでした。サブグループ別の合格率を調べると、合格率の低い学科では、実際に女性の方が男性よりも高い合格率であることがわかりました。

CDD メトリクスは、データセットの属性によって定義されたサブグループに見られる格差をすべて平均化することで、1 つの測定値を提供します。これは、各サブグループの属性格差 (DDi) の加重平均として定義され、各サブグループの格差は、含まれる観測値の数に比例して重み付けされます。条件付き属性格差の計算式は次のとおりです。

        CDD = (1/n)\$1∑ini \$1DDi 

コードの説明は以下のとおりです。
+ ∑ini = n は、観測値の総数であり、niは、各サブグループの観測値の数です。
+ DDi = ni(0)/n(0) - ni(1)/n(1) = PiR(y0) - PiA(y1) は、i 番目のサブグループの属性格差です。

サブグループの属性格差 (DDi) は、各サブグループの拒否された結果の割合と承認された結果の割合の差です。

データセット全体の DDd またはその条件付きサブグループ DDi の二項結果の DD 値の範囲は [-1, \$11] です。
+ \$11: ファセット a またはサブグループに拒否がなく、ファセット d またはサブグループに承認がない場合****
+ 正の値は、データセット内のファセット d として属性格差がないことを示します。つまり、データセット内のサブグループで、拒否された結果の割合が、承認された結果の割合よりも大きいことを示します。**値が高くなるほどファセットは不利になり、不均衡が大きくなります。
+ 負の値は、データセット内のファセット d として属性格差がないことを示します。つまり、データセット内のサブグループで、承認された結果の割合が、拒否された結果の割合よりも大きいことを示します。**値が低いほど、ファセットは有利になります。
+ -1: ファセット d またはサブグループに拒否がなく、ファセット a またはサブグループに承認がない場合****

何も条件付けしない場合、DPL がゼロの場合に限り、CDD はゼロになります。

このメトリクスは、EU および英国の非差別法および法学における直接差別、間接差別、客観的正当化の概念を調査するのに有用です。詳細については、「[公平性を自動化できない理由](https://arxiv.org/abs/2005.05906)」を参照してください。この論文には、学部の入学率サブグループに基づく条件付けがシンプソンのパラドックスをどのように示しているかを示す、バークレー大学の入学事例に関する関連データと分析も含まれています。