기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
# 훈련 후 데이터 및 모델 편향
훈련 후 편향 분석은 데이터에 존재하는 편향 또는 분류 단계나 예측 알고리즘에서의 편향으로 인해 야기되었을 수 있는 편향을 파악하는 데 도움이 됩니다. 이러한 분석에서는 레이블을 포함한 학습 데이터와 해당 모델이 수행한 예측을 살펴봅니다. 모델 성능의 평가는 예측된 레이블을 분석하거나 또는 예측치를 서로 다른 속성값을 가진 그룹과 관련한 데이터에서 관찰된 목표 값과 비교해보는 과정을 통해서 이루어집니다. 공정성에 대한 다양한 개념이 있으며, 각 개념마다 측정에 필요한 편향 지표가 다릅니다.
관련 특징을 파악하기 쉽지 않아 감지하기가 까다로운 법적 차원에서의 공정성 개념도 있습니다. 예를 들어, 미국식 불평등 효과(disparate impact)의 개념은 덜 유리한 패싯 *d*라는 그룹이 불리한 영향을 경험했다면 당시에 취해진 접근법이 공정해 보이더라도 여전히 적용될 수 있습니다. 이러한 유형의 편향은 기계 학습 모델 때문이 아닐 수도 있지만, 훈련 후 편향 분석을 통해서 여전히 감지가 가능할 수 있습니다.
Amazon SageMaker Clarify는 일관된 용어 사용을 보장하기 위해 노력합니다. 관련 용어 및 정의의 목록은 [편향과 공정성과 관련한 Amazon SageMaker Clarify 용어](clarify-detect-data-bias.md#clarify-bias-and-fairness-terms)를 참조하세요.
훈련 후 편향 지표에 대한 추가 정보는 [Learn How Amazon SageMaker Clarify Helps Detect Bias](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/) 및 [Fairness Measures for Machine Learning in Finance](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)를 참조하세요.
# 훈련 후 데이터 및 모델 편향 지표
Amazon SageMaker Clarify는 훈련 후 데이터 및 모델 편향 지표 11개를 제공하므로 공정성에 대한 다양한 개념을 정량화하는 데 도움이 됩니다. 이러한 개념을 모두 동시에 충족할 수는 없으며, 그 선택은 분석 대상의 잠재적 편향과 관련된 구체적인 사례에 따라서 달라지게 됩니다. 이러한 지표는 대부분 다양한 인구 집단에 대한 바이너리 분류 혼동 행렬에서 가져온 숫자 값들이 조합되어 있는 형태입니다. 공정성과 편향성은 다양한 지표에 의해 정의될 수 있는 만큼, 개별 사용 사례에 적합한 지표가 무엇인지 이해하고 선택하는 과정에서 사람의 판단이 요구되며, 고객은 적절한 이해관계자와의 상의를 통해 해당 응용 분야에 맞는 공정성 척도가 결정될 수 있도록 해야 합니다.
편향 지표에 대해 설명하기 위해 다음 표기법을 사용합니다. 여기서 설명하는 개념적 모델은 바이너리 분류를 위한 것으로, 이 모델에서는 해당 샘플 공간에서 가능한 이벤트의 결과가 두 종류뿐인 것으로 레이블이 지정되며, 이를 양수(값 1)및 음수(값 0)라고 합니다. 이 프레임워크는 일반적으로 간단한 방법을 통해 멀티카테고리 분류로 확장하거나 필요 시에는 연속형 출력 값을 가지는 경우에도 활용될 수 있습니다. 바이너리 분류를 수행하는 경우, 유리한 패싯 *a*와 불리한 패싯 *d*에 대해 원시 데이터세트에 기록된 결과에 양수 및 음수 레이블이 할당됩니다. 이러한 레이블 y는 ML 수명 주기의 훈련 또는 추론 단계를 거치면서 기계 학습 모델에 의해 할당되는 예측된 레이블 y'와 구분짓기 위해 관찰된 레이블이라고 부릅니다.**** 이들 레이블은 각각의 패싯 결과에 대한 확률 분포 Pa(y)와 Pd(y)를 정의하는 데 사용됩니다.
+ 레이블
+ y는 훈련 데이터세트에서의 이벤트 결과에 대해 관찰된 n개의 레이블을 나타냅니다.
+ y'는 훈련된 모델이 데이터세트에서 관찰한 n개의 레이블에 대해 예측된 레이블을 나타냅니다.
+ 결과:
+ 샘플에 대한 긍정적인 결과(값 1)(예: 신청 승인)
+ n(1)은 긍정적인 결과(승인)에 대해 관찰된 레이블의 수입니다.
+ n'(1)은 긍정적인 결과(승인)에 대해 예측된 레이블의 수입니다.
+ 샘플에 대한 부정적인 결과(값 0)(예: 신청 거부).
+ n(0)은 부정적인 결과(거부)에 대해 관찰된 레이블의 수입니다.
+ n'(0)은 부정적인 결과(거부)에 대해 예측된 레이블의 수입니다.
+ 패싯 값:
+ 패싯 *a* - 유리하게 편향되는 인구 집단을 정의하는 특징 값입니다.
+ na은 유리한 패싯 값에 대해 관찰된 레이블의 수입니다: na = na(1) \$1 na(0) 패싯값 *a*에 대해 관찰된 양수 및 음수 레이블의 합계.
+ n’a은 유리한 패싯 값에 대해 예측된 레이블의 수입니다: n’a = n’a(1) \$1 n’a(0) 패싯값 *a*에 대해 예측된 양수 및 음수 결과 레이블의 합계. 참고로 an' = na입니다.
+ 패싯 *d* - 불리하게 편향되는 인구 집단을 정의하는 특징 값입니다.
+ nd은 불리한 패싯 값에 대해 관찰된 레이블의 수입니다: nd = nd(1) \$1 nd(0) 패싯값 *d*에 대해 관찰된 양수 및 음수 레이블의 합계.
+ n’d은 불리한 패싯 값에 대해 예측된 레이블의 수입니다: n’d = n’d(1) \$1 n’d(0) 패싯값 *d*에 대해 예측된 양수 및 음수 결과 레이블의 합계. 참고로 dn' = nd입니다.
+ 레이블이 지정된 패싯 데이터 결과의 결과값에 대한 확률 분포:
+ Pa(y)는 패싯 *a*에 대해 관찰된 레이블의 확률 분포입니다. 바이너리 레이블이 지정된 데이터의 경우, 이 분포는 전체 수에 대해 긍정적인 결과로 레이블이 지정된 패싯 *a*의 샘플 수의 비율인 Pa(y1) = na(1)/ na과 전체 수에 대해 부정적인 결과가 나온 샘플 수의 비율인 Pa(y0) = na(0)/ na에 의해 제공됩니다.
+ Pd(y)는 패싯 *d*에 대해 관찰된 레이블의 확률 분포입니다. 바이너리 레이블이 지정된 데이터의 경우, 이 분포는 전체 수에 대해 긍정적인 결과로 레이블이 지정된 패싯 *d*의 샘플 수인 Pd(y1) = nd(1)/ nd과 전체 수에 대해 부정적인 결과가 나온 샘플 수의 비율인 Pd(y0) = nd(0)/ nd에 의해 제공됩니다.
다음 표에는 빠른 지침을 위한 치트 시트와 훈련 후 편향 지표에 대한 링크가 포함되어 있습니다.
훈련 후 편향 지표
| 훈련 후 편향 지표 | 설명 | 예시 질문 | 지표 값의 해석 |
| --- | --- | --- | --- |
| [예측된 레이블의 양수 비율 차이(DPPL)](clarify-post-training-bias-metric-dppl.md) | 유리한 패싯 a와 불리한 패싯 d 사이에서 양수 예측값의 비율의 차이를 측정합니다. | 긍정적인 예측 결과값에 여러 인구 집단 사이의 편향을 나타낼 수 있는 불균형이 있었나요? | 정규화된 바이너리 및 멀티카테고리 패싯 레이블의 범위: `[-1,+1]` 연속형 레이블의 범위: (-∞, \$1∞) 해석: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [불평등 효과(DI)](clarify-post-training-bias-metric-di.md) | 유리한 패싯 a와 불리한 패싯 d에 대한 예측 레이블의 비율의 비를 측정합니다. | 긍정적인 예측 결과값에 여러 인구 집단 사이의 편향을 나타낼 수 있는 불균형이 있었나요? | 정규화된 바이너리, 멀티카테고리 패싯 및 연속형 레이블의 범위: [0,∞] 해석: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [예측된 레이블의 조건부 인구통계학적 차이(CDDPL)](clarify-post-training-bias-metric-cddpl.md) | 전체 패싯 사이에서 예측 레이블의 차이를 측정하지만 부분군별로도 측정합니다. | 일부 인구 집단의 대출 결과에 있어 거부 비율이 승인 비율보다 더 높은가요? | 바이너리, 멀티카테고리 및 연속형 결과의 CDDPL 값 범위: `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [반사실적 플립테스트(FT)](clarify-post-training-bias-metric-ft.md) | 패싯 d의 각 멤버를 살펴보고 패싯 a의 유사한 멤버들이 서로 다른 모델 예측을 갖는지 여부를 평가합니다. | 특정 연령대 인구 집단이 모든 특징에 있어 다른 연령대 그룹의 특징들과 밀접하게 일치하는데도 평균적으로 더 많은 급여를 받고 있나요? | 바이너리 및 멀티카테고리 패싯 레이블의 범위는 [-1, \$11]입니다.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [정확도 차이(AD)](clarify-post-training-bias-metric-ad.md) | 유리한 패싯과 불리한 패싯에 대한 예측 정확도 간의 차이를 측정합니다. | 모델이모든 인구 집단의 적용 사례에 걸쳐 레이블을 정확하게 예측하고 있나요? | 바이너리 및 멀티카테고리 패싯 레이블의 범위는 [-1, \$11]입니다.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [재현율 차이(RD)](clarify-post-training-bias-metric-rd.md) | 유리한 패싯과 불리한 패싯에 대한 모델의 재현율을 비교합니다. | 한 연령대에 대한 재현율이 다른 연령대에 비해 높은 모델로 인해 연령에 따른 대출 편향이 발생하고 있나요? | 바이너리 및 멀티카테고리 분류의 범위: `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [조건부 승인의 차이(DCAcc)](clarify-post-training-bias-metric-dcacc.md) | 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교합니다. 예측된 긍정적 결과(승인)에 있어 여러 패싯에서 이 값이 동일한지 여부를 평가합니다. | 한 연령대를 다른 연령대와 비교했을 때, 대출이 더 자주 승인되거나 또는 예측치보다 드물게 승인(자격 취득 기준)되고 있나요? | 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위: (-∞, \$1∞). [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [승인율 차이(DAR)](clarify-post-training-bias-metric-dar.md) | 유리한 패싯과 불리한 패싯 사이에서 긍정적 관찰 결과(TP)와 긍정적 예측 결과(TP\$1FP)의 비율 차이를 측정합니다. | 적격 신청자에 대한 대출 승인을 예측할 때 모든 연령대에 걸쳐 모델의 정밀도가 동등한가요? | 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위는 [-1, \$11]입니다.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [특이도 차이(SD)](clarify-post-training-bias-metric-sd.md) | 유리한 패싯과 불리한 패싯 간의 모델 특이도를 비교합니다. | 한 연령대에 대한 특이도가 다른 연령대에 비해 높게 예측되는 모델로 인해 연령에 따른 대출 편향이 발생하고 있나요? | 바이너리 및 멀티카테고리 분류의 범위: `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [조건부 거부의 차이(DCR)](clarify-post-training-bias-metric-dcr.md) | 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교하면서 부정적인 결과(거부)에 있어 이 값이 여러 패싯에 걸쳐 동일한지 여부를 평가합니다. | 자격 취득을 기준으로 한 연령대에서 다른 연령대에 비해 대출 신청 거부 건수가 예측치보다 많거나 적은가요? | 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [거부율 차이(DRR)](clarify-post-training-bias-metric-drr.md) | 불리한 패싯과 유리한 패싯 사이에서 부정적 관찰 결과(TN)와 부정적 예측 결과(TN\$1FN)의 비율 차이를 측정합니다. | 부적격 신청자에 대한 대출 거부를 예측할 때 모든 연령대에 걸쳐 모델의 정밀도가 동등한가요? | 바이너리, 멀티카테고리 패싯, 연속형 레이블의 범위는 [-1, \$11]입니다.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [대우 평등(TE)](clarify-post-training-bias-metric-te.md) | 유리한 패싯과 불리한 패싯 사이에서 거짓 긍정 및 거짓 부정의 비율 차이를 측정합니다. | 대출 신청에서 거짓 긍정과 거짓 부정의 상대적 비율이 모든 연령대의 인구 집단에 걸쳐 동일한가요? | 바이너리 및 멀티카테고리 패싯 레이블의 범위: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [일반화 엔트로피(GE)](clarify-post-training-bias-metric-ge.md) | 모델 예측을 통해 각 입력에 할당된 혜택 b에 있어서의 불평등을 측정합니다. | 대출 신청 분류를 위한 두 가지 후보 모델 가운데 한 모델이 다른 모델보다 원하는 결과를 더 불균등하게 분배하고 있나요? | 바이너리 및 멀티카테고리 레이블의 범위: (0, 0.5). 모델이 거짓 부정만 예측하는 경우 GE는 정의되지 않습니다.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
훈련 후 편향 지표에 대한 자세한 내용은 [A Family of Fairness Measures for Machine Learning in Finance](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf)를 참조하세요.
**Topics**
+ [예측된 레이블의 양수 비율 차이(DPPL)](clarify-post-training-bias-metric-dppl.md)
+ [불평등 효과(DI)](clarify-post-training-bias-metric-di.md)
+ [조건부 승인의 차이(DCAcc)](clarify-post-training-bias-metric-dcacc.md)
+ [조건부 거부의 차이(DCR)](clarify-post-training-bias-metric-dcr.md)
+ [특이도 차이(SD)](clarify-post-training-bias-metric-sd.md)
+ [재현율 차이(RD)](clarify-post-training-bias-metric-rd.md)
+ [승인율 차이(DAR)](clarify-post-training-bias-metric-dar.md)
+ [거부율 차이(DRR)](clarify-post-training-bias-metric-drr.md)
+ [정확도 차이(AD)](clarify-post-training-bias-metric-ad.md)
+ [대우 평등(TE)](clarify-post-training-bias-metric-te.md)
+ [예측된 레이블의 조건부 인구통계학적 차이(CDDPL)](clarify-post-training-bias-metric-cddpl.md)
+ [반사실적 플립테스트(FT)](clarify-post-training-bias-metric-ft.md)
+ [일반화 엔트로피(GE)](clarify-post-training-bias-metric-ge.md)
# 예측된 레이블의 양수 비율 차이(DPPL)
예측된 레이블의 양수 비율 차이(DPPL) 지표는 모델이 각 패싯마다 결과를 다르게 예측하고 있는지 여부를 결정합니다. 이는 패싯 *a*에 대한 긍정적인 예측의 비율(y' = 1)과 패싯 *d*에 대한 긍정적인 예측의 비율(y' = 1) 간의 차이로서 정의됩니다. 예를 들어, 만약 모델 예측이 중년층의 60%(패싯 *a*)와 다른 연령대의 50%(패싯 *d*)에게 대출을 제공하고 있다면, 이는 패싯 *d*에 대해 편향된 것일 수 있습니다. 이 예제에서는 이 10%의 차이가 편향 여부의 판단에 있어 중요한지 여부를 확인해야 합니다.
훈련 전 편향의 척도인 레이블 비율(DPL)의 차이와 훈련 후 편향의 척도인 DPPL을 비교하여 훈련 후 데이터세트에 처음 존재하는 양의 비율의 편향이 변경되는지를 평가합니다. DPPL이 DPL보다 크면 훈련 후 양의 비율로 편향이 증가한 것입니다. DPPL이 DPL보다 작은 경우 모델이 훈련 후 양의 비율로 편향을 증가시키지 않은 것입니다. DPL을 DPPL과 비교한다고 해서 모델이 모든 차원에서 편향을 줄인다는 보장은 없습니다. 예를 들어 [반사실적 플립테스트(FT)](clarify-post-training-bias-metric-ft.md) 또는 [정확도 차이(AD)](clarify-post-training-bias-metric-ad.md)와 같은 다른 지표를 고려할 때 모델이 여전히 편향될 수 있습니다. 편향 감지에 대한 자세한 내용은 블로그 게시물 [Learn how Amazon SageMaker Clarify helps detect bias](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/)를 참조하세요. DPL에 대한 자세한 내용은 [레이블 비율의 차이(DPL)](clarify-data-bias-metric-true-label-imbalance.md) 섹션을 참조하세요.
DPPL의 공식은 다음과 같습니다.
DPPL = q'a - q'd
위치:
+ q'a = n'a(1)/na은 값 1의 긍정적인 결과를 얻는 패싯 *a*의 예측된 비율입니다. 이 예제에서는 대출이 승인될 것으로 예측되는 중년층 패싯의 비율에 해당합니다. 여기서 n’a(1)은 패싯 *a*에서 값 1의 긍정적인 예측 결과를 얻은 멤버의 수를 나타내고 na은 패싯 *a*의 멤버 수를 나타냅니다.
+ q'd = n'd(1)/nd은 값 1의 긍정적인 결과를 얻는 패싯 *d*의 예측된 비율입니다. 이 예제에서는 대출을 받을 것으로 예측된 노년층과 청년층의 패싯에 해당합니다. 여기서 n’d(1)은 패싯 *d*에서 긍정적인 예측 결과를 얻은 멤버의 수를 나타내고 nd은 패싯 *d*의 멤버 수를 나타냅니다.
만약 DPPL이 0에 충분히 근접했다면, 이는 훈련 후 인구통계학적 평등이 달성되었음을 의미합니다.**
바이너리 및 멀티카테고리 패싯 레이블의 경우 정규화된 DPL 값의 범위는 [-1, 1] 간격입니다. 연속형 레이블의 경우, 값은 해당 간격(-∞, \$1∞)에 따라서 달라집니다.
+ 양수인 DPPL 값은 패싯 *a*가 패싯 *d*에 비해 긍정적인 예측 결과의 비율이 상대적으로 높다는 것을 나타냅니다.
이를 긍정 편향이라고 합니다.**
+ DPPL 값이 0에 근접했다면 패싯 *a*와 패싯 *d* 간에 긍정적인 예측 결과의 비율이 비교적 균등함을 나타내고, 값이 0이면 인구통계학적 평등이 완벽함을 나타냅니다.
+ 음수인 DPPL 값은 패싯 *d*가 패싯 *a*에 비해 긍정적인 예측 결과의 비율이 상대적으로 높다는 것을 나타냅니다. 이를 부정 편향이라고 합니다.**
# 불평등 효과(DI)
예측된 레이블 지표에서의 양수 비율 차이는 비(ratio)의 형태로서 평가될 수 있습니다.
예측된 레이블 지표에서 양수 비율의 비교는 차이로서가 아니라 [예측된 레이블의 양수 비율 차이(DPPL)](clarify-post-training-bias-metric-dppl.md)에서와 마찬가지로 비(ratio)의 형태로서 평가될 수 있습니다. 불평등 효과(DI) 지표는 패싯 *d*에 대한 긍정적 예측의 비율(y' = 1)과 패싯 *a*에 대한 긍정적 예측의 비율(y' = 1)의 상대적 비(ratio)로서 정의됩니다. 예를 들어, 모델 예측이 중년층(패싯 *a*)의 60%와 다른 연령대(패싯 *d*)의 50%에 대출을 제공하는 경우라면, DI = .5/.6 = 0.8이 되며, 이는 패싯 *d*로 대표되는 다른 연령대에 대한 긍정 편향과 불리한 영향을 나타냅니다.
예측 레이블에서의 비율의 비를 구하는 공식은 다음과 같습니다.
DI = q'd/q'a
위치:
+ q'a = n'a(1)/na은 값 1의 긍정적인 결과를 얻는 패싯 *a*의 예측된 비율입니다. 이 예제에서는 대출이 승인될 것으로 예측되는 중년층 패싯의 비율에 해당합니다. 여기서 n’a(1)은 패싯 *a*에서 긍정적인 예측 결과를 얻은 멤버의 수를 나타내고 na은 패싯 *a*의 멤버 수를 나타냅니다.
+ q'd = n'd(1)/nd은 값 1의 긍정적인 결과를 얻는 패싯 *d*의 예측된 비율입니다. 이 예제에서는 대출을 받을 것으로 예측된 노년층과 청년층의 패싯에 해당합니다. 여기서 n’d(1)은 패싯 *d*에서 긍정적인 예측 결과를 얻은 멤버의 수를 나타내고 nd은 패싯 *d*의 멤버 수를 나타냅니다.
바이너리, 멀티카테고리 패싯 및 연속형 레이블의 경우 DI 값의 범위는 [0, ∞] 간격입니다.
+ 1보다 작은 값은 긍정적인 예측 결과의 비율이 패싯 *d*에서보다 패싯 *a*에서 더 높다는 것을 나타냅니다. 이를 긍정 편향이라고 합니다.**
+ 값이 1이면 인구통계학적 평등에 해당합니다.
+ 1보다 큰 값은 긍정적인 예측 결과의 비율이 패싯 *a*에서보다 패싯 *d*에서 더 높다는 것을 나타냅니다. 이를 부정 편향이라고 합니다.**
# 조건부 승인의 차이(DCAcc)
이 지표는 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교하면서 긍정적인 예측 결과에 있어 이 값이 여러 패싯에 걸쳐 동일한지 여부를 평가합니다. 이 지표는 특정 패싯에서 모델이 예측한 긍정적 결과(레이블 y')가 훈련 데이터세트에서 관찰된 것(레이블 y)과 비교하여 얼마나 더 많은지 정량화한다는 면에서 인간의 편견을 어느 정도 모방한다고 할 수 있습니다. 예를 들어, 중년층의 대출 신청에 대한 훈련 데이터세트(패싯 *a*)에서 다른 연령대를 포함하는 패싯(패싯 *d*)과 비교 시 자격 취득에 기반한 모델의 예측치보다 더 많은 승인 건수(긍정적 결과)가 관찰되고 있는 경우, 이는 대출 승인 방식에 있어 중년층에 유리한 편향의 존재를 시사할 수 있습니다.
조건부 승인의 차이를 구하는 공식:
DCAcc = ca - cd
위치:
+ ca = na(1)/ n'a(1)은 패싯 *a*에서 예측된 긍정적인 결과(승인)의 수에 대한 패싯 *a*의 값 1에서 관찰된 긍정적인 결과(승인)의 수의 비입니다.
+ cd = nd(1)/ n'd(1)은 패싯 *d*에서 예측된 긍정적인 결과(승인)의 수에 대한 패싯 *d*의 값 1에서 관찰된 긍정적인 결과(승인)의 수의 비입니다.
DCAcc 지표는 자격 취득 기준으로 특혜 대우를 나타내는 긍정적 편향과 부정적 편향을 모두 포착할 수 있습니다. 대출 승인에 있어 연령에 따른 편향이 나타나는 다음과 같은 사례를 살펴보겠습니다.
**예제 1: 긍정 편향**
대출을 신청한 중년 인구 100명(패싯 *a*)과 50명의 다른 연령대(패싯 *d*)로 구성된 데이터 세트가 있다고 가정해 보겠습니다.이 모델이 패싯 *a*에서 60명, 패싯 *d*에서는 30명이 대출을 받을 수 있도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표와 비교했을 때는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 *a*에서는 70명이, 패싯 *d*에서는 20명이 대출을 받게 되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 제공했고(70/60 = 1.17), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 제공했습니다(20/30 = 0.67). DCAcc 값을 계산하면 다음과 같은 결과가 나옵니다.
DCAcc = 70/60 - 20/30 = 1/2
양수 값은 다른 패싯 *d*와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 승인율이 낮게 나온 중년층 패싯 *a*에 대해서 잠재적 편향이 존재함을 나타냅니다.
**예제 2: 부정 편향**
대출을 신청한 중년 인구 100명(패싯 *a*)과 50명의 다른 연령대(패싯 *d*)로 구성된 데이터세트가 있다고 가정해 보겠습니다.이 모델이 패싯 *a*에서 60명, 패싯 *d*에서는 30명이 대출을 받을 수 있도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표와 비교했을 때는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 *a*에서는 50명이, 패싯 *d*에서는 40명이 대출을 받게 되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 제공했고(50/60 = 0.83), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 제공했습니다(40/30 = 1.33). DCAcc 값을 계산하면 다음과 같은 결과가 나옵니다.
DCAcc = 50/60 - 40/30 = -1/2
음수 값은 중년층 패싯 *a*와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 승인율이 낮게 나온 패싯 *d*에 대해서 잠재적 편향이 존재함을 나타냅니다.
참고로 DCAcc를 사용하면 휴먼 인 더 루프 환경에서 사람이 모델 예측을 감독함으로써 발생할 수 있는 (의도하지 않은) 편향을 찾아낼 수 있습니다. 예를 들어, 모델에 의한 예측 y'는 편향되지 않았지만 최종 결정은 y'의 새로운 최종 버전을 생성하기 위해 모델 예측을 변경할 권한이 있는 사람 (아마도 추가 기능에 접근할 수 있는 사람)이 내린다고 가정해 봅시다. 인간에 의한 추가적인 처리로 인해 의도치 않게 한 패싯에서 과도한 수의 대출 거부가 발생하게 될 수 있습니다. DCAcc는 이러한 잠재적 편향을 찾아내는 데 도움을 줍니다.
바이너리, 멀티카테고리 패싯 및 연속형 레이블에 대한 조건부 승인 건수 차이의 값 범위는 (-∞, \$1∞)입니다.
+ 양수 값은 패싯 *a*에 대해 예측된 승인 건수와 관찰된 승인 건수의 비율이 패싯 *d*에서의 동일한 비율보다 높을 때 얻어집니다. 이러한 값은 패싯 *a*에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다. 해당 비율의 차이가 클수록 명백한 편향은 더욱 심해집니다.
+ 0에 가까운 값은 패싯 *a*에 대해 예측된 승인 건수와 관찰된 승인 건수의 비율이 패싯 *d*에서의 비율과 비슷할 때 얻어집니다. 이 값은 예측된 승인율이 레이블이 지정된 데이터에서 관찰된 값과 일치하며 두 패싯 모두에서 적격 신청자의 대출이 유사한 방식으로 승인되고 있음을 나타냅니다.
+ 음수 값은 패싯 *a*에 대해 예측된 승인 건수와 관찰된 승인 건수의 비율이 패싯 *d*에서의 해당 비율보다 낮을 때 얻어집니다. 이러한 값은 패싯 *d*에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다. 해당 비율에서의 차이가 부정적일수록 명백한 편향은 더욱 심해집니다.
# 조건부 거부의 차이(DCR)
이 지표는 관찰된 레이블을 모델이 수행한 예측의 레이블과 비교하면서 부정적인 결과(거부)에 있어 이 값이 여러 패싯에 걸쳐 동일한지 여부를 평가합니다. 이 지표는 특정 패싯에 대해 모델이 제공한 부정적 결과(예측된 레이블 y')가 훈련 데이터세트에서 레이블에 의해 제안된 것(관찰된 레이블 y)과 비교하여 얼마나 더 많은지 정량화한다는 면에서 인간의 편견을 어느 정도 모방한다고 할 수 있습니다. 예를 들어, 중년층의 대출 신청(패싯 *a*)에서 다른 연령대를 포함하는 패싯(패싯 *d*)과 비교 시 자격 취득에 기반한 모델의 예측치보다 더 많은 거부 건수(부정적 결과)가 관찰되고 있는 경우, 이는 대출 거부 방식에 있어 다른 그룹에 비해 중년층에 유리한 편향의 존재를 시사할 수 있습니다.
조건부 승인의 차이를 구하는 공식:
DCR = rd - ra
위치:
+ rd = nd(0)/ n'd(0)은 패싯 *d*의 값 0(거부)에서 관찰된 부정적인 결과(거부)의 수와 패싯 *d*에 대해 예측된 부정적인 결과(거부)의 수가 가지는 비율입니다.
+ ra = na(0)/ n'a(0)은 패싯 *a*의 값 0(거부)에서 관찰된 부정적인 결과(거부)의 수와 패싯 *a*의 값 0에 대해 예측된 부정적인 결과(거부)의 수가 가지는 비율입니다.
DCR 지표는 자격 취득 기준으로 특혜 대우를 나타내는 긍정적 편향과 부정적 편향을 모두 포착할 수 있습니다. 대출 거부에 있어 연령에 따른 편향이 나타나는 다음과 같은 사례를 살펴보겠습니다.
**예제 1: 긍정 편향**
대출을 신청한 중년 인구 100명(패싯 *a*)과 50명의 다른 연령대(패싯 *d*)로 구성된 데이터 세트가 있다고 가정해 보겠습니다.이 모델이 패싯 *a*에서 60명, 패싯 *d*에서는 30명에게 대출을 거부하도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표에 의해서는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 *a*에서는 50명, 패싯 *d*에서는 40명의 대출 신청이 거부되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 많은 대출을 거부했고(50/60 = 0.83), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 적은 대출을 거부했습니다(40/30 = 1.33). DCR 값은 각 패싯 간의 관찰된 거부율과 예측된 거부율의 비율에 존재하는 이 차이를 정량화합니다. 양수 값은 다른 그룹과 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 거부율이 낮게 나온 중년 그룹에 유리한 잠재적 편향이 존재함을 나타냅니다.
DCR = 40/30 - 50/60 = 1/2
**예제 2: 부정 편향**
대출을 신청한 중년 인구 100명(패싯 *a*)과 50명의 다른 연령대(패싯 *d*)로 구성된 데이터세트가 있다고 가정해 보겠습니다.이 모델이 패싯 *a*에서 60명, 패싯 *d*에서는 30명에게 대출을 거부하도록 추천했다고 가정합니다. 예측된 비율은 DPPL 지표에 의해서는 편향되지 않았지만, 관찰된 레이블을 확인해보면 패싯 *a*에서는 70명, 패싯 *d*에서는 20명의 대출 신청이 거부되었다는 것을 알 수 있습니다. 다시 말해, 이 모델은 중년층 패싯에서는 훈련 데이터에서 관찰된 레이블이 제안한 것보다 17% 적은 대출을 거부했고(70/60 = 1.17), 다른 연령대에서는 관찰된 레이블이 제안한 것보다 33% 많은 대출을 거부했습니다(20/30 = 0.67). 음수 값은 중년층 패싯 *a*와 비교 시 관찰된 데이터(편향되지 않은 것으로 간주)가 가리키는 정도보다도 거부율이 낮게 나온 패싯 *a*에 유리한 잠재적 편향이 존재함을 나타냅니다.
DCR = 20/30 - 70/60 = -1/2
바이너리, 멀티카테고리 패싯 및 연속형 레이블에 대한 조건부 거부 건수 차이의 값 범위는 (-∞, \$1∞)입니다.
+ 양수 값은 패싯 *d*에 대해 예측된 거부 건수와 관찰된 거부 건수의 비율이 패싯 *a*에서의 해당 비율보다 클 때 얻어집니다. 이러한 값은 패싯 *a*에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다. DCR 지표의 값이 클수록 명백한 편향은 더욱 심해집니다.
+ 0에 가까운 값은 패싯 *a*에 대해 예측된 승인 건수와 관찰된 거부 건수의 비율이 패싯 *d*에서의 비율과 비슷할 때 얻어집니다. 이 값은 예측된 거부율이 레이블이 지정된 데이터에서 관찰된 값과 일치하며 두 패싯 모두에서 적격 신청자의 대출이 유사한 방식으로 거부되고 있음을 나타냅니다.
+ 음수 값은 패싯 *d*에 대해 예측된 거부 건수와 관찰된 거부 건수의 비율이 패싯 *a*에서의 해당 비율보다 작을 때 얻어집니다. 이러한 값은 패싯 *d*에서 적격 신청자를 대상으로 한 편향이 존재할 수 있음을 나타냅니다. DCR 지표의 부정적인 정도가 커질수록 명백한 편향은 더욱 심해집니다.
# 특이도 차이(SD)
특이도 차이(SD)는 유리한 패싯 *a*와 불리한 패싯 *d* 사이에 존재하는 특이도의 차이를 말합니다. 특이도는 모델이 부정적인 결과를 정확히 예측해내는 빈도(y'=0)를 측정합니다. 이러한 특이도에서의 차이는 편향의 잠재적 형태입니다.
어떤 패싯에 대해 y=0 사례를 모두 정확하게 예측했다면 해당 패싯에서의 특이도는 완벽합니다. 모델이 제1종 오류로 알려진 거짓 긍정을 최소화한다면 특이도는 더욱 올라가게 됩니다. 예를 들어, 패싯 *a*에 대한 대출에서의 낮은 특이도와 패싯 *d*에 대한 대출에서의 높은 특이도 간에 나타나는 차이는 패싯 *d*에 대한 편향의 측정값에 해당합니다.
다음은 패싯 *a*와 패싯 *d*에서의 특이도 차이를 구하는 공식입니다.
SD = TNd/(TNd \$1 FPd) - TNa/(TNa \$1 FPa) = TNRd - TNRa
SD를 계산하는 데 사용되는 다음 변수는 다음과 같이 정의됩니다.
+ TNd은 패싯 *d*에 대해 예측된 참 부정입니다.
+ FPd는 패싯 *d*에 대해 예측된 거짓 긍정입니다.
+ TNd은 패싯 *a*에 대해 예측된 참 부정입니다.
+ FPd는 패싯 *a*에 대해 예측된 거짓 긍정입니다.
+ TNRa = TNa/(TNa \$1 FPa)는 패싯 *a*에 대한 참 부정률 또는 특이도라고 합니다.
+ TNRd = TNd/(TNd \$1 FPd)는 패싯 *d*에 대한 참 부정률 또는 특이도라고 합니다.
예를 들어, 패싯 *a* 및 패싯 *d*에 대한 다음과 같은 혼동 행렬을 살펴봅시다.
유리한 패싯 `a`에 대한 혼동 행렬
| 클래스 a 예측 | 실제 결과 0 | 실제 결과 1 | 합계 |
| --- | --- | --- | --- |
| 0 | 20 | 5 | 25 |
| 1 | 10 | 65 | 75 |
| 합계 | 30 | 70 | 100 |
불리한 패싯 `d`에 대한 혼동 행렬
| 클래스 d 예측 | 실제 결과 0 | 실제 결과 1 | 합계 |
| --- | --- | --- | --- |
| 0 | 18 | 7 | 25 |
| 1 | 5 | 20 | 25 |
| 합계 | 23 | 27 | 50 |
특이도 차이의 값은 `SD = 18/(18+5) - 20/(20+10) = 0.7826 - 0.6667 = 0.1159`이며, 이는 패싯 *d*에 대한 편향을 나타냅니다.
바이너리 분류와 멀티카테고리 분류에 대한 패싯 *a*와 패싯 *d* 간의 특이도 차이 값의 범위는 `[-1, +1]`입니다. 연속형 레이블인 경우에는 이 지표를 사용할 수 없습니다. 서로 다른 SD 값이 의미하는 바는 다음과 같습니다.
+ 양수 값은 패싯 *d*에서의 특이도가 패싯 *a*에서보다 높을 때 얻어집니다. 이는 해당 모델에서 패싯 *d*에 대한 거짓 긍정이 패싯 *a*에 대한 경우보다 적다는 것을 시사합니다. 양수 값은 패싯 *d*에 대한 편향을 나타냅니다.
+ 값이 0에 가까우면 비교 대상인 여러 패싯의 특이도가 비슷하다는 것을 나타냅니다. 이는 모델이 이러한 패싯 모두에서 비슷한 수의 거짓 긍정을 생성하고 있고 편향되지 않았음을 시사합니다.
+ 음수 값은 패싯 *a*에서의 특이도가 패싯 *d*에서보다 높을 때 얻어집니다. 이는 해당 모델에서 패싯 *a*에 대한 거짓 긍정이 패싯 *d*에 대한 경우보다 많다는 것을 시사합니다. 음수 값은 패싯 *a*에 대한 편향을 나타냅니다.
# 재현율 차이(RD)
재현율 차이(RD) 지표는 유리한 패싯 *a*와 불리한 패싯 *d* 사이에 존재하는 모델 재현율의 차이입니다. 이러한 재현율에서의 차이는 편향의 잠재적 형태입니다. 회수율은 참 긍정률(TPR)로서, 이는 모델이 긍정적인 결과를 얻어야 하는 사례를 정확하게 예측해내는 빈도를 측정합니다. 어떤 패싯에 대해 모든 y=1 사례가 y’=1로 정확하게 예측되었다면 해당 패싯에서의 재현율은 완벽합니다. 모델이 제2종 오류로 알려진 거짓 부정을 최소화한다면 재현율은 더욱 올라갑니다. 예를 들어, 서로 다른 두 그룹(패싯 *a* 및 *d*)에서의 대출 적격자 가운데 모델이 정확히 감지한 사람은 몇 명일까요? 만약 패싯 *a*에 대한 대출의 재현율이 높지만 패싯 *d*에 대한 대출의 재현율은 낮다면, 그 차이 값을 통해 패싯 *d*에 속하는 그룹에 대한 이러한 편향을 측정하는 것이 가능합니다.
패싯 *a*와 패싯 *d*에서의 재현율 차이를 구하는 공식:
RD = TPa/(TPa \$1 FNa) - TPd/(TPd \$1 FNd) = TPRa - TPRd
위치:
+ TPa는 패싯 *a*에 대해 예측된 참 긍정입니다.
+ FNa은 패싯 *a*에 대해 예측된 거짓 부정입니다.
+ TPd는 패싯 *d*에 대해 예측된 참 긍정입니다.
+ FNd은 패싯 *d*에 대해 예측된 거짓 부정입니다.
+ TPRa = TPa/(TPa \$1 FNa)은 패싯 *a*에 대한 재현율 또는 해당 참 긍정률입니다.
+ TPRd = TPd/(TPd \$1 FNd)은 패싯 *d*에 대한 재현율 또는 해당 참 긍정률입니다.
예를 들어, 패싯 *a* 및 패싯 *d*에 대한 다음과 같은 혼동 행렬을 살펴봅시다.
유리한 패싯 a에 대한 혼동 행렬
| 클래스 a 예측 | 실제 결과 0 | 실제 결과 1 | 합계 |
| --- | --- | --- | --- |
| 0 | 20 | 5 | 25 |
| 1 | 10 | 65 | 75 |
| 합계 | 30 | 70 | 100 |
불리한 패싯 d에 대한 혼동 행렬
| 클래스 d 예측 | 실제 결과 0 | 실제 결과 1 | 합계 |
| --- | --- | --- | --- |
| 0 | 18 | 7 | 25 |
| 1 | 5 | 20 | 25 |
| 합계 | 23 | 27 | 50 |
재현율 차이의 값은 RD = 65/70 - 20/27 = 0.93 - 0.74 = 0.19이며, 이는 패싯 *d*에 대한 편향을 나타냅니다.
바이너리 분류와 멀티카테고리 분류에 대한 패싯 *a*와 패싯 *d* 간의 재현율 차이 값의 범위는 [-1, \$11]입니다. 연속형 레이블인 경우에는 이 지표를 사용할 수 없습니다.
+ 양수 값은 패싯 *a*에서의 재현율이 패싯 *d*에서보다 높을 때 얻어집니다. 이는 해당 모델에서 패싯 *a*에 대한 참 긍정이 패싯 *d*에 대한 경우보다 많다는 것을 시사하며, 일종의 편향에 해당합니다.
+ 값이 0에 가까우면 비교 대상인 여러 패싯의 재현율이 비슷하다는 것을 나타냅니다. 이는 모델이 이러한 패싯 모두에서 거의 같은 수의 참 긍정을 생성하고 있고 편향되지 않았음을 시사합니다.
+ 음수 값은 패싯 *d*에서의 재현율이 패싯 *a*에서보다 높을 때 얻어집니다. 이는 해당 모델에서 패싯 *d*에 대한 참 긍정이 패싯 *a*에 대한 경우보다 많다는 것을 시사하며, 일종의 편향에 해당합니다.
# 승인율 차이(DAR)
승인율 차이(DAR) 지표는 패싯 *a*와 패싯 *d*에서 관찰된 긍정(TP\$1FP)에 대해 참 긍정(TP) 예측이 가지는 비율의 차이입니다. 이 지표는 모델이 이 두 가지 패싯에서의 승인 건수를 예측해내는 정밀도의 차이를 측정합니다. 정밀도는 적격 후보자로 이루어진 풀에서 해당 모델에 의해 적격하다고 식별되는 후보자의 비율을 측정합니다. 적격 신청자를 예측하기 위한 모델 정밀도가 여러 패싯 간에 차이가 나는 경우, 이는 편향으로 간주되며 DAR은 그 정도를 측정합니다.
패싯 *a*와 패싯 *d* 사이에서 나타나는 승인율 차이를 구하는 공식:
DAR = TPa/(TPa \$1 FPa) - TPd/(TPd \$1 FPd)
위치:
+ TPa는 패싯 *a*에 대해 예측된 참 긍정입니다.
+ FPa는 패싯 *a*에 대해 예측된 거짓 긍정입니다.
+ TPd는 패싯 *d*에 대해 예측된 참 긍정입니다.
+ FPd는 패싯 *d*에 대해 예측된 거짓 긍정입니다.
예를 들어, 모델이 중년층 신청자 70명(패싯 *a*)으로부터 대출 신청을 접수(예측된 긍정적 레이블)했는데 그 중에서 35명만 실제로 승인(관찰된 긍정적 레이블)되었다고 가정해 보겠습니다. 또한 모델이 다른 연령대의 신청자 100명(패싯 *d*)으로부터 대출 신청을 접수(예측된 긍정적 레이블)했는데 그 중에서 40명만 실제로 승인(관찰된 긍정적 레이블)되었다고 가정해 보겠습니다. 이 경우 DAR = 35/70 - 40/100 = 0.10이며, 이는 두 번째 연령대의 대출 적격자(패싯 *d*)에 대한 잠재적 편견이 존재함을 나타냅니다.
바이너리, 멀티카테고리 패싯 및 연속형 레이블에 대한 DAR 값의 범위는 [-1, \$11]입니다.
+ 양수 값은 패싯 *a*의 관찰된 긍정적 결과(적격 신청자)에 대한 예측된 긍정(승인)의 비율이 패싯 *d*에서의 동일한 비율보다 클 때 발생합니다. 이러한 값은 패싯 *d*에서 상대적으로 더 많은 거짓 긍정이 생성됨에 따라 불리한 패싯 *d*에 대한 편향이 존재할 수 있음을 나타냅니다. 해당 비율의 차이가 클수록 명백한 편향은 더욱 심해집니다.
+ 패싯 *a*와 패싯 *d*에 대해 예측된 긍정적 결과(승인)와 관찰된 긍정적 결과(적격 신청자)의 상대적 비율이 비슷한 값을 가질 때 0에 가까운 값이 얻어집니다.이는 긍정적 결과에 대한 관찰된 레이블이 해당 모델에 의해 동일한 정밀도로 예측되고 있음을 나타냅니다.
+ 음수 값은 패싯 *d*의 관찰된 긍정적 결과(적격 신청자)에 대한 예측된 긍정(승인)의 비율이 패싯 *a*에서의 비율보다 클 때 발생합니다. 이러한 값은 패싯 *a*에서 상대적으로 더 많은 거짓 긍정이 생성됨에 따라 유리한 패싯 *a*에 대한 편향이 존재할 수 있음을 나타냅니다. 해당 비율에서의 차이가 부정적일수록 명백한 편향은 더욱 심해집니다.
# 거부율 차이(DRR)
거부율 차이(DRR) 지표는 패싯 *a*와 패싯 *d*에서 관찰된 부정(TN\$1FN)에 대해 참 부정(TN) 예측이 가지는 비율의 차이입니다. 이 지표는 모델이 이 두 가지 패싯에서의 거부 건수를 예측해내는 정밀도의 차이를 측정합니다. 정밀도는 부적격 후보자로 이루어진 풀에서 해당 모델에 의해 부적격하다고 식별되는 후보자의 비율을 측정합니다. 부적격 신청자를 예측하기 위한 모델 정밀도가 여러 패싯 간에 차이가 나는 경우, 이는 편향으로 간주되며 DRR은 그 정도를 측정합니다.
패싯 *a*와 패싯 *d* 사이에서 나타나는 거부율 차이를 구하는 공식:
DRR = TNd/(TNd \$1 FNd) - TNa/(TNa \$1 FNa)
앞선 DRR 방정식의 구성 요소는 다음과 같습니다.
+ TNd은 패싯 *d*에 대해 예측된 참 부정입니다.
+ FNd은 패싯 *d*에 대해 예측된 거짓 부정입니다.
+ TPa는 패싯 *a*에 대해 예측된 참 부정입니다.
+ FNa은 패싯 *a*에 대해 예측된 거짓 부정입니다.
예를 들어, 모델이 중년층 신청자 100명(패싯 *a*)의 대출 신청을 거부(예측된 부정적 레이블)했는데 그 중에서 80명만 실제로 부적격 판정(관찰된 부정적 레이블)되었다고 가정해 보겠습니다. 또한 모델이 다른 연령대의 신청자 50명(패싯 *d*)의 대출 신청을 거부(예측된 부정적 레이블)했는데 그 중에서 40명만 실제로 부적격 판정(관찰된 부정적 레이블)되었다고 가정해 보겠습니다. 이 경우 DRR = 40/50 - 80/100 = 0이므로 편향이 나타나지 않습니다.
바이너리, 멀티카테고리 패싯 및 연속형 레이블에 대한 DRR 값의 범위는 [-1, \$11]입니다.
+ 양수 값은 패싯 *d*의 관찰된 부정적 결과(부적격 신청자)에 대한 예측된 부정(거부)의 비율이 패싯 *a*에서의 동일한 비율보다 클 때 발생합니다. 이러한 값은 패싯 *a*에서 상대적으로 더 많은 거짓 부정이 생성됨에 따라 유리한 패싯 *a*에 대한 편향이 존재할 수 있음을 나타냅니다. 해당 비율의 차이가 클수록 명백한 편향은 더욱 심해집니다.
+ 패싯 *a*와 패싯 *d*에 대해 예측된 부정적 결과(거부)와 관찰된 부정적 결과(부적격 신청자)의 상대적 비율이 비슷한 값을 가질 때 0에 가까운 값이 얻어집니다.이는 부정적 결과에 대한 관찰된 레이블이 해당 모델에 의해 동일한 정밀도로 예측되고 있음을 나타냅니다.
+ 음수 값은 패싯 *a*의 관찰된 부정적 결과(부적격 신청자)에 대한 예측된 부정(거부)의 비율이 패싯 *d*에서의 비율보다 클 때 발생합니다. 이러한 값은 패싯 *d*에서 상대적으로 더 많은 거짓 긍정이 생성됨에 따라 불리한 패싯 *d*에 대한 편향이 존재할 수 있음을 나타냅니다. 해당 비율에서의 차이가 부정적일수록 명백한 편향은 더욱 심해집니다.
# 정확도 차이(AD)
정확도 차이(AD) 지표는 여러 패싯에서의 예측의 정확도 간의 차이입니다. 이 지표는 한 패싯에서의 모델에 의한 분류가 다른 패싯에서보다 더 정확한지 여부를 결정합니다. AD는 한 패싯에서 제1종 오류와 제2종 오류가 더 많이 발생하는지 여부를 나타냅니다. 하지만 제1종 오류와 제2종 오류를 구분할 수는 없습니다. 예를 들어, 모델의 정확도는 서로 다른 연령대에서 동일하게 나타나는데, 한 연령대 집단에서는 대부분 거짓 긍정(제1종 오류)이고 다른 연령대 인구 집단에서는 대부분 거짓 부정(제2종 오류)인 오류가 발생할 수 있습니다.
또한, 만약 중년층 인구 집단(패싯 *a*)에 대한 대출 승인이 다른 연령대 인구 집단(패싯 *d*)에 비해 훨씬 높은 정확도로 이루어졌다면, 두 번째 집단의 적격 신청자 가운데 상당수가 대출이 거부되었거나(FN) 또는 해당 집단의 부적격 신청자 가운데 상당수가 대출을 승인받았거나(FP), 또는 둘 다에 해당됩니다. 이 때문에 두 연령대 집단에 대해 제공된 대출의 비율이 거의 동일한 경우에서도 두 번째 집단에 대한 집단 내 불공정이 야기될 수 있으며, 이러한 상황은 0에 가까운 DPPL 값으로 나타납니다.
AD 지표를 구하는 공식은 패싯 *a*에서의 예측 정확도(ACCa)에서 패싯 *d*에서의 예측 정확도(ACCd)를 빼는 것입니다.
AD = ACCa - ACCd
위치:
+ ACCa = (TPa \$1 TNa)/(TPa \$1 TNa \$1 FPa \$1 FNa)
+ TPa는 패싯 *a*에 대해 예측된 참 긍정입니다.
+ TNa은 패싯 *a*에 대해 예측된 참 부정입니다.
+ FPa는 패싯 *a*에 대해 예측된 거짓 긍정입니다.
+ FNa은 패싯 *a*에 대해 예측된 거짓 부정입니다.
+ ACCd = (TPd \$1 TNd)/(TPd \$1 TNd \$1 FPd \$1 FNd)
+ TPd는 패싯 *d*에 대해 예측된 참 긍정입니다.
+ TNd은 패싯 *d*에 대해 예측된 참 부정입니다.
+ FPd는 패싯 *d*에 대해 예측된 거짓 긍정입니다.
+ FNd은 패싯 *d*에 대해 예측된 거짓 부정입니다.
예를 들어, 어떤 모델이 신청자 100명의 패싯 *a*에서 70건의 대출 신청을 승인하고 나머지 30건은 거부했다고 가정해 보겠습니다.10건은 대출을 제공받지 않았어야 했고(FPa), 60건은 올바르게 승인되었습니다(TPa).거부 사례 중 20건은 승인되었어야 했고(FNa), 10건은 올바르게 거부되었습니다(TNa). 패싯 *a*에서의 정확도는 다음과 같습니다.
ACCa = (60 \$1 10)/(60 \$1 10 \$1 20 \$1 10) = 0.7
다음으로, 어떤 모델이 신청자 100명의 패싯 *d*에서 50건의 대출 신청을 승인하고 나머지 50건은 거부했다고 가정해 보겠습니다.10건은 대출을 제공받지 않았어야 했고(FPa), 40건은 올바르게 승인되었습니다(TPa).거부 사례 중 40건은 승인되었어야 했고(FNa), 10건은 올바르게 거부되었습니다(TNa). 패싯 *a*에서의 정확도는 다음과 같이 결정됩니다.
ACCd= (40 \$1 10)/(40 \$1 10 \$1 40 \$1 10) = 0.5
따라서 정확도 차이는 AD = ACCa - ACCd = 0.7 - 0.5 = 0.2가 됩니다. 이는 지표가 양수이므로 패싯 *d*에 대한 편향이 존재한다는 것을 나타냅니다.
바이너리 및 멀티카테고리 패싯 레이블에 대한 AD 값의 범위는 [-1, \$11]입니다.
+ 패싯 *a*에 대한 예측 정확도가 패싯 *d*에 대한 예측 정확도보다 높을 때 양수 값이 얻어집니다. 이는 패싯 *d*가 거짓 긍정(제1종 오류) 또는 거짓 부정(제2종 오류)의 일정한 조합으로 인해 비교적 많은 영향을 받고 있음을 나타냅니다. 이는 불리한 패싯 *d*에 대해 잠재적 편향이 발생하고 있음을 의미합니다.
+ 패싯 *a*에 대한 예측 정확도가 패싯 *d*에 대한 예측 정확도와 비슷할 때 0에 가까운 값이 얻어집니다.
+ 패싯 *d*에 대한 예측 정확도가 패싯 *a*에 대한 예측 정확도보다 높을 때 음수 값이 얻어집니다. 이는 패싯 *a*가 거짓 긍정(제1종 오류) 또는 거짓 부정(제2종 오류)의 일정한 조합으로 인해 비교적 많은 영향을 받고 있음을 나타냅니다. 이는 유리한 패싯 *a*에 대해 편향이 발생할 수 있음을 의미합니다.
# 대우 평등(TE)
대우 평등(TE)은 패싯* a*와 패싯 *d* 사이에서 나타나는 거짓 부정 대 거짓 긍정 비율의 차이입니다. 이 지표의 핵심 개념은 여러 그룹 간의 정확도가 동일하더라도 오류 발생 시 다른 그룹에 비해 특정 그룹에 더 많은 피해가 발생하는지 여부를 평가하는 것입니다. 오류율은 거짓 긍정과 거짓 부정의 합계를 통해 계산되지만, 두 종류의 오류를 자세히 살펴보면 패싯에 따라 매우 다른 양상이 나타날 수 있습니다. TE는 여러 패싯에서 오류가 유사한 방식으로 보정되는지 아니면 다른 방식으로 보정되는지를 측정합니다.
대우 평등을 구하는 공식:
TE = FNd/FPd - FNa/FPa
위치:
+ FNd은 패싯 *d*에 대해 예측된 거짓 부정입니다.
+ FPd는 패싯 *d*에 대해 예측된 거짓 긍정입니다.
+ FNa은 패싯 *a*에 대해 예측된 거짓 부정입니다.
+ FPa는 패싯 *a*에 대해 예측된 거짓 긍정입니다.
참고로 FPa 또는 FPd가 0이면 지표에 제한이 없습니다.
예를 들어, 패싯 *a*에는 100명의 대출 신청자가 있고 패싯 *d*에는 50명의 대출 신청자가 있다고 가정해 보겠습니다. 패싯 *a*에서는 8건의 대출이 잘못 거부되었고(FNa), 다른 6건은 잘못 승인되었습니다(FPa). 나머지 예측은 참이었으므로, TPa \$1 TNa = 86이 됩니다. 패싯 *d*에서는 5건의 대출이 잘못 거부되었고(FNd), 2건은 잘못 승인되었습니다(FPd). 나머지 예측은 참이었으므로, TPd \$1 TNd = 43이 됩니다. 거짓 부정 대 거짓 긍정의 비율은 패싯 *a*의 경우 8/6 = 1.33이고 패싯 *d*의 경우 5/2 = 2.5입니다. 따라서 두 패싯의 정확도가 같더라도 TE = 2.5 - 1.33 = 1.167이 됩니다.
ACCa = (86)/(86\$1 8 \$1 6) = 0.86
ACCd = (43)/(43 \$1 5 \$1 2) = 0.86
바이너리 및 멀티카테고리 패싯 레이블에 대한 조건부 거부 건수 차이의 값 범위는 (-∞, \$1∞)입니다. 연속형 레이블에 대해서는 TE 지표가 정의되지 않습니다. 이 지표의 해석은 거짓 긍정(제1종 오류)과 거짓 부정(제2종 오류) 사례의 상대적 중요도에 따라 달라집니다.
+ 양수 값은 패싯 *d*에 대한 거짓 부정과 거짓 긍정의 비율이 패싯 *a*에서의 비율보다 클 때 얻어집니다.
+ 0에 가까운 값은 패싯 *a*에 대한 거짓 부정과 거짓 긍정의 비율이 패싯 *d*에서의 비율과 비슷한 수준일 때 얻어집니다.
+ 음수 값은 패싯 *d*에 대한 거짓 부정과 거짓 긍정의 비율이 패싯 *a*에서의 비율보다 작을 때 얻어집니다.
**참고**
이전 버전에서는 대우 평등 지표가 FNd / FPd - FNa / FPa가 아닌 FPa / FNa - FPd / FNd으로서 계산된다고 나와 있습니다. 두 버전 모두 사용이 가능합니다. 자세한 내용은 [https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf) 단원을 참조하십시오.
# 예측된 레이블의 조건부 인구통계학적 차이(CDDPL)
예측된 레이블의 인구통계학적 차이(DDPL) 지표는 패싯 *d*에서 예측된 거부 레이블의 비중이 예측된 승인 레이블에 비해 더 큰지 여부를 결정합니다. 이를 통해 여러 패싯에 걸쳐 예측된 거부 비율과 예측된 승인 비율의 차이를 비교할 수 있습니다. 이 지표는 관찰된 레이블 대신 예측된 레이블을 기준으로 계산된다는 점을 제외하면 훈련 전 CDD 지표와 정확히 동일합니다. 이 지표의 범위는 (-1, \$11)입니다.
패싯 *d*의 예측된 레이블에서의 인구통계학적 차이를 구하는 공식은 다음과 같습니다.
DDPLd = n'd(0)/n'(0) - n'd(1)/n'(1) = PdR(y'0) - PdA(y'1)
위치:
+ n'(0) = n'a(0) \$1 n'd(0)은 패싯 *a*와 패싯 *d*에 대해 예측된 거부 레이블의 수입니다.
+ n'(1) = n'a(1) \$1 n'd(1)은 패싯 *a*와 패싯 *d*에 대해 예측된 승인 레이블의 수입니다.
+ PdR(y'0)은 패싯 *d*에서 예측된 거부 레이블(값 0)의 비율입니다.
+ PdA(y'1)은 패싯 *d*에서 예측된 승인 레이블(값 1)의 비율입니다.
심슨의 역설을 배제할 수 있으려면 데이터세트 상의 부분군 계층을 정의하는 속성에 대해 DDPL 조건을 부여하는 예측된 레이블의 조건부 인구통계학적 차이(CDDPL) 지표가 필요합니다. 재군집화를 적용하며 덜 유리한 패싯에 대한 명백한 인구통계학적 차이의 원인을 파악하는 것이 가능해집니다. 한때 버클리대학교 입시에서 남성이 여성보다 전반적으로 더 높은 비율로 합격했던 것이 전형적인 사례입니다. 그러나 학과별 부분군을 조사하자, 학과별로 여성이 남성보다 입학률이 더 높은 것으로 나타났습니다. 여성이 남성보다 상대적으로 경쟁률이 낮은 학과에 지원했다는 것이 이에 대한 설명이었습니다. 부분군별로 경쟁률을 살펴본 결과 실제로 경쟁률이 낮은 학과에서 여성이 남성보다 더 높은 비율로 합격했던 것으로 나타났습니다.
CDDPL 지표는 데이터세트의 속성에 의해 정의된 부분군에서 확인된 모든 차이를 평균화함으로써 단일 측정값을 제공합니다. 이 값은 각 부분군에 대한 예측된 레이블의 인구통계학적 차이의 가중 평균치(DDPLi)로서 정의되며, 여기서 각 부분군 차이에 대한 가중치는 포함하고 있는 관측치의 수에 따라 비례적으로 부여됩니다. 예측된 레이블에서의 조건부 인구통계학적 차이를 구하는 공식은 다음과 같습니다.
CDDPL = (1/n)\$1∑ini \$1DDPLi
위치:
+ ∑ini = n은 총 관측치의 수에 해당하고 ni은 각 부분군에 대한 관측치 수입니다.
+ DDPLi = n'i(0)/n(0) - n'i(1)/n(1) = PiR(y'0) - PiA(y'1)은 부분군에 대한 예측된 레이블의 인구통계학적 차이입니다.
따라서 부분군에 대한 예측된 레이브의 인구통계학적 차이(DDPLi)는 각 부분군에서 예측된 불합격 레이블의 비율과 예측된 합격 레이블의 비율 간에 나타나는 차이입니다.
바이너리, 멀티카테고리, 연속형 결과에 대한 DDPL 값의 범위는 [-1,\$11]입니다.
+ \$11: 패싯 *a* 또는 부분군에는 예측된 불합격 레이블이 없고 패싯 *d* 또는 부분군에는 예측된 합격자가 없는 경우.
+ 양수 값은 패싯 *d* 또는 부분군에서는 예측된 불합격 레이블의 비율이 예측된 합격 레이블의 비율보다 크기 때문에 예측된 레이블에 인구통계학적 차이가 존재함을 나타냅니다. 값이 높을수록 차이의 수준이 커집니다.
+ 값이 0에 가까우면 평균적으로 인구통계학적 차이가 없음을 나타냅니다.
+ 양수 값은 패싯 *a* 또는 부분군에서는 예측된 불합격 레이블의 비율이 예측된 합격 레이블의 비율보다 크기 때문에 예측된 레이블에 인구통계학적 차이가 존재함을 나타냅니다. 값이 낮을수록 차이의 수준이 커집니다.
+ -1: 패싯 *d* 또는 부분군에는 예측된 불합격 레이블이 없고 패싯 *a* 또는 부분군에는 예측된 합격자가 없는 경우.
# 반사실적 플립테스트(FT)
플립테스트는 패싯 *d*의 각 멤버를 살펴보고 패싯 *a*의 유사한 멤버들이 서로 다른 모델 예측을 갖는지 여부를 평가하는 접근 방식입니다. 패싯 *a*의 멤버들은 패싯 *d*에서 얻은 관측치의 k-최근접 이웃으로 선택됩니다. 반대 그룹에서 서로 다른 예측값을 받는 최근접 이웃이 얼마나 되는지 평가합니다.이때 뒤집힌 예측값은 양수에서 음수로 바뀔 수 있으며, 그 반대의 경우도 가능합니다.
반사실적 플립테스트의 공식은 두 집합의 카디널리티 차이를 패싯 *d*의 멤버 수로 나눈 값입니다.
FT = (F\$1 - F-)/nd
위치:
+ F \$1 =는 유리한 패싯 *a*의 가장 가까운 이웃이 유리한 결과를 얻은 불리한 결과를 가진 불리한 파셋 *d* 멤버의 수입니다.
+ F- =는 유리한 파셋 *a*의 가장 가까운 이웃이 불리한 결과를 얻은 유리한 결과를 가진 불리한 파셋 *d* 멤버의 수입니다.
+ nd은 파셋 *d*의 샘플 크기입니다.
바이너리 및 다중 카테고리 패싯 레이블의 반사실적 플립테스트 값 범위는 [-1, \$11] 입니다. 연속 레이블의 경우 레이블을 이진수로 축소하도록 임계값을 설정합니다.
+ 양수 값은 불리한 패싯 *d*에 대한 불리한 반사실적 플립테스트 결정 수가 유리한 결정을 초과할 때 발생합니다.
+ 불리한 반사실적 플립테스트 결정 수와 유리한 반사실적 결정의 수가 균형을 이룰 때 값이 0에 가까워집니다.
+ 음수 값은 불리한 패싯 *d*에 대한 불리한 반사실적 플립테스트 결정 수가 유리한 결정보다 적을 때 발생합니다.
# 일반화 엔트로피(GE)
일반화 엔트로피 지수(GE)는 관찰된 레이블 대비 예측된 레이블에 대한 편익 불평등 `b`를 비교하여 측정합니다. False Positive가 예측되면 편익이 발생합니다. False Positive는 음의 관찰치(y=0)가 양의 예측치(y'=1)를 가질 때 발생합니다. 관찰된 레이블과 예측된 레이블이 같을 때도 편익이 발생하며, 이를 True positive 및 True negative라고도 합니다. False Negative가 예측되면 편익이 발생하지 않습니다. 양수 관측치(y=1)가 부정적인 결과(y'=0)를 초래할 것으로 예측될 때 False Negative가 발생합니다. 편익 `b`는 다음과 같이 정의됩니다.
```
b = y' - y + 1
```
이 정의를 사용하면 False Positive는 `b`의 편익 `2`를 받고, False Negative는 `0`의 편익을 받습니다. True positive와 True negative 모두 `1`의 편익을 받습니다.
GE 지표는 가중치 `alpha`가 `2`로 설정된 [일반화 엔트로피 지수](https://en.wikipedia.org/wiki/Generalized_entropy_index)(GE)에 따라 계산됩니다. 이 가중치는 다양한 편익 값에 대한 민감도를 제어합니다. `alpha`가 작을수록 더 작은 값에도 민감도가 높아집니다.
![\[알파 파라미터가 2로 설정된 일반화 엔트로피 지수를 정의하는 방정식.\]](http://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/images/clarify-post-training-bias-metric-ge.png)
GE를 계산하는 데 사용되는 다음 변수는 다음과 같이 정의됩니다.
+ bi는 `ith`데이터 포인트가 받는 편익입니다.
+ b'는 모든 편익의 평균입니다.
GE의 범위는 0에서 0.5까지입니다.여기서 값이 0이면 모든 데이터 포인트에서 편익이 불평등하지 않음을 나타냅니다. 이는 모든 입력이 올바르게 예측되거나 모든 예측이 False Positive인 경우에 발생합니다. 모든 예측이 False Negative이면 GE는 정의되지 않습니다.
**참고**
지표 GE는 패싯 값이 유리한가 불리한가에 달려있지 않습니다.