Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Data Pasca Pelatihan dan Bias Model Analisis bias pasca-pelatihan dapat membantu mengungkapkan bias yang mungkin berasal dari bias dalam data, atau dari bias yang diperkenalkan oleh algoritma klasifikasi dan prediksi. Analisis ini mempertimbangkan data, termasuk label, dan prediksi model. Anda menilai kinerja dengan menganalisis label yang diprediksi atau dengan membandingkan prediksi dengan nilai target yang diamati dalam data sehubungan dengan kelompok dengan atribut yang berbeda. Ada pengertian keadilan yang berbeda, masing-masing membutuhkan metrik bias yang berbeda untuk diukur. Ada konsep hukum keadilan yang mungkin tidak mudah ditangkap karena sulit dideteksi. Misalnya, konsep AS tentang dampak berbeda yang terjadi ketika suatu kelompok, yang disebut sebagai aspek yang kurang disukai *d*, mengalami efek buruk bahkan ketika pendekatan yang diambil tampaknya adil. Jenis bias ini mungkin bukan karena model pembelajaran mesin, tetapi mungkin masih dapat dideteksi dengan analisis bias pasca-pelatihan. Amazon SageMaker Clarify mencoba memastikan penggunaan terminologi yang konsisten. Untuk daftar istilah dan definisinya, lihat[Amazon SageMaker Klarifikasi Persyaratan untuk Bias dan Keadilan](clarify-detect-data-bias.md#clarify-bias-and-fairness-terms). Untuk informasi tambahan tentang metrik bias pasca-pelatihan, lihat [Pelajari Cara Amazon SageMaker Memperjelas Membantu Mendeteksi Pengukuran Bias](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/) [dan Keadilan untuk Machine Learning](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf) in Finance. . # Data Pasca-pelatihan dan Metrik Bias Model Amazon SageMaker Clarify menyediakan sebelas data pasca-pelatihan dan metrik bias model untuk membantu mengukur berbagai konsepsi keadilan. Konsep-konsep ini tidak dapat dipenuhi secara bersamaan dan seleksi tergantung pada spesifik kasus yang melibatkan bias potensial yang dianalisis. Sebagian besar metrik ini adalah kombinasi dari angka-angka yang diambil dari matriks kebingungan klasifikasi biner untuk kelompok demografis yang berbeda. Karena keadilan dan bias dapat didefinisikan oleh berbagai metrik, penilaian manusia diperlukan untuk memahami dan memilih metrik mana yang relevan dengan kasus penggunaan individu, dan pelanggan harus berkonsultasi dengan pemangku kepentingan yang tepat untuk menentukan ukuran keadilan yang tepat untuk aplikasi mereka. Kami menggunakan notasi berikut untuk membahas metrik bias. Model konseptual yang dijelaskan di sini adalah untuk klasifikasi biner, di mana peristiwa diberi label hanya memiliki dua kemungkinan hasil dalam ruang sampelnya, disebut sebagai positif (dengan nilai 1) dan negatif (dengan nilai 0). Kerangka kerja ini biasanya dapat diperluas ke klasifikasi multikategori secara langsung atau untuk kasus-kasus yang melibatkan hasil bernilai berkelanjutan bila diperlukan. *Dalam kasus klasifikasi biner, label positif dan negatif ditetapkan ke hasil yang dicatat dalam kumpulan data mentah untuk aspek yang disukai *a dan untuk aspek yang* tidak disukai d.* Label y ini disebut sebagai *label yang diamati* untuk membedakannya dari *label yang diprediksi* y' yang ditetapkan oleh model pembelajaran mesin selama tahap pelatihan atau kesimpulan dari siklus hidup ML. Label ini digunakan untuk menentukan distribusi probabilitas P a (y) dan P d (y) untuk hasil faset masing-masing. + label: + y mewakili n label yang diamati untuk hasil peristiwa dalam kumpulan data pelatihan. + y' mewakili label yang diprediksi untuk n label yang diamati dalam kumpulan data oleh model terlatih. + hasil: + Hasil positif (dengan nilai 1) untuk sampel, seperti penerimaan aplikasi. + n (1) adalah jumlah label yang diamati untuk hasil positif (penerimaan). + n' (1) adalah jumlah label yang diprediksi untuk hasil positif (penerimaan). + Hasil negatif (dengan nilai 0) untuk sampel, seperti penolakan aplikasi. + n (0) adalah jumlah label yang diamati untuk hasil negatif (penolakan). + n' (0) adalah jumlah label yang diprediksi untuk hasil negatif (penolakan). + nilai faset: + facet *a* - Nilai fitur yang mendefinisikan demografis yang disukai bias. + *n a adalah jumlah label yang diamati untuk nilai faset yang disukai: n a = n a (1) \$1 n a (0) jumlah label yang diamati positif dan negatif untuk aspek nilai a.* + *n' a adalah jumlah label yang diprediksi untuk nilai faset yang disukai: n' a = n' a (1) \$1 n' a (0) jumlah label hasil prediksi positif dan negatif untuk nilai faset a.* Perhatikan bahwa n' a = na. + facet *d* — Nilai fitur yang mendefinisikan demografis yang bias tidak disukai. + *n d adalah jumlah label yang diamati untuk nilai faset yang tidak disukai: n d = n d (1) \$1 n d (0) jumlah label yang diamati positif dan negatif untuk nilai faset d.* + *n' d adalah jumlah label yang diprediksi untuk nilai faset yang tidak disukai: n' d = n' d (1) \$1 n' d (0) jumlah label prediksi positif dan negatif untuk nilai faset d.* Perhatikan bahwa n' d = nd. + distribusi probabilitas untuk hasil dari hasil data facet berlabel: + P a (y) adalah distribusi probabilitas dari label yang diamati untuk faset *a*. Untuk data berlabel biner, distribusi ini diberikan oleh rasio jumlah sampel dalam faset *a* berlabel dengan hasil positif terhadap jumlah total, P a (y 1) = n a (1)/na, dan rasio jumlah sampel dengan hasil negatif terhadap jumlah total, P a (y 0) = n a (0)/n. a + P d (y) adalah distribusi probabilitas dari label yang diamati untuk faset *d*. Untuk data berlabel biner, distribusi ini diberikan oleh jumlah sampel dalam segi *d* berlabel hasil positif terhadap jumlah total, P d (y 1) = n d (1)/nd, dan rasio jumlah sampel dengan hasil negatif terhadap jumlah total, P d (y 0) = n d (0)/n. d Tabel berikut berisi lembar contekan untuk panduan cepat dan tautan ke metrik bias pasca-pelatihan. Metrik bias pasca-pelatihan | Metrik bias pasca-pelatihan | Deskripsi | Contoh pertanyaan | Menafsirkan nilai metrik | | --- | --- | --- | --- | | [Perbedaan Proporsi Positif pada Label Prediksi (DPPL)](clarify-post-training-bias-metric-dppl.md) | Mengukur perbedaan proporsi prediksi positif antara aspek yang disukai a dan aspek yang tidak disukai d. | Apakah ada ketidakseimbangan antar kelompok demografis dalam hasil positif yang diprediksi yang mungkin mengindikasikan bias? | Rentang untuk label aspek biner & multikategori yang dinormalisasi: `[-1,+1]` Rentang untuk label kontinu: (-∞, \$1∞) Interpretasi: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Dampak Berbeda (DI)](clarify-post-training-bias-metric-di.md) | Mengukur rasio proporsi label yang diprediksi untuk aspek yang disukai a dan aspek yang tidak disukai d. | Apakah ada ketidakseimbangan antar kelompok demografis dalam hasil positif yang diprediksi yang mungkin mengindikasikan bias? | Rentang untuk biner dinormalisasi, aspek multikategori, dan label kontinu: [0, ∞) Interpretasi: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Disparitas Demografis Bersyarat dalam Label yang Diprediksi (CDDPL)](clarify-post-training-bias-metric-cddpl.md) | Mengukur perbedaan label yang diprediksi antara aspek secara keseluruhan, tetapi juga oleh subkelompok. | Apakah beberapa kelompok demografis memiliki proporsi penolakan yang lebih besar untuk hasil aplikasi pinjaman daripada proporsi penerimaan mereka? | Kisaran nilai CDDPL untuk hasil biner, multikategori, dan berkelanjutan: `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Fliptest Kontrafaktual (FT)](clarify-post-training-bias-metric-ft.md) | Memeriksa setiap anggota faset d dan menilai apakah anggota yang serupa dari segi a memiliki prediksi model yang berbeda. | Apakah satu kelompok demografi usia tertentu cocok dengan semua fitur dengan kelompok usia yang berbeda, namun dibayar lebih rata-rata? | Rentang untuk label facet biner dan multikategori adalah. [-1, \$11] [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Perbedaan Akurasi (AD)](clarify-post-training-bias-metric-ad.md) | Mengukur perbedaan antara akurasi prediksi untuk aspek yang disukai dan yang tidak disukai. | Apakah model memprediksi label secara akurat untuk aplikasi di semua kelompok demografis? | Rentang untuk label facet biner dan multikategori adalah. [-1, \$11][\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Ingat Perbedaan (RD)](clarify-post-training-bias-metric-rd.md) | Membandingkan penarikan kembali model untuk aspek yang disukai dan tidak disukai. | Apakah ada bias berbasis usia dalam pinjaman karena model yang memiliki daya ingat yang lebih tinggi untuk satu kelompok usia dibandingkan dengan yang lain? | Rentang untuk klasifikasi biner dan multikategori:. `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Perbedaan Penerimaan Bersyarat () DCAcc](clarify-post-training-bias-metric-dcacc.md) | Membandingkan label yang diamati dengan label yang diprediksi oleh model. Menilai apakah ini sama di seluruh aspek untuk hasil positif yang diprediksi (penerimaan). | Ketika membandingkan satu kelompok usia dengan yang lain, apakah pinjaman diterima lebih sering, atau lebih jarang dari yang diperkirakan (berdasarkan kualifikasi)? | Rentang untuk biner, aspek multikategori, dan label kontinu: (-∞, \$1∞). [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Perbedaan Tingkat Penerimaan (DAR)](clarify-post-training-bias-metric-dar.md) | Mengukur perbedaan rasio hasil positif yang diamati (TP) dengan positif yang diprediksi (TP \$1 FP) antara aspek yang disukai dan yang tidak disukai. | Apakah model memiliki presisi yang sama ketika memprediksi penerimaan pinjaman untuk pelamar yang memenuhi syarat di semua kelompok umur? | Rentang untuk biner, aspek multikategori, dan label kontinu adalah. [-1, \$11][\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Perbedaan spesifisitas (SD)](clarify-post-training-bias-metric-sd.md) | Membandingkan kekhususan model antara aspek yang disukai dan yang tidak disukai. | Apakah ada bias berbasis usia dalam pinjaman karena model memprediksi spesifisitas yang lebih tinggi untuk satu kelompok umur dibandingkan dengan yang lain? | Rentang untuk klasifikasi biner dan multikategori:. `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Perbedaan Penolakan Bersyarat (DCR)](clarify-post-training-bias-metric-dcr.md) | Membandingkan label yang diamati dengan label yang diprediksi oleh model dan menilai apakah ini sama di seluruh aspek untuk hasil negatif (penolakan). | Apakah ada lebih banyak atau lebih sedikit penolakan untuk aplikasi pinjaman daripada yang diperkirakan untuk satu kelompok umur dibandingkan dengan yang lain berdasarkan kualifikasi? | Rentang untuk biner, aspek multikategori, dan label kontinu: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Perbedaan Tingkat Penolakan (DRR)](clarify-post-training-bias-metric-drr.md) | Mengukur perbedaan rasio hasil negatif yang diamati (TN) dengan negatif yang diprediksi (TN\$1FN) antara aspek yang tidak disukai dan disukai. | Apakah model memiliki presisi yang sama ketika memprediksi penolakan pinjaman untuk pelamar yang tidak memenuhi syarat di semua kelompok umur? | Rentang untuk biner, aspek multikategori, dan label kontinu adalah. [-1, \$11][\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Kesetaraan Perawatan (TE)](clarify-post-training-bias-metric-te.md) | Mengukur perbedaan rasio positif palsu dengan negatif palsu antara aspek yang disukai dan yang tidak disukai. | Dalam aplikasi pinjaman, apakah rasio relatif positif palsu terhadap negatif palsu sama di semua demografi usia? | Rentang untuk label faset biner dan multikategori: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Entropi umum (GE)](clarify-post-training-bias-metric-ge.md) | Mengukur ketidaksetaraan manfaat yang b diberikan untuk setiap input oleh prediksi model. | Dari dua model kandidat untuk klasifikasi aplikasi pinjaman, apakah yang satu mengarah pada distribusi hasil yang diinginkan yang lebih tidak merata daripada yang lain? | Rentang untuk label biner dan multikategori: (0, 0,5). GE tidak terdefinisi ketika model hanya memprediksi negatif palsu.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | Untuk informasi tambahan tentang metrik bias pasca-pelatihan, lihat [A Family of Fairness Measures for Machine Learning](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf) in Finance. **Topics** + [Perbedaan Proporsi Positif pada Label Prediksi (DPPL)](clarify-post-training-bias-metric-dppl.md) + [Dampak Berbeda (DI)](clarify-post-training-bias-metric-di.md) + [Perbedaan Penerimaan Bersyarat () DCAcc](clarify-post-training-bias-metric-dcacc.md) + [Perbedaan Penolakan Bersyarat (DCR)](clarify-post-training-bias-metric-dcr.md) + [Perbedaan spesifisitas (SD)](clarify-post-training-bias-metric-sd.md) + [Ingat Perbedaan (RD)](clarify-post-training-bias-metric-rd.md) + [Perbedaan Tingkat Penerimaan (DAR)](clarify-post-training-bias-metric-dar.md) + [Perbedaan Tingkat Penolakan (DRR)](clarify-post-training-bias-metric-drr.md) + [Perbedaan Akurasi (AD)](clarify-post-training-bias-metric-ad.md) + [Kesetaraan Perawatan (TE)](clarify-post-training-bias-metric-te.md) + [Disparitas Demografis Bersyarat dalam Label yang Diprediksi (CDDPL)](clarify-post-training-bias-metric-cddpl.md) + [Fliptest Kontrafaktual (FT)](clarify-post-training-bias-metric-ft.md) + [Entropi umum (GE)](clarify-post-training-bias-metric-ge.md) # Perbedaan Proporsi Positif pada Label Prediksi (DPPL) Perbedaan proporsi positif dalam metrik label prediksi (DPPL) menentukan apakah model memprediksi hasil secara berbeda untuk setiap aspek. *Ini didefinisikan sebagai perbedaan antara proporsi prediksi positif (y' = 1) untuk segi *a* dan proporsi prediksi positif (y' = 1) untuk segi d.* *Misalnya, jika prediksi model memberikan pinjaman kepada 60% dari kelompok paruh baya (aspek *a*) dan 50% kelompok usia lainnya (segi *d), itu mungkin bias terhadap aspek d*.* Dalam contoh ini, Anda harus menentukan apakah perbedaan 10% material untuk kasus bias. Perbandingan perbedaan proporsi label (DPL), ukuran bias pra-pelatihan, dengan DPPL, ukuran bias pasca-pelatihan, menilai apakah bias dalam proporsi positif yang awalnya ada dalam dataset berubah setelah pelatihan. Jika DPPL lebih besar dari DPL, maka bias dalam proporsi positif meningkat setelah pelatihan. Jika DPPL lebih kecil dari DPL, model tidak meningkatkan bias dalam proporsi positif setelah pelatihan. Membandingkan DPL terhadap DPPL tidak menjamin bahwa model mengurangi bias di sepanjang semua dimensi. Misalnya, model mungkin masih bias saat mempertimbangkan metrik lain seperti [Fliptest Kontrafaktual (FT)](clarify-post-training-bias-metric-ft.md) atau. [Perbedaan Akurasi (AD)](clarify-post-training-bias-metric-ad.md) Untuk informasi selengkapnya tentang deteksi bias, lihat posting blog [Pelajari cara Amazon SageMaker Clarify membantu mendeteksi bias](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/). Lihat [Perbedaan Proporsi Label (DPL)](clarify-data-bias-metric-true-label-imbalance.md) untuk informasi lebih lanjut tentang DPL. Rumus untuk DPPL adalah:         DPPL = q' - q' a d Di mana: + q' a = n' a (1) /n a adalah proporsi prediksi dari segi *a* yang mendapatkan hasil positif dari nilai 1. Dalam contoh kami, proporsi aspek paruh baya diprediksi akan diberikan pinjaman. *Di sini n' a (1) mewakili jumlah anggota faset *a* yang mendapatkan hasil prediksi positif dari nilai 1 dan n a adalah jumlah anggota faset a.* + q' d = n' d (1) /n d adalah proporsi prediksi dari segi *d* yang mendapatkan hasil positif dari nilai 1. Dalam contoh kita, aspek orang tua dan muda diprediksi akan diberikan pinjaman. *Di sini n' d (1) mewakili jumlah anggota faset *d* yang mendapatkan hasil prediksi positif dan n d adalah jumlah anggota segi d.* Jika DPPL cukup dekat dengan 0, itu berarti *paritas demografis* pasca-pelatihan telah tercapai. Untuk label faset biner dan multikategori, nilai DPL yang dinormalisasi berkisar pada interval [-1, 1]. Untuk label kontinu, nilainya bervariasi selama interval (-∞, \$1∞). + *Nilai DPPL positif menunjukkan bahwa faset *a* memiliki proporsi hasil positif yang diprediksi lebih tinggi jika dibandingkan dengan segi d.* Ini disebut sebagai *bias positif*. + Nilai DPPL mendekati nol menunjukkan proporsi yang lebih sama dari hasil positif yang diprediksi antara aspek *a* dan *d* dan nilai nol menunjukkan paritas demografis yang sempurna. + *Nilai DPPL negatif menunjukkan bahwa faset *d* memiliki proporsi hasil positif yang diprediksi lebih tinggi jika dibandingkan dengan faset a.* Ini disebut sebagai *bias negatif*. # Dampak Berbeda (DI) Perbedaan proporsi positif dalam metrik label yang diprediksi dapat dinilai dalam bentuk rasio. Perbandingan proporsi positif dalam metrik label yang diprediksi dapat dinilai dalam bentuk rasio, bukan sebagai perbedaan, seperti halnya dengan. [Perbedaan Proporsi Positif pada Label Prediksi (DPPL)](clarify-post-training-bias-metric-dppl.md) *Metrik dampak berbeda (DI) didefinisikan sebagai rasio proporsi prediksi positif (y' = 1) untuk segi *d* atas proporsi prediksi positif (y' = 1) untuk faset a.* *Misalnya, jika prediksi model memberikan pinjaman kepada 60% dari kelompok paruh baya (segi *a*) dan 50% kelompok usia lainnya (segi *d*), maka DI = .5/.6 = 0,8, yang menunjukkan bias positif dan dampak buruk pada kelompok usia lainnya yang diwakili oleh segi d.* Rumus untuk rasio proporsi label yang diprediksi:         DI = q' d /q 'a Di mana: + q' a = n' a (1) /n a adalah proporsi prediksi dari segi *a* yang mendapatkan hasil positif dari nilai 1. Dalam contoh kami, proporsi aspek paruh baya diprediksi akan diberikan pinjaman. *Di sini n' a (1) mewakili jumlah anggota faset *a* yang mendapatkan hasil prediksi positif dan n a adalah jumlah anggota faset a.* + q' d = n' d (1) /n d adalah proporsi yang diprediksi dari segi *d* a yang mendapatkan hasil positif dari nilai 1. Dalam contoh kita, aspek orang tua dan muda diprediksi akan diberikan pinjaman. *Di sini n' d (1) mewakili jumlah anggota faset *d* yang mendapatkan hasil prediksi positif dan n d adalah jumlah anggota segi d.* Untuk biner, aspek multikategori, dan label kontinu, nilai DI berkisar selama interval [0, ∞). + *Nilai kurang dari 1 menunjukkan bahwa faset *a* memiliki proporsi hasil positif yang diprediksi lebih tinggi daripada segi d.* Ini disebut sebagai *bias positif*. + Nilai 1 menunjukkan paritas demografis. + *Nilai yang lebih besar dari 1 menunjukkan bahwa faset *d* memiliki proporsi hasil positif yang diprediksi lebih tinggi daripada segi a.* Ini disebut sebagai *bias negatif*. # Perbedaan Penerimaan Bersyarat () DCAcc Metrik ini membandingkan label yang diamati dengan label yang diprediksi oleh model dan menilai apakah ini sama di seluruh aspek untuk hasil positif yang diprediksi. Metrik ini hampir meniru bias manusia karena mengukur berapa banyak lagi hasil positif yang diprediksi model (label y') untuk aspek tertentu dibandingkan dengan apa yang diamati dalam kumpulan data pelatihan (label y). Misalnya, jika ada lebih banyak penerimaan (hasil positif) yang diamati dalam kumpulan data pelatihan untuk aplikasi pinjaman untuk kelompok paruh baya (aspek *a*) daripada yang diprediksi oleh model berdasarkan kualifikasi dibandingkan dengan aspek yang mengandung kelompok usia lain (aspek *d*), ini mungkin menunjukkan potensi bias dalam cara pinjaman disetujui untuk mendukung kelompok paruh baya. Rumus untuk perbedaan penerimaan bersyarat:         DCAcc = c a - c d Di mana: + *c a = n a (1)/n' a (1) adalah rasio jumlah hasil positif yang diamati dari nilai 1 (penerimaan) dari segi *a* terhadap jumlah hasil positif yang diprediksi (akseptansi) untuk segi a.* + *c d = n d (1)/n' d (1) adalah rasio jumlah hasil positif yang diamati dari nilai 1 (akseptansi) dari segi *d* dengan jumlah prediksi hasil positif yang diprediksi (penerimaan) untuk segi d.* DCAcc Metrik dapat menangkap bias positif dan negatif yang mengungkapkan perlakuan preferensial berdasarkan kualifikasi. Pertimbangkan contoh bias berbasis usia berikut pada penerimaan pinjaman. **Contoh 1: Bias positif** *Misalkan kita memiliki kumpulan data 100 orang paruh baya (segi *a*) dan 50 orang dari kelompok usia lain (segi *d*) yang mengajukan pinjaman, di mana model merekomendasikan agar 60 dari segi *a* dan 30 dari segi d diberikan pinjaman.* *Jadi proporsi yang diprediksi tidak bias sehubungan dengan metrik DPPL, tetapi label yang diamati menunjukkan bahwa 70 dari segi *a* dan 20 dari segi d diberikan pinjaman.* Dengan kata lain, model memberikan pinjaman hingga 17% lebih sedikit dari segi paruh baya daripada label yang diamati dalam data pelatihan yang disarankan (70/60 = 1,17) dan memberikan pinjaman kepada 33% lebih banyak dari kelompok usia lain daripada label yang diamati disarankan (20/30 = 0,67). Perhitungan DCAcc nilai memberikan yang berikut:         DCAcc = 70/60 - 20/30 = 1/2 Nilai positif menunjukkan bahwa ada bias potensial terhadap aspek paruh baya *a* dengan tingkat penerimaan yang lebih rendah dibandingkan dengan aspek lain *d* daripada yang ditunjukkan oleh data yang diamati (dianggap tidak bias). **Contoh 2: Bias negatif** *Misalkan kita memiliki kumpulan data 100 orang paruh baya (segi *a*) dan 50 orang dari kelompok usia lain (segi *d*) yang mengajukan pinjaman, di mana model merekomendasikan agar 60 dari segi *a* dan 30 dari segi d diberikan pinjaman.* *Jadi proporsi yang diprediksi tidak bias sehubungan dengan metrik DPPL, tetapi label yang diamati menunjukkan bahwa 50 dari segi *a* dan 40 dari segi d diberikan pinjaman.* Dengan kata lain, model memberikan pinjaman hingga 17% lebih sedikit dari segi paruh baya daripada label yang diamati dalam data pelatihan yang disarankan (50/60 = 0,83), dan memberikan pinjaman kepada 33% lebih banyak dari kelompok usia lain daripada label yang diamati disarankan (40/30 = 1,33). Perhitungan DCAcc nilai memberikan yang berikut:         DCAcc = 50/60 - 40/30 = -1/2 Nilai negatif menunjukkan bahwa ada bias potensial terhadap segi *d* dengan tingkat penerimaan yang lebih rendah dibandingkan dengan aspek paruh baya *a daripada yang* ditunjukkan oleh data yang diamati (dianggap tidak bias). Perhatikan bahwa Anda dapat menggunakan DCAcc untuk membantu Anda mendeteksi potensi bias (tidak disengaja) oleh manusia yang mengawasi prediksi model dalam suatu pengaturan. human-in-the-loop Asumsikan, misalnya, bahwa prediksi y' oleh model tidak bias, tetapi keputusan akhirnya dibuat oleh manusia (mungkin dengan akses ke fitur tambahan) yang dapat mengubah prediksi model untuk menghasilkan versi baru dan final dari y'. Pemrosesan tambahan oleh manusia mungkin secara tidak sengaja menolak pinjaman ke nomor yang tidak proporsional dari satu sisi. DCAccdapat membantu mendeteksi potensi bias tersebut. Kisaran nilai untuk perbedaan penerimaan bersyarat untuk biner, aspek multikategori, dan label kontinu adalah (-∞, \$1∞). + *Nilai positif terjadi ketika rasio jumlah penerimaan yang diamati dibandingkan dengan akseptansi yang diprediksi untuk faset *a* lebih tinggi dari rasio yang sama untuk segi d.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari segi a.* Semakin besar perbedaan rasio, semakin ekstrim bias yang tampak. + *Nilai mendekati nol terjadi ketika rasio jumlah penerimaan yang diamati dibandingkan dengan akseptansi yang diprediksi untuk faset *a* mirip dengan rasio untuk segi d.* Nilai-nilai ini menunjukkan bahwa tingkat penerimaan yang diprediksi konsisten dengan nilai yang diamati dalam data berlabel dan bahwa pelamar yang memenuhi syarat dari kedua aspek diterima dengan cara yang sama. + *Nilai negatif terjadi ketika rasio jumlah penerimaan yang diamati dibandingkan dengan akseptansi yang diprediksi untuk faset *a* kurang dari rasio untuk segi d.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari segi d.* Semakin negatif perbedaan rasio, semakin ekstrem bias yang tampak. # Perbedaan Penolakan Bersyarat (DCR) Metrik ini membandingkan label yang diamati dengan label yang diprediksi oleh model dan menilai apakah ini sama di seluruh aspek untuk hasil negatif (penolakan). Metrik ini mendekati meniru bias manusia, dalam hal itu mengukur berapa banyak lagi hasil negatif yang diberikan model (label yang diprediksi y') ke aspek tertentu dibandingkan dengan apa yang disarankan oleh label dalam kumpulan data pelatihan (label yang diamati y). Misalnya, jika ada lebih banyak penolakan yang diamati (hasil negatif) untuk aplikasi pinjaman untuk kelompok paruh baya (aspek *a*) daripada yang diprediksi oleh model berdasarkan kualifikasi dibandingkan dengan aspek yang mengandung kelompok usia lain (segi *d*), ini mungkin menunjukkan potensi bias dalam cara pinjaman ditolak yang lebih disukai kelompok paruh baya daripada kelompok lain. Rumus untuk perbedaan penerimaan bersyarat:         DCR = r - r d a Di mana: + *r d = n d (0)/n' d (0) adalah rasio jumlah hasil negatif yang diamati dari nilai 0 (penolakan) dari segi *d* terhadap jumlah prediksi hasil negatif (penolakan) untuk segi d.* + *r a = n a (0)/n' a (0) adalah rasio jumlah hasil negatif yang diamati dari nilai 0 (penolakan) dari segi *a* terhadap jumlah prediksi hasil negatif dari nilai 0 (penolakan) untuk segi a.* Metrik DCR dapat menangkap bias positif dan negatif yang mengungkapkan perlakuan preferensial berdasarkan kualifikasi. Pertimbangkan contoh bias berbasis usia berikut pada penolakan pinjaman. **Contoh 1: Bias positif** *Misalkan kita memiliki kumpulan data 100 orang paruh baya (segi *a*) dan 50 orang dari kelompok usia lain (segi *d*) yang mengajukan pinjaman, di mana model merekomendasikan bahwa 60 dari segi *a* dan 30 dari segi d ditolak untuk pinjaman.* *Jadi proporsi yang diprediksi tidak bias oleh metrik DPPL, tetapi label yang diamati menunjukkan bahwa 50 dari segi *a* dan 40 dari segi d ditolak.* Dengan kata lain, model menolak 17% lebih banyak pinjaman dari segi paruh baya daripada label yang diamati dalam data pelatihan yang disarankan (50/60 = 0,83), dan menolak pinjaman 33% lebih sedikit dari kelompok usia lain daripada label yang diamati yang disarankan (40/30 = 1,33). Nilai DCR mengukur perbedaan ini dalam rasio tingkat penolakan yang diamati terhadap prediksi antar aspek. Nilai positif menunjukkan bahwa ada bias potensial yang mendukung kelompok paruh baya dengan tingkat penolakan yang lebih rendah dibandingkan dengan kelompok lain daripada yang ditunjukkan oleh data yang diamati (dianggap tidak bias).         DCR = 40/30 - 50/60 = 1/2 **Contoh 2: Bias negatif** *Misalkan kita memiliki kumpulan data 100 orang paruh baya (segi *a*) dan 50 orang dari kelompok usia lain (segi *d*) yang mengajukan pinjaman, di mana model merekomendasikan bahwa 60 dari segi *a* dan 30 dari segi d ditolak untuk pinjaman.* *Jadi proporsi yang diprediksi tidak bias oleh metrik DPPL, tetapi label yang diamati menunjukkan bahwa 70 dari segi *a* dan 20 dari segi d ditolak.* Dengan kata lain, model menolak pinjaman 17% lebih sedikit dari segi paruh baya daripada label yang diamati dalam data pelatihan yang disarankan (70/60 = 1,17), dan menolak 33% lebih banyak pinjaman dari kelompok usia lain daripada label yang diamati yang disarankan (20/30 = 0,67). Nilai negatif menunjukkan bahwa ada bias potensial yang mendukung aspek *a* dengan tingkat penolakan yang lebih rendah dibandingkan dengan aspek paruh baya *a daripada yang* ditunjukkan oleh data yang diamati (dianggap tidak bias).         DCR = 20/30 - 70/60 = -1/2 Kisaran nilai untuk perbedaan penolakan bersyarat untuk biner, aspek multikategori, dan label kontinu adalah (-∞, \$1∞). + *Nilai positif terjadi ketika rasio jumlah penolakan yang diamati dibandingkan dengan prediksi penolakan untuk segi *d* lebih besar dari rasio untuk faset a.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari segi a.* Semakin besar nilai metrik DCR, semakin ekstrem bias yang tampak. + *Nilai mendekati nol terjadi ketika rasio jumlah penolakan yang diamati dibandingkan dengan penerimaan yang diprediksi untuk faset *a* mirip dengan rasio untuk segi d.* Nilai-nilai ini menunjukkan bahwa tingkat penolakan yang diprediksi konsisten dengan nilai yang diamati dalam data berlabel dan bahwa pelamar yang memenuhi syarat dari kedua aspek ditolak dengan cara yang sama. + *Nilai negatif terjadi ketika rasio jumlah penolakan yang diamati dibandingkan dengan prediksi penolakan untuk segi *d* kurang dari aspek rasio a.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap pelamar yang memenuhi syarat dari segi d.* Semakin besar besarnya metrik DCR negatif, semakin ekstrem bias yang tampak. # Perbedaan spesifisitas (SD) *Perbedaan spesifisitas (SD) adalah perbedaan spesifisitas antara faset yang disukai *a dan aspek yang* tidak disukai d.* Spesifisitas mengukur seberapa sering model memprediksi hasil negatif dengan benar (y'=0). Setiap perbedaan dalam kekhususan ini adalah bentuk bias potensial. Spesifisitas sempurna untuk suatu segi jika semua kasus y=0 diprediksi dengan benar untuk segi tersebut. Spesifisitas lebih besar ketika model meminimalkan positif palsu, yang dikenal sebagai kesalahan Tipe I. *Misalnya, perbedaan antara spesifisitas rendah untuk pinjaman ke segi *a*, dan spesifisitas tinggi untuk pinjaman ke segi *d, adalah ukuran bias terhadap segi d*.* *Rumus berikut adalah untuk perbedaan spesifisitas untuk segi *a dan d*.*         SD = TNd/(dTN\$1FPd) - TNa/(aaTN\$1FP) = TNR - TNR d a Variabel berikut yang digunakan untuk menghitung SD didefinisikan sebagai berikut: + *TN d adalah negatif sebenarnya yang diprediksi untuk segi d.* + *FP d adalah positif palsu yang diprediksi untuk segi d.* + *TN d adalah negatif sebenarnya yang diprediksi untuk aspek a.* + *FP d adalah positif palsu yang diprediksi untuk segi a.* + *TNR a = TNa/(aTN\$1FPa) adalah tingkat negatif sebenarnya, juga dikenal sebagai spesifisitas, untuk segi a.* + *TNR d = TNd/(dTN\$1FPd) adalah tingkat negatif sebenarnya, juga dikenal sebagai spesifisitas, untuk segi d.* *Misalnya, perhatikan matriks kebingungan berikut untuk segi *a* dan d.* Matriks kebingungan untuk segi yang disukai `a` | Prediksi kelas a | Hasil aktual 0 | Hasil aktual 1 | Total | | --- | --- | --- | --- | | 0 | 20 | 5 | 25 | | 1 | 10 | 65 | 75 | | Total | 30 | 70 | 100 | Matriks kebingungan untuk segi yang tidak disukai `d` | Prediksi kelas d | Hasil aktual 0 | Hasil aktual 1 | Total | | --- | --- | --- | --- | | 0 | 18 | 7 | 25 | | 1 | 5 | 20 | 25 | | Total | 23 | 27 | 50 | *Nilai perbedaan spesifisitas adalah`SD = 18/(18+5) - 20/(20+10) = 0.7826 - 0.6667 = 0.1159`, yang menunjukkan bias terhadap segi d.* Rentang nilai untuk perbedaan spesifisitas antara aspek *a* dan *d* untuk klasifikasi biner dan multikategori adalah. `[-1, +1]` Metrik ini tidak tersedia untuk kasus label kontinu. Inilah yang disiratkan oleh nilai-nilai SD yang berbeda: + *Nilai positif diperoleh ketika ada spesifisitas yang lebih tinggi untuk faset *d* daripada faset a.* *Ini menunjukkan bahwa model menemukan lebih sedikit positif palsu untuk faset *d* daripada faset a.* Nilai positif menunjukkan bias terhadap segi *d*. + Nilai mendekati nol menunjukkan bahwa spesifisitas untuk segi yang dibandingkan serupa. Ini menunjukkan bahwa model menemukan jumlah positif palsu yang sama di kedua aspek ini dan tidak bias. + *Nilai negatif diperoleh ketika ada spesifisitas yang lebih tinggi untuk faset *a* daripada faset d.* *Ini menunjukkan bahwa model menemukan lebih banyak positif palsu untuk faset *a* daripada untuk segi d.* Nilai negatif menunjukkan bias terhadap segi *a*. # Ingat Perbedaan (RD) *Metrik recall difference (RD) adalah perbedaan dalam mengingat model antara faset yang disukai *a dan aspek yang* tidak disukai d.* Setiap perbedaan dalam penarikan ini adalah bentuk bias potensial. Ingat adalah tingkat positif sejati (TPR), yang mengukur seberapa sering model memprediksi dengan benar kasus-kasus yang seharusnya menerima hasil positif. Ingat sempurna untuk suatu segi jika semua kasus y=1 diprediksi dengan benar sebagai y'=1 untuk segi itu. Ingat lebih besar ketika model meminimalkan negatif palsu yang dikenal sebagai kesalahan Tipe II. Misalnya, berapa banyak orang dalam dua kelompok berbeda (aspek *a* dan *d*) yang harus memenuhi syarat untuk pinjaman terdeteksi dengan benar oleh model? *Jika tingkat penarikan tinggi untuk pinjaman ke segi *a*, tetapi rendah untuk pinjaman ke segi *d*, perbedaannya memberikan ukuran bias ini terhadap kelompok yang termasuk dalam segi d.* Rumus untuk perbedaan tingkat penarikan untuk aspek *a* dan *d*:         RD = TPa/(TP a \$1 FNa) - TPd/(TP d \$1 FN) = TPR - TPR d a d Di mana: + *TP a adalah positif sejati yang diprediksi untuk aspek a.* + *FN a adalah negatif palsu yang diprediksi untuk segi a.* + *TP d adalah positif sejati yang diprediksi untuk segi d.* + *FN d adalah negatif palsu yang diprediksi untuk segi d.* + TPR a = TPa/(TP a \$1 FNa) adalah penarikan untuk faset *a*, atau tingkat positif sebenarnya. + TPR d TPd/(TP d \$1 FNd) adalah penarikan untuk segi *d*, atau tingkat positif sebenarnya. *Misalnya, perhatikan matriks kebingungan berikut untuk segi *a* dan d.* Matriks Kebingungan untuk Aspek Favorit a | Prediksi kelas a | Hasil aktual 0 | Hasil aktual 1 | Total | | --- | --- | --- | --- | | 0 | 20 | 5 | 25 | | 1 | 10 | 65 | 75 | | Total | 30 | 70 | 100 | Matriks Kebingungan untuk Aspet yang Tidak Disukai d | Prediksi kelas d | Hasil aktual 0 | Hasil aktual 1 | Total | | --- | --- | --- | --- | | 0 | 18 | 7 | 25 | | 1 | 5 | 20 | 25 | | Total | 23 | 27 | 50 | *Nilai perbedaan recall adalah RD = 65/70 - 20/27 = 0,93 - 0,74 = 0,19 yang menunjukkan bias terhadap segi d.* Rentang nilai untuk perbedaan ingatan antara segi *a* dan *d* untuk klasifikasi biner dan multikategori adalah [-1, \$11]. Metrik ini tidak tersedia untuk kasus label kontinu. + *Nilai positif diperoleh ketika ada ingatan yang lebih tinggi untuk faset *a* daripada untuk segi d.* Hal ini menunjukkan bahwa model menemukan lebih banyak hal positif sejati untuk faset *a* daripada segi *d*, yang merupakan bentuk bias. + Nilai mendekati nol menunjukkan bahwa penarikan kembali untuk aspek yang dibandingkan serupa. Ini menunjukkan bahwa model menemukan jumlah positif sejati yang sama di kedua aspek ini dan tidak bias. + *Nilai negatif diperoleh ketika ada ingatan yang lebih tinggi untuk faset *d* daripada faset a.* Ini menunjukkan bahwa model menemukan lebih banyak hal positif sejati untuk segi *d* daripada faset *a*, yang merupakan bentuk bias. # Perbedaan Tingkat Penerimaan (DAR) **Perbedaan metrik tingkat penerimaan (DAR) adalah perbedaan rasio prediksi positif sejati (TP) terhadap positif yang diamati (TP \$1 FP) untuk aspek a dan d.** Metrik ini mengukur perbedaan presisi model untuk memprediksi penerimaan dari kedua aspek ini. Presisi mengukur fraksi kandidat yang memenuhi syarat dari kumpulan kandidat yang memenuhi syarat yang diidentifikasi oleh model. Jika presisi model untuk memprediksi pelamar yang memenuhi syarat berbeda antar aspek, ini adalah bias dan besarnya diukur oleh DAR. Rumus untuk perbedaan tingkat penerimaan antara aspek *a* dan *d*:         DAR = TPa/(TP a \$1FPa) - TPd/(TP \$1FP) d d Di mana: + *TP a adalah positif sejati yang diprediksi untuk aspek a.* + *FP a adalah positif palsu yang diprediksi untuk segi a.* + *TP d adalah positif sejati yang diprediksi untuk segi d.* + *FP d adalah positif palsu yang diprediksi untuk segi d.* Misalnya, model menerima 70 pelamar paruh baya (aspek *a*) untuk pinjaman (label positif yang diprediksi) yang hanya 35 yang benar-benar diterima (label positif yang diamati). Juga misalkan model menerima 100 pelamar dari demografi usia lain (segi *d*) untuk pinjaman (label positif yang diprediksi) di antaranya hanya 40 yang benar-benar diterima (label positif yang diamati). *Kemudian DAR = 35/70 - 40/100 = 0,10, yang menunjukkan potensi bias terhadap orang-orang yang memenuhi syarat dari kelompok usia kedua (segi d).* Rentang nilai DAR untuk biner, aspek multikategori, dan label kontinu adalah [-1, \$11]. + *Nilai positif terjadi ketika rasio positif yang diprediksi (penerimaan) terhadap hasil positif yang diamati (pelamar yang memenuhi syarat) untuk aspek *a* lebih besar dari rasio yang sama untuk segi d.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap aspek yang tidak disukai *d* yang disebabkan oleh terjadinya positif palsu yang relatif lebih banyak di segi d.* Semakin besar perbedaan rasio, semakin ekstrim bias yang tampak. + Nilai mendekati nol terjadi ketika rasio positif yang diprediksi (penerimaan) terhadap hasil positif yang diamati (pelamar yang memenuhi syarat) untuk aspek *a* dan *d* memiliki nilai serupa yang menunjukkan label yang diamati untuk hasil positif diprediksi dengan presisi yang sama oleh model. + *Nilai negatif terjadi ketika rasio positif yang diprediksi (penerimaan) terhadap hasil positif yang diamati (pelamar yang memenuhi syarat) untuk aspek *d* lebih besar dari aspek rasio a.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap aspek yang disukai *a yang* disebabkan oleh terjadinya positif yang relatif lebih palsu dalam segi a.* Semakin negatif perbedaan rasio, semakin ekstrem bias yang tampak. # Perbedaan Tingkat Penolakan (DRR) **Perbedaan metrik tingkat penolakan (DRR) adalah perbedaan rasio prediksi negatif sejati (TN) terhadap negatif yang diamati (TN\$1FN) untuk aspek a dan d.** Metrik ini mengukur perbedaan presisi model untuk memprediksi penolakan dari kedua aspek ini. Presisi mengukur fraksi kandidat yang tidak memenuhi syarat dari kumpulan kandidat yang tidak memenuhi syarat yang diidentifikasi seperti itu oleh model. Jika presisi model untuk memprediksi pelamar yang tidak memenuhi syarat berbeda antar aspek, ini adalah bias dan besarnya diukur oleh DRR. Rumus untuk perbedaan tingkat penolakan antara segi *a* dan *d*:         DRR = TNd/(dTN\$1FNd) - TNa/(TN\$1FN) a a Komponen untuk persamaan DRR sebelumnya adalah sebagai berikut. + *TN d adalah negatif sebenarnya yang diprediksi untuk segi d.* + *FN d adalah negatif palsu yang diprediksi untuk segi d.* + *TP a adalah negatif sebenarnya yang diprediksi untuk aspek a.* + *FN a adalah negatif palsu yang diprediksi untuk segi a.* Misalnya, model menolak 100 pelamar paruh baya (aspek *a) untuk pinjaman (label negatif yang* diprediksi) di antaranya 80 sebenarnya tidak memenuhi syarat (label negatif yang diamati). Juga misalkan model menolak 50 pelamar dari demografi usia lain (segi *d*) untuk pinjaman (label negatif yang diprediksi) di antaranya hanya 40 yang benar-benar tidak memenuhi syarat (label negatif yang diamati). Kemudian DRR = 40/50 - 80/100 = 0, jadi tidak ada bias yang ditunjukkan. Rentang nilai DRR untuk biner, aspek multikategori, dan label kontinu adalah [-1, \$11]. + *Nilai positif terjadi ketika rasio negatif yang diprediksi (penolakan) terhadap hasil negatif yang diamati (pelamar yang tidak memenuhi syarat) untuk aspek *d* lebih besar dari rasio yang sama untuk aspek a.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap aspek yang disukai *a yang* disebabkan oleh terjadinya negatif yang relatif lebih salah dalam aspek a.* Semakin besar perbedaan rasio, semakin ekstrim bias yang tampak. + Nilai mendekati nol terjadi ketika rasio negatif yang diprediksi (penolakan) terhadap hasil negatif yang diamati (pelamar yang tidak memenuhi syarat) untuk aspek *a* dan *d* memiliki nilai yang sama, menunjukkan label yang diamati untuk hasil negatif diprediksi dengan presisi yang sama oleh model. + *Nilai negatif terjadi ketika rasio negatif yang diprediksi (penolakan) terhadap hasil negatif yang diamati (pelamar yang tidak memenuhi syarat) untuk aspek *a* lebih besar dari aspek rasio d.* *Nilai-nilai ini menunjukkan kemungkinan bias terhadap aspek yang tidak disukai *d* yang disebabkan oleh terjadinya positif palsu yang relatif lebih banyak di segi d.* Semakin negatif perbedaan rasio, semakin ekstrem bias yang tampak. # Perbedaan Akurasi (AD) Metrik perbedaan akurasi (AD) adalah perbedaan antara akurasi prediksi untuk berbagai aspek. Metrik ini menentukan apakah klasifikasi menurut model lebih akurat untuk satu aspek daripada yang lain. AD menunjukkan apakah satu aspek menimbulkan proporsi kesalahan Tipe I dan Tipe II yang lebih besar. Tetapi tidak dapat membedakan antara kesalahan Tipe I dan Tipe II. Misalnya, model mungkin memiliki akurasi yang sama untuk demografi usia yang berbeda, tetapi kesalahan mungkin sebagian besar positif palsu (kesalahan Tipe I) untuk satu kelompok berbasis usia dan sebagian besar negatif palsu (kesalahan Tipe II) untuk yang lain. Juga, jika persetujuan pinjaman dibuat dengan akurasi yang jauh lebih tinggi untuk demografis paruh baya (aspek *a*) daripada demografis berbasis usia lainnya (aspek *d*), proporsi yang lebih besar dari pelamar yang memenuhi syarat di kelompok kedua ditolak pinjaman (FN) atau proporsi yang lebih besar dari pelamar yang tidak memenuhi syarat dari kelompok itu mendapatkan pinjaman (FP) atau keduanya. Hal ini dapat menyebabkan ketidakadilan kelompok untuk kelompok kedua, bahkan jika proporsi pinjaman yang diberikan hampir sama untuk kedua kelompok berbasis usia, yang ditunjukkan oleh nilai DPPL yang mendekati nol. *Rumus untuk metrik AD adalah perbedaan antara akurasi prediksi untuk facet *a*, ACC, dikurangi untuk facet da, ACC:* d         IKLAN = ACC a - ACC d Di mana: + ACC a = (TP a \$1 TNa)/(TP \$1 a TN\$1FP\$1FNa) a a + *TP a adalah positif sejati yang diprediksi untuk segi a* + *TN a adalah negatif sebenarnya yang diprediksi untuk segi a* + *FP a adalah positif palsu yang diprediksi untuk segi a* + *FN a adalah negatif palsu yang diprediksi untuk segi a* + ACC d = (TP d \$1 TNd)/(TP \$1 d TN\$1FP\$1FNd) d d + *TP d adalah positif sejati yang diprediksi untuk segi d* + *TN d adalah negatif sebenarnya yang diprediksi untuk segi d* + *FP d adalah positif palsu yang diprediksi untuk segi d* + *FN d adalah negatif palsu yang diprediksi untuk segi d* Misalnya, model menyetujui pinjaman kepada 70 pelamar dari segi *a* 100 dan menolak 30 lainnya. 10 seharusnya tidak ditawari pinjaman (FPa) dan 60 disetujui yang seharusnya (TP). 20 penolakan seharusnya disetujui (FNa) dan 10 ditolak dengan benar (TNa). a Akurasi untuk segi *a* adalah sebagai berikut:         ACC a = (60 \$1 10)/(60 \$1 10 \$1 20 \$1 10) = 0,7 Selanjutnya, misalkan model menyetujui pinjaman kepada 50 pelamar dari segi *d* 100 dan menolak 50 lainnya. 10 seharusnya tidak ditawari pinjaman (FPa) dan 40 disetujui yang seharusnya (TPa). 40 penolakan seharusnya disetujui (FN) dan 10 ditolak dengan benar (TNa). a Keakuratan untuk faset *a* ditentukan sebagai berikut:         ACC d = (40 \$1 10)/(40 \$1 10 \$1 40 \$1 10) = 0,5 Perbedaan akurasi dengan demikian AD = ACC a - ACC d = 0,7 - 0,5 = 0,2. Ini menunjukkan ada bias terhadap segi *d* karena metriknya positif. Rentang nilai untuk AD untuk label faset biner dan multikategori adalah [-1, \$11]. + *Nilai positif terjadi ketika akurasi prediksi untuk faset *a* lebih besar dari segi d.* Ini berarti bahwa facet *d* lebih menderita dari beberapa kombinasi positif palsu (kesalahan Tipe I) atau negatif palsu (kesalahan Tipe II). *Ini berarti ada bias potensial terhadap aspek yang tidak disukai d.* + *Nilai mendekati nol terjadi ketika akurasi prediksi untuk faset *a* mirip dengan faset d.* + *Nilai negatif terjadi ketika akurasi prediksi untuk faset *d* lebih besar dari segi a t.* Ini berarti bahwa facet *a* lebih menderita dari beberapa kombinasi positif palsu (kesalahan Tipe I) atau negatif palsu (kesalahan Tipe II). *Ini berarti bias terhadap aspek yang disukai a.* # Kesetaraan Perawatan (TE) **Kesetaraan perlakuan (TE) adalah perbedaan rasio negatif palsu terhadap positif palsu antara aspek a dan d.** Gagasan utama dari metrik ini adalah untuk menilai apakah, bahkan jika akurasi antar kelompok sama, apakah kesalahan lebih berbahaya bagi satu kelompok daripada yang lain? Tingkat kesalahan berasal dari total positif palsu dan negatif palsu, tetapi rincian keduanya mungkin sangat berbeda di seluruh aspek. TE mengukur apakah kesalahan mengkompensasi dengan cara yang serupa atau berbeda di seluruh aspek. Rumus untuk kesetaraan pengobatan:         TE = FN d /FP - FN /FP d a a Di mana: + *FN d adalah negatif palsu yang diprediksi untuk segi d.* + *FP d adalah positif palsu yang diprediksi untuk segi d.* + *FN a adalah negatif palsu yang diprediksi untuk segi a.* + *FP a adalah positif palsu yang diprediksi untuk segi a.* Perhatikan metrik menjadi tidak terbatas jika FP a atau d FP adalah nol. *Misalnya, anggaplah ada 100 pemohon pinjaman dari segi *a* dan 50 dari segi d.* Untuk segi *a*, 8 salah ditolak pinjaman (FNa) dan 6 lainnya salah disetujui (FP). a Prediksi yang tersisa benar, jadi TP a \$1 TN a = 86. Untuk segi *d*, 5 ditolak secara salah (FNd) dan 2 disetujui secara salah (FP). d Prediksi yang tersisa benar, jadi TP d \$1 TN d = 43. *Rasio negatif palsu terhadap positif palsu sama dengan 8/6 = 1,33 untuk faset *a* dan 5/2 = 2,5 untuk segi d.* Oleh karena itu TE = 2.5 - 1.33 = 1.167, meskipun kedua segi memiliki akurasi yang sama:         ACC a = (86)/(86\$1 8 \$1 6) = 0,86         ACC d = (43)/(43 \$1 5 \$1 2) = 0,86 Kisaran nilai untuk perbedaan penolakan bersyarat untuk label faset biner dan multikategori adalah (-∞, \$1∞). Metrik TE tidak didefinisikan untuk label kontinu. Interpretasi metrik ini tergantung pada relatif penting dari positif palsu (Kesalahan tipe I) dan negatif palsu (kesalahan Tipe II). + *Nilai positif terjadi ketika rasio negatif palsu terhadap positif palsu untuk faset *d* lebih besar daripada untuk faset a.* + *Nilai mendekati nol terjadi ketika rasio negatif palsu terhadap positif palsu untuk faset *a* mirip dengan rasio untuk faset d.* + *Nilai negatif terjadi ketika rasio negatif palsu terhadap positif palsu untuk faset *d* kurang dari untuk faset a.* **catatan** Versi sebelumnya menyatakan bahwa metrik Perlakuan Kesetaraan dihitung sebagai FP/FN - a FP/FN d bukan d FN/FP a - d FN/FP. d a a Sementara salah satu versi dapat digunakan. Untuk informasi selengkapnya, lihat [https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf). # Disparitas Demografis Bersyarat dalam Label yang Diprediksi (CDDPL) Metrik disparitas demografis (DDPL) menentukan apakah aspek *d* memiliki proporsi yang lebih besar dari label yang ditolak yang diprediksi daripada label yang diterima yang diprediksi. Ini memungkinkan perbandingan perbedaan dalam proporsi penolakan yang diprediksi dan proporsi penerimaan yang diprediksi di seluruh aspek. Metrik ini persis sama dengan metrik CDD pra-pelatihan kecuali bahwa itu dihitung dari label yang diprediksi alih-alih yang diamati. Metrik ini terletak pada kisaran (-1, \$11). *Rumus prediksi disparitas demografis untuk label segi d adalah sebagai berikut:*         DDPL d = n' d (0) /n '(0) - n' d (1) /n' (1) = P d R (y' 0) - P A (y' 1) d Di mana: + **n' (0) = n' a (0) \$1 n' d (0) adalah jumlah label yang ditolak yang diprediksi untuk segi a dan d.** + **n' (1) = n' a (1) \$1 n' d (1) adalah jumlah label yang diterima yang diprediksi untuk segi a dan d.** + *P d R (y' 0) adalah proporsi label ditolak yang diprediksi (nilai 0) dalam segi d.* + *P d A (y' 1) adalah proporsi label yang diterima yang diprediksi (nilai 1) dalam segi d.* Metrik disparitas demografis bersyarat dalam label prediksi (CDDPL) yang mengkondisikan DDPL pada atribut yang menentukan strata subkelompok pada kumpulan data diperlukan untuk mengesampingkan paradoks Simpson. Pengelompokan kembali dapat memberikan wawasan tentang penyebab kesenjangan demografis yang jelas untuk aspek yang kurang disukai. Kasus klasik muncul dalam kasus penerimaan Berkeley di mana pria diterima pada tingkat yang lebih tinggi secara keseluruhan daripada wanita. Tetapi ketika subkelompok departemen diperiksa, wanita terbukti memiliki tingkat penerimaan yang lebih tinggi daripada pria berdasarkan departemen. Penjelasannya adalah bahwa wanita telah mendaftar ke departemen dengan tingkat penerimaan yang lebih rendah daripada pria. Meneliti tingkat penerimaan subkelompok mengungkapkan bahwa wanita sebenarnya diterima pada tingkat yang lebih tinggi daripada pria untuk departemen dengan tingkat penerimaan yang lebih rendah. Metrik CDDPL memberikan ukuran tunggal untuk semua perbedaan yang ditemukan dalam subkelompok yang ditentukan oleh atribut kumpulan data dengan merata-ratakannya. Ini didefinisikan sebagai rata-rata tertimbang disparitas demografis dalam label prediksi (DDPLi) untuk masing-masing subkelompok, dengan setiap disparitas subkelompok tertimbang secara proporsional dengan jumlah pengamatan dalam mengandung. Rumus untuk disparitas demografis bersyarat dalam label yang diprediksi adalah sebagai berikut:         CDDPL = (1/n) \$1 Σ n DDPL i i \$1 i Di mana: + in i = n adalah jumlah total pengamatan dan n i adalah jumlah pengamatan untuk setiap subkelompok. + DDPL i = n' i (0) /n (0) - n' i (1) /n (1) = P i R (y' 0) - P i A (y' 1) adalah perbedaan demografis dalam label yang diprediksi untuk subkelompok. Jadi perbedaan demografis untuk subkelompok dalam label prediksi (DDPLi) adalah perbedaan antara proporsi label yang ditolak yang diprediksi dan proporsi label yang diterima yang diprediksi untuk setiap subkelompok. Kisaran nilai DDPL untuk hasil biner, multikategori, dan kontinu adalah [-1, \$11]. + *\$11: ketika tidak ada label penolakan yang diprediksi untuk faset *a* atau subkelompok dan tidak ada penerimaan yang diprediksi untuk segi d atau subkelompok.* + Nilai positif menunjukkan ada perbedaan demografis dalam label yang diprediksi karena aspek *d* atau subkelompok memiliki proporsi yang lebih besar dari label yang ditolak yang diprediksi daripada label yang diterima yang diprediksi. Semakin tinggi nilainya semakin besar disparitas. + Nilai mendekati nol menunjukkan tidak ada perbedaan demografis rata-rata. + Nilai negatif menunjukkan ada perbedaan demografis dalam label yang diprediksi karena aspek *a* atau subkelompok memiliki proporsi yang lebih besar dari label yang ditolak yang diprediksi daripada label yang diterima yang diprediksi. Semakin rendah nilainya semakin besar disparitas. + *-1: ketika tidak ada kerah penolakan yang diprediksi untuk segi *d* atau subkelompok dan tidak ada penerimaan yang diprediksi untuk faset a atau subkelompok.* # Fliptest Kontrafaktual (FT) Fliptest adalah pendekatan yang melihat setiap anggota facet *d* dan menilai apakah anggota faset yang serupa memiliki prediksi model *yang* berbeda. *Anggota faset *a* dipilih menjadi k-tetangga terdekat dari pengamatan dari segi d.* Kami menilai berapa banyak tetangga terdekat dari kelompok lawan yang menerima prediksi yang berbeda, di mana prediksi terbalik dapat berubah dari positif ke negatif dan sebaliknya. *Rumus untuk fliptest kontrafaktual adalah perbedaan kardinalitas dua himpunan dibagi dengan jumlah anggota segi d:*         FT = (F \$1 - F -) /n d Di mana: + *F \$1 = adalah jumlah anggota sisi *d* yang tidak disukai dengan hasil yang tidak menguntungkan yang tetangga terdekatnya dalam aspek yang disukai menerima hasil yang menguntungkan.* + *F - = adalah jumlah anggota sisi *d* yang tidak disukai dengan hasil yang menguntungkan yang tetangga terdekatnya dalam aspek yang disukai menerima hasil yang tidak menguntungkan.* + n d adalah ukuran sampel dari segi *d*. Rentang nilai untuk fliptest kontrafaktual untuk label faset biner dan multikategori adalah [-1, \$11]. Untuk label kontinu, kami menetapkan ambang batas untuk menciutkan label ke biner. + *Nilai positif terjadi ketika jumlah keputusan terlentang kontrafaktual yang tidak menguntungkan untuk aspek yang tidak disukai d melebihi yang menguntungkan.* + Nilai mendekati nol terjadi ketika jumlah keputusan fliptest kontrafaktual yang tidak menguntungkan dan menguntungkan seimbang. + *Nilai negatif terjadi ketika jumlah keputusan terlentang kontrafaktual yang tidak menguntungkan untuk aspek yang tidak disukai d kurang dari yang menguntungkan.* # Entropi umum (GE) Indeks entropi umum (GE) mengukur ketidaksetaraan manfaat `b` untuk label yang diprediksi dibandingkan dengan label yang diamati. Manfaat terjadi ketika positif palsu diprediksi. Positif palsu terjadi ketika pengamatan negatif (y=0) memiliki prediksi positif (y'=1). Manfaat juga terjadi ketika label yang diamati dan diprediksi sama, juga dikenal sebagai positif sejati dan negatif sejati. Tidak ada manfaat yang terjadi ketika negatif palsu diprediksi. Negatif palsu terjadi ketika pengamatan positif (y=1) diprediksi memiliki hasil negatif (y'=0). Manfaatnya `b` didefinisikan, sebagai berikut. ``` b = y' - y + 1 ``` Dengan menggunakan definisi ini, positif palsu menerima manfaat `b` dari`2`, dan negatif palsu menerima manfaat dari`0`. Baik positif sejati maupun negatif sejati menerima manfaat dari`1`. Metrik GE dihitung mengikuti [Indeks Entropi Umum](https://en.wikipedia.org/wiki/Generalized_entropy_index) (GE) dengan bobot diatur ke. `alpha` `2` Bobot ini mengontrol sensitivitas terhadap nilai manfaat yang berbeda. Yang lebih kecil `alpha` berarti peningkatan sensitivitas terhadap nilai yang lebih kecil. ![\[Persamaan yang mendefinisikan indeks entropi umum dengan parameter alfa diatur ke 2.\]](http://docs.aws.amazon.com/id_id/sagemaker/latest/dg/images/clarify-post-training-bias-metric-ge.png) Variabel berikut yang digunakan untuk menghitung GE didefinisikan sebagai berikut: + b i adalah manfaat yang diterima oleh titik `ith` data. + b 'adalah arti dari semua manfaat. GE dapat berkisar dari 0 hingga 0,5, di mana nilai nol menunjukkan tidak ada ketidaksetaraan manfaat di semua titik data. Ini terjadi baik ketika semua input diprediksi dengan benar atau ketika semua prediksi positif palsu. GE tidak terdefinisi ketika semua prediksi adalah negatif palsu. **catatan** Metrik GE tidak bergantung pada nilai faset yang disukai atau tidak disukai.