Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Indicateurs de biais de post-entraînement dans les données et les modèles
Amazon SageMaker Clarify fournit onze données post-formation et des mesures de biais du modèle pour aider à quantifier les différentes conceptions de l'équité. Il est impossible de satisfaire tous ces concepts simultanément. La sélection dépend alors des spécificités des cas impliquant le biais potentiel qui est analysé. La plupart de ces métriques sont une combinaison des nombres tirés des matrices de confusion de classification binaire pour les différents groupes démographiques. Comme une gamme étendue de métriques permet de définir l'équité et la partialité, le jugement humain est indispensable pour comprendre et choisir les métriques pertinentes pour le cas d'utilisation individuel, et les clients doivent consulter les parties prenantes appropriées afin de déterminer la mesure d'équité qui convient à leur application.
Nous utilisons la notation suivante pour les métriques de biais. Le modèle conceptuel décrit ici concerne la classification binaire. Selon cette classification, les événements sont étiquetés comme ayant seulement deux résultats possibles dans leur espace d'échantillonnage, soit un résultat positif (avec la valeur 1), soit un résultat négatif (avec la valeur 0). Ce cadre peut généralement être étendu de façon directe à la classification multicatégorielle, ou à des cas impliquant des résultats valorisés continus lorsque cela est nécessaire. Dans la classification binaire, des étiquettes positive et négative sont affectées aux résultats enregistrés dans un jeu de données brut pour une facette favorisée *a* et une facette défavorisée *d*. Ces étiquettes y sont appelées *étiquettes observées* pour les distinguer des *étiquettes prédites* y’ qui sont affectées par un modèle de machine learning durant les étapes d’entraînement ou d’inférence du cycle de vie ML. Ces étiquettes servent à définir les distributions de probabilité Pa(y) et Pd(y) pour leurs résultats de facette respectifs.
+ étiquettes :
+ y représente les n étiquettes observées pour les résultats d'événements dans un jeu de données d'entraînement.
+ y' représente les étiquettes prédites pour les n étiquettes observées dans le jeu de données par un modèle entraîné.
+ résultats :
+ un résultat positif (avec la valeur 1) pour un échantillon, l'acceptation d'une demande par exemple.
+ n(1) est le nombre d'étiquettes observées pour les résultats positifs (acceptations).
+ n'(1) est le nombre d'étiquettes prédites pour les résultats positifs (acceptations).
+ un résultat négatif (avec la valeur 0) pour un échantillon, le rejet d'une demande par exemple.
+ n(0) est le nombre d'étiquettes observées pour les résultats négatifs (rejets).
+ n'(0) est le nombre d'étiquettes prédites pour les résultats négatifs (rejets).
+ valeurs de facettes :
+ facette *a* : la valeur de caractéristique qui définit un profil démographique que le biais favorise.
+ na est le nombre d'étiquettes observées pour la valeur de facette favorisée : na = na(1) \$1 na(0) la somme des étiquettes positives et négatives observées pour la facette de valeur *a*.
+ n'a est le nombre d'étiquettes prédites pour la valeur de facette favorisée : n'a = n'a(1) \$1 n'a(0) la somme des étiquettes positives et négatives de résultats prédits pour la facette de valeur *a*. Vous noterez que n'a = na.
+ facette *d* : la valeur de caractéristique qui définit un profil démographique que le biais défavorise.
+ nd est le nombre d'étiquettes observées pour la valeur de facette défavorisée : nd = nd(1) \$1 nd(0) la somme des étiquettes positives et négatives observées pour la facette de valeur *d*.
+ n'd est le nombre d'étiquettes prédites pour la valeur de facette défavorisée : n'd = n'd(1) \$1 n'd(0) la somme des étiquettes positives et négatives de résultats prédits pour la facette de valeur *d*. Vous noterez que n'd = nd.
+ distributions de probabilité pour les résultats des données de facettes étiquetées :
+ Pa(y) est la distribution de probabilité des étiquettes observées pour la facette *a*. Pour les données binaires étiquetées, cette distribution correspond au rapport entre le nombre d'échantillons dans la facette *a* étiquetés avec des résultats positifs et le nombre total, Pa(y1) = na(1)/ na, et au rapport entre le nombre d'échantillons étiquetés avec des résultats négatifs et le nombre total, Pa(y0) = na(0)/ na.
+ Pd(y) est la distribution de probabilité des étiquettes observées pour la facette *d*. Pour les données binaires étiquetées, cette distribution correspond au rapport entre le nombre d’échantillons dans la facette *d* étiquetés avec des résultats positifs et le nombre total, Pd(y1) = nd(1)/ nd, et au rapport entre le nombre d’échantillons étiquetés avec des résultats négatifs et le nombre total, Pd(y0) = nd(0)/ nd.
Vous trouverez dans le tableau suivant un aide-mémoire contenant des conseils rapides et des liens vers les métriques de biais de post-entraînement.
Métriques de biais de post-entraînement
| Métrique de biais de post-entraînement | Description | Exemple de question | Interpréter les valeurs des métriques |
| --- | --- | --- | --- |
| [Différence dans les proportions positives des étiquettes prédites (DPPL)](clarify-post-training-bias-metric-dppl.md) | Mesure la différence dans la proportion de prédictions positives entre la facette favorisée a et la facette défavorisée d. | Un déséquilibre éventuel entre les groupes démographiques dans les résultats positifs prédits peut-il indiquer un biais ? | Plage pour les étiquettes de facettes binaires et multicatégorie : `[-1,+1]` Plage pour les étiquettes continues : (-∞, \$1∞) Interprétation : [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Impact disparate (DI)](clarify-post-training-bias-metric-di.md) | Mesure le rapport des proportions des étiquettes prédites pour la facette favorisée a et la facette défavorisée d. | Un déséquilibre éventuel entre les groupes démographiques dans les résultats positifs prédits peut-il indiquer un biais ? | Plage pour les étiquettes de facettes binaires et multicatégorie normalisées, et les étiquettes continues : [0, ∞) Interprétation : [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Disparité démographique conditionnelle dans les étiquettes prédites (CDDPL)](clarify-post-training-bias-metric-cddpl.md) | Mesure la disparité globale des étiquettes prédites entre les facettes, mais aussi par sous-groupes. | La proportion de rejets des demandes de prêt de certains groupes démographiques est-elle supérieure à la proportion d’acceptations ? | Plage de valeurs CDDPL pour les résultats binaires, multicatégorie et continus : `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [FlipTest contrefactuel (FT)](clarify-post-training-bias-metric-ft.md) | Examine chaque membre de la facette d et évalue si des prédictions de modèle sont différentes pour des membres similaires de la facette a. | Un groupe d'âge spécifique correspond-il étroitement, sur toutes les caractéristiques, à un groupe d'âge différent, tout en étant payé plus en moyenne ? | La plage pour les étiquettes de facettes binaires et multicatégorie est [-1, \$11]. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence de précision (AD)](clarify-post-training-bias-metric-ad.md) | Mesure la différence entre la précision de la prédiction pour les facettes favorisée et défavorisée. | La prédiction d’étiquettes par le modèle est-elle aussi précise pour les demandes de tous les groupes démographiques ? | La plage pour les étiquettes de facettes binaires et multicatégorie est [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence de rappel (RD)](clarify-post-training-bias-metric-rd.md) | Compare le rappel du modèle pour les facettes favorisée et défavorisée. | Le taux de rappel pour un modèle est plus élevé pour un groupe d’âge que pour un autre. Peut-on dire qu’il existe un biais basé sur l’âge au niveau des prêts ? | Plage de classification binaire et multicatégorie : `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence d'acceptation conditionnelle (DCAcc)](clarify-post-training-bias-metric-dcacc.md) | Compare les étiquettes observées aux étiquettes prédites par un modèle. Évalue s'il en va de même entre les facettes pour les résultats positifs prédits (acceptations). | Dans le cadre de la comparaison d'un groupe d'âge à un autre, les prêts sont-ils acceptés plus fréquemment ou moins souvent que prévu (sur la base des qualifications) ? | Plage pour les étiquettes de facettes binaires et multicatégorie, et les étiquettes continues : (-∞, \$1∞). [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence dans les taux d'acceptation (DAR)](clarify-post-training-bias-metric-dar.md) | Mesure la différence dans les rapports entre les résultats positifs observés (TP) et les positifs prédits (TP \$1 FP) entre les facettes favorisée et défavorisée. | La précision du modèle est-elle identique lorsqu’il s’agit de prédire des acceptations de prêts pour les candidats qualifiés dans tous les groupes d’âge ? | La plage pour les étiquettes de facettes binaires et multicatégorie, et les étiquettes continues est [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence de spécificité (SD)](clarify-post-training-bias-metric-sd.md) | Compare la spécificité du modèle entre les facettes favorisée et défavorisée. | Existe-t-il un biais basé sur l'âge au niveau des prêts du fait que le modèle prédit une plus grande spécificité pour un groupe d'âge que pour un autre ? | Plage de classification binaire et multicatégorie : `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence dans les rejets conditionnels (DCR)](clarify-post-training-bias-metric-dcr.md) | Compare les étiquettes observées aux étiquettes prédites par un modèle, et évalue s’il en va de même entre les facettes pour les résultats négatifs (rejets). | Le nombre de rejets de demandes de prêt est-il plus ou moins élevé que prédit pour un groupe d'âge par rapport à un autre selon les qualifications ? | Plage pour les étiquettes de facettes binaires et multicatégorie, et les étiquettes continues : (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Différence dans les taux de rejets (DRR)](clarify-post-training-bias-metric-drr.md) | Mesure la différence dans les rapports entre les résultats négatifs observés (TN) et les négatifs prédits (TN \$1 FN) entre les facettes défavorisée et favorisée. | La précision du modèle est-elle identique lorsqu’il s’agit de prédire des rejets de prêts pour les candidats non qualifiés dans tous les groupes d’âge ? | La plage pour les étiquettes de facettes binaires et multicatégorie, et les étiquettes continues est [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Égalité de traitement (TE)](clarify-post-training-bias-metric-te.md) | Mesure la différence dans le rapport entre faux positifs et faux négatifs entre les facettes favorisée et défavorisée. | Dans les demandes de prêt, le rapport relatif entre faux positifs et faux négatifs est-il identique pour tous les groupes d'âge ? | Plage pour les étiquettes de facettes binaires et multicatégorie : (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Entropie généralisée (GE)](clarify-post-training-bias-metric-ge.md) | Mesure l'inégalité des bénéfices b affectés à chaque entrée par les prédictions de modèle. | Parmi les deux modèles candidats pour la classification des demandes de prêt, l'un conduit-il à une distribution plus inégale des résultats souhaités que l'autre ? | Plage pour les étiquettes binaires et multicatégorie : (0, 0,5). L'entropie généralisée (GE) n'est pas définie si le modèle prédit uniquement des faux négatifs.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
Pour plus d'informations sur les métriques de biais de post-entraînement, consultez [A Family of Fairness Measures for Machine Learning in Finance](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf) (Série de mesures d'équité pour le machine learning appliqué à la finance).
**Topics**
+ [Différence dans les proportions positives des étiquettes prédites (DPPL)](clarify-post-training-bias-metric-dppl.md)
+ [Impact disparate (DI)](clarify-post-training-bias-metric-di.md)
+ [Différence d'acceptation conditionnelle (DCAcc)](clarify-post-training-bias-metric-dcacc.md)
+ [Différence dans les rejets conditionnels (DCR)](clarify-post-training-bias-metric-dcr.md)
+ [Différence de spécificité (SD)](clarify-post-training-bias-metric-sd.md)
+ [Différence de rappel (RD)](clarify-post-training-bias-metric-rd.md)
+ [Différence dans les taux d'acceptation (DAR)](clarify-post-training-bias-metric-dar.md)
+ [Différence dans les taux de rejets (DRR)](clarify-post-training-bias-metric-drr.md)
+ [Différence de précision (AD)](clarify-post-training-bias-metric-ad.md)
+ [Égalité de traitement (TE)](clarify-post-training-bias-metric-te.md)
+ [Disparité démographique conditionnelle dans les étiquettes prédites (CDDPL)](clarify-post-training-bias-metric-cddpl.md)
+ [FlipTest contrefactuel (FT)](clarify-post-training-bias-metric-ft.md)
+ [Entropie généralisée (GE)](clarify-post-training-bias-metric-ge.md)
# Différence dans les proportions positives des étiquettes prédites (DPPL)
La métrique Différence de proportions positives dans les étiquettes prédites (DPPL) détermine si le modèle prédit les résultats différemment pour chaque facette. Elle est définie comme la différence entre la proportion de prédictions positives (y' = 1) pour la facette *a* et la proportion de prédictions positives (y' = 1) pour la facette *d*. Par exemple, si le modèle prédit l’octroi de prêts à 60 % d’un groupe d’âge moyen (facette *a*) et à 50 % d’autres groupes d’âge (facette *d*), le biais peut être dirigé vers la facette *d*. Dans cet exemple, vous devez déterminer si la différence de 10 % est significative pour un cas de biais.
Une comparaison de la différence dans les proportions d’étiquettes (DPL), une mesure du biais avant l’entraînement, avec le DPPL, une mesure du biais après l’entraînement, permet de déterminer si les biais dans les proportions positives initialement présentes dans le jeu de données changent après l’entraînement. Si le DPPL est supérieur au DPL, les biais dans des proportions positives augmentent après l’entraînement. Si le DPPL est inférieur au DPL, le modèle n’a pas augmenté les biais dans des proportions positives après l’entraînement. La comparaison entre le DPL et le DPPL ne garantit pas que le modèle réduira les biais dans toutes les dimensions. Par exemple, le modèle peut toujours être biaisé lorsqu’il prend en compte d’autres métriques telles que [FlipTest contrefactuel (FT)](clarify-post-training-bias-metric-ft.md) ou [Différence de précision (AD)](clarify-post-training-bias-metric-ad.md). Pour plus d'informations sur la détection des biais, consultez le billet de blog [Découvrez comment Amazon SageMaker Clarify aide à détecter les biais](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/). Consultez [Différence dans les proportions d'étiquettes (DPL)](clarify-data-bias-metric-true-label-imbalance.md) pour plus d’informations sur les DPL.
La formule de la valeur DPPL est la suivante :
DPPL = q’a - q’d
Où :
+ q’a = n’a(1)/na est la proportion prédite des membres de la facette *a* qui obtiennent un résultat positif de valeur 1. Dans notre exemple, la proportion d'une facette d'âge moyen à laquelle l'octroi d'un prêt est prédit. Ici, n'a(1) représente le nombre de membres de la facette *a* qui obtiennent un résultat positif prédit de valeur 1 et na est le nombre de membres de la facette *a*.
+ q’d = n’d(1)/nd est la proportion prédite des étiquettes de la facette *d* qui obtiennent un résultat positif de valeur 1. Dans notre exemple, une facette de personnes âgées et plus jeunes à laquelle l'octroi d'un prêt est prédit. Ici, n’d(1) représente le nombre de membres de la facette *d* qui obtiennent un résultat positif prédit et nd est le nombre de membres de la facette *d*.
Si la DPPL est suffisamment proche de 0, cela signifie que la *parité démographique* de post-entraînement est atteinte.
Pour les étiquettes de facettes binaires et multicatégorie, les valeurs de DPL normalisées s’échelonnent sur l’intervalle [-1, 1]. Pour les étiquettes continues, les valeurs varient sur l'intervalle (-∞, \$1∞).
+ Des valeurs DPPL positives indiquent qu'une proportion plus élevée de résultats positifs est prédite à la facette *a* par rapport à la facette *d*.
D'où l'expression *biais positif*.
+ Des valeurs de DPPL proches de zéro indiquent qu'une proportion plus égale de résultats positifs est prédite aux facettes *a* et *d*, tandis qu'une valeur de zéro indique une parfaite parité démographique.
+ Des valeurs DPPL négatives indiquent qu'une proportion plus élevée de résultats positifs est prédite à la facette *d* par rapport à la facette *a*. D'où l'expression *biais négatif*.
# Impact disparate (DI)
La métrique Différence de proportions positives dans les étiquettes prédites peut être évaluée sous la forme d’un rapport.
La métrique Comparaison de proportions positives dans les étiquettes prédites peut être évaluée sous la forme d’un rapport plutôt que d’une différence, comme c’est le cas avec la [Différence dans les proportions positives des étiquettes prédites (DPPL)](clarify-post-training-bias-metric-dppl.md). La métrique d'impact disparate (DI) est définie comme le rapport entre la proportion de prédictions positives (y' = 1) pour la facette *d* et la proportion de prédictions positives (y' = 1) pour la facette *a*. Par exemple, si le modèle prédit l'octroi de prêts à 60 % d'un groupe d'âge moyen (facette *a*) et à 50 % d'autres groupes d'âge (facette *d*), le DI = 0,5/0,6 = 0,8, ce qui indique un biais positif et un impact négatif sur l'autre groupe d'âge représenté par la facette *d*.
La formule pour le rapport entre les proportions des étiquettes prédites :
DI = q'd/q'a
Où :
+ q’a = n’a(1)/na est la proportion prédite des membres de la facette *a* qui obtiennent un résultat positif de valeur 1. Dans notre exemple, la proportion d'une facette d'âge moyen à laquelle l'octroi d'un prêt est prédit. Ici, n'a(1) représente le nombre de membres de la facette *a* qui obtiennent un résultat positif prédit et na est le nombre de membres de la facette *a*.
+ q’d = n’d(1)/nd est la proportion prédite des membres de la facette *d* qui obtiennent un résultat positif de valeur 1. Dans notre exemple, une facette de personnes âgées et plus jeunes à laquelle l'octroi d'un prêt est prédit. Ici, n'd(1) représente le nombre de membres de la facette *d* qui obtiennent un résultat positif prédit et nd est le nombre de membres de la facette *d*.
Pour les étiquettes de facettes binaires, multicatégorie et continues, les valeurs DI s'étendent sur l'intervalle [0, ∞).
+ Des valeurs inférieures à 1 indiquent qu'une proportion plus élevée de résultats positifs est prédite à la facette *a* par rapport à la facette *d*. D'où l'expression *biais positif*.
+ Une valeur égale à 1 indique la parité démographique.
+ Des valeurs supérieures à 1 indiquent qu'une proportion plus élevée de résultats positifs est prédite à la facette *d* par rapport à la facette *a*. D'où l'expression *biais négatif*.
# Différence d'acceptation conditionnelle (DCAcc)
Cette métrique compare les étiquettes observées aux étiquettes prédites par le modèle et évalue s’il en va de même entre les facettes pour les résultats positifs prédits. Cette métrique retype un peu le biais humain en ce sens qu’elle quantifie combien d’autres résultats positifs un modèle a prédits (étiquettes y’) pour une certaine facette par rapport à ce qui a été observé dans le jeu de données d’entraînement (étiquettes y). Par exemple, si l'on observe dans le jeu de données d'entraînement plus d'acceptations (un résultat positif) pour les demandes de prêt d'un groupe d'âge moyen (facette *a*) que prévu par le modèle basé sur les qualifications, par rapport à la facette contenant d'autres groupes d'âge (facette *d*), cela pourrait indiquer un biais potentiel dans la façon dont les prêts ont été approuvés en favorisant le groupe d'âge moyen.
La formule de calcul de la différence d’acceptation conditionnelle :
DCAcc = c a - c d
Où :
+ ca = na(1)/ n'a(1) est le rapport entre le nombre observé de résultats positifs de valeur 1 (acceptations) pour la facette *a* et le nombre prédit de résultats positifs (acceptations) pour la facette *a*.
+ cd = nd(1)/ n'd(1) est le rapport entre le nombre observé de résultats positifs de valeur 1 (acceptations) pour la facette *d* et le nombre prédit de résultats positifs (acceptations) pour la facette *d*.
La DCAcc métrique peut saisir les biais positifs et négatifs qui révèlent un traitement préférentiel basé sur les qualifications. Examinez, dans les cas suivants, l'incidence du biais basé sur l'âge, sur les acceptations de prêts.
**Exemple 1 : biais positif**
Supposons un jeu de données composé de 100 personnes d’âge moyen (facette *a*) et de 50 personnes d’autres groupes d’âge (facette *d*) qui ont demandé des prêts, le modèle recommandant l’octroi de prêts à 60 personnes de la facette *a* et 30 personnes de la facette *d*. Les proportions prédites ne sont donc pas biaisées par rapport à la métrique DPPL, mais les étiquettes observées montrent que des prêts ont été accordés à 70 personnes de la facette *a* et 20 personnes de la facette *d*. En d'autres termes, le modèle a accordé des prêts à 17 % de moins de personnes d'âge moyen que les étiquettes observées dans les données d'entraînement le suggéraient (70/60 = 1,17), et a accordé des prêts à 33 % de plus de personnes d'autres groupes d'âge que les étiquettes observées le suggéraient (20/30 = 0,67). Le calcul de la DCAcc valeur donne les résultats suivants :
DCAcc = 70/60 - 20/30 = 1/2
La valeur positive indique qu'il existe un biais potentiel contre la facette *a* d'âge moyen avec un taux d'acceptation plus faible comparé à l'autre facette *d*, par rapport à ce que les données observées (considérées comme non biaisées) indiquent.
**Exemple 2 : biais négatif**
Supposons un jeu de données composé de 100 personnes d’âge moyen (facette *a*) et de 50 personnes d’autres groupes d’âge (facette *d*) qui ont demandé des prêts, le modèle recommandant l’octroi de prêts à 60 personnes de la facette *a* et 30 personnes de la facette *d*. Les proportions prédites ne sont donc pas biaisées par rapport à la métrique DPPL, mais les étiquettes observées montrent que des prêts ont été accordés à 50 personnes de la facette *a* et 40 personnes de la facette *d*. En d’autres termes, le modèle a accordé des prêts à 17 % de moins de personnes d’âge moyen que les étiquettes observées dans les données d’entraînement le suggéraient (50/60 = 0,83), et a accordé des prêts à 33 % de plus de personnes d’autres groupes d’âge que les étiquettes observées le suggéraient (40/30 = 1,33). Le calcul de la DCAcc valeur donne les résultats suivants :
DCAcc = 50/60 - 40/30 = -1/2
La valeur négative indique qu'il existe un biais potentiel contre la facette *d* avec un taux d'acceptation plus faible comparé à la facette *a* d'âge moyen, par rapport à ce que les données observées (considérées comme non biaisées) indiquent.
Notez que vous pouvez l'utiliser DCAcc pour vous aider à détecter les biais potentiels (involontaires) causés par des humains supervisant les prédictions du modèle dans un environnement. human-in-the-loop Supposons, par exemple, que les prédictions y' du modèle ne soient pas biaisées, mais que la décision finale prise par un humain (ayant accès éventuellement à des fonctions supplémentaires) puisse modifier les prédictions du modèle pour générer une nouvelle version et une version finale de y'. Le traitement supplémentaire effectué par l'humain peut involontairement refuser des prêts à un nombre disproportionné d'entre eux sous un angle. DCAccpeut aider à détecter de tels biais potentiels.
La plage de valeurs pour les différences d'acceptation conditionnelle des étiquettes binaires, multicatégorie et continues est (-∞, \$1∞).
+ Des valeurs positives se produisent lorsque le rapport entre le nombre observé d’acceptations par rapport aux acceptations prédites pour la facette *a* est supérieur au même rapport pour la facette *d*. Des valeurs négatives indiquent un biais possible envers les candidats qualifiés de la facette *a*. Le biais apparent est d’autant plus extrême que la différence des rapports est importante.
+ Des valeurs proches de zéro se produisent lorsque le rapport entre le nombre observé d'acceptations par rapport aux acceptations prédites pour la facette *a* est identique au rapport pour la facette *d*. Ces valeurs indiquent que les taux d'acceptation prédits sont conformes aux valeurs observées dans les données étiquetées et que les candidats qualifiés des deux facettes sont acceptés de la même manière.
+ Des valeurs négatives se produisent lorsque le rapport entre le nombre observé d’acceptations par rapport aux acceptations prédites pour la facette *a* est inférieur à ce rapport pour la facette *d*. Des valeurs négatives indiquent un biais possible envers les candidats qualifiés de la facette *d*. Le biais apparent est d’autant plus extrême que la différence des rapports est négative.
# Différence dans les rejets conditionnels (DCR)
Cette métrique compare les étiquettes observées aux étiquettes prédites par le modèle et évalue s’il en va de même entre les facettes pour les résultats négatifs (rejets). Cette métrique retype un peu le biais humain en ce sens qu’elle quantifie combien d’autres résultats négatifs un modèle a prédits (étiquettes prédites y’) pour une certaine facette par rapport à ce qui a été suggéré par les étiquettes dans le jeu de données d’entraînement (étiquettes observées y). Par exemple, si les rejets observés (un résultat négatif) pour les demandes de prêt d'un groupe d'âge moyen (facette *a*) étaient plus nombreux que ceux prédits par le modèle basé sur les qualifications, par rapport à la facette contenant d'autres groupes d'âge (facette *d*), cela pourrait indiquer un biais potentiel dans la façon dont les prêts ont été rejetés. Ce biais favoriserait le groupe d'âge moyen par rapport aux autres groupes.
La formule de calcul de la différence d’acceptation conditionnelle :
DCR = rd- ra
Où :
+ rd = nd(0)/ n'd(0) est le rapport entre le nombre observé de résultats négatifs de valeur 0 (rejets) de la facette *d* et le nombre prédit de résultats négatifs (rejets) pour la facette *d*.
+ ra = na(0)/ n’a(0) est le rapport entre le nombre observé de résultats négatifs de valeur 0 (rejets) de la facette *a* et le nombre prédit de résultats négatifs de valeur 0 (rejets) pour la facette *a*.
La métrique DCR peut saisir les biais positif et négatif révélant un traitement préférentiel basé sur les qualifications. Examinez, dans les cas suivants, l'incidence du biais sur les rejets de prêts en fonction de l'âge.
**Exemple 1 : biais positif**
Supposons un jeu de données composé de 100 personnes d’âge moyen (facette *a*) et de 50 personnes d’autres groupes d’âge (facette *d*) qui ont demandé des prêts, le modèle recommandant le rejet de prêts à 60 personnes de la facette *a* et à 30 personnes de la facette *d*. Les proportions prédites ne sont donc pas biaisées par rapport à la métrique DPPL, mais les étiquettes observées montrent que des prêts ont été refusés à 50 personnes de la facette *a* et à 40 personnes de la facette *d*. En d'autres termes, le modèle a rejeté 17 % de prêts de plus pour la facette d'âge moyen que ce que les étiquettes observées dans les données d'entraînement suggéraient (50/60 = 0,83). Il a aussi rejeté 33 % de prêts de moins pour les autres groupes d'âge que ce que les étiquettes observées suggéraient (40/30 = 1,33). La valeur DCR quantifie cette différence dans le rapport entre les taux de rejet observés et prédits entre les facettes. La valeur positive indique qu'il existe un biais potentiel favorisant le groupe d'âge moyen avec des taux de rejet plus faibles par rapport aux autres groupes que les données observées (considérées comme non biaisées) ne l'indiquent.
DCR = 40/30 - 50/60 = 1/2
**Exemple 2 : biais négatif**
Supposons un jeu de données composé de 100 personnes d’âge moyen (facette *a*) et de 50 personnes d’autres groupes d’âge (facette *d*) qui ont demandé des prêts, le modèle recommandant le rejet de prêts à 60 personnes de la facette *a* et à 30 personnes de la facette *d*. Les proportions prédites ne sont donc pas biaisées par rapport à la métrique DPPL, mais les étiquettes observées montrent que des prêts ont été refusés à 70 personnes de la facette *a* et à 20 personnes de la facette *d*. En d'autres termes, le modèle a rejeté 17 % de prêts de moins pour la facette des personnes d'âge moyen que ce que les étiquettes observées dans les données d'entraînement suggéraient (70/60 = 1,17). Il a également rejeté 33 % de prêts de plus pour les autres groupes d'âge que ce que les étiquettes observées suggéraient (20/30 = 0,67). La valeur négative indique qu'il existe un biais potentiel favorisant la facette *a* avec des taux de rejet plus faibles comparé à la facette *a* d'âge moyen, par rapport à ce que les données observées (considérées comme non biaisées) indiquent.
DCR = 20/30 - 70/60 = -1/2
La plage de valeurs pour les différences de rejet conditionnel des étiquettes binaires, multicatégorie et continues est (-∞, \$1∞).
+ Des valeurs positives se produisent lorsque le rapport entre le nombre observé de rejets et les rejets prédits pour la facette *d* est supérieur au même rapport pour la facette *a*. Des valeurs négatives indiquent un biais possible envers les candidats qualifiés de la facette *a*. Le biais apparent est d’autant plus extrême que la valeur de la métrique DCR est élevée.
+ Des valeurs proches de zéro se produisent lorsque le rapport entre le nombre observé de rejets et les acceptations prédites pour la facette *a* est similaire au rapport pour la facette *d*. Ces valeurs indiquent que les taux de rejets prédits sont conformes aux valeurs observées dans les données étiquetées et que les rejets s'appliquent de la même manière aux candidats qualifiés des deux facettes.
+ Des valeurs négatives se produisent lorsque le rapport entre le nombre observé de rejets et les rejets prédits pour la facette *d* est inférieur au rapport pour la facette *a*. Des valeurs négatives indiquent un biais possible envers les candidats qualifiés de la facette *d*. Le biais apparent est d’autant plus extrême que la métrique DCR est négative.
# Différence de spécificité (SD)
La différence de spécificité (SD) est la différence de spécificité entre la facette favorisée *a* et la facette défavorisée *d*. La spécificité mesure la fréquence à laquelle le modèle prédit correctement un résultat négatif (y'=0). La moindre différence dans ces spécificités est une forme potentielle de biais.
La spécificité est parfaite pour une facette si tous les cas où y=0 sont correctement prédits pour cette facette. La spécificité est plus élevée lorsque le modèle minimise les faux positifs, ce qui correspond à une erreur de type I. Par exemple, la différence entre une faible spécificité pour l'octroi de prêts aux membres de la facette *a* et une forte spécificité pour l'octroi de prêts aux membres de la facette *d*, est une mesure du biais contre la facette *d*.
La formule suivante permet de calculer la différence de spécificité pour les facettes *a* et *d*.
SD = TNd/(TNd \$1 FPd) - TNa/(TNa \$1 FPa) = TNRd - TNRa
Les variables suivantes utilisées pour calculer SD sont définies comme suit :
+ TNd sont les vrais négatifs prédits pour la facette*D*.
+ FPd sont les faux positifs prédits pour la facette *d*.
+ TNd correspond aux faux négatifs prédits pour la facette *a*.
+ FPd sont les faux positifs prédits pour la facette *a*.
+ TNRa = TNa/(TNa \$1 FPa) est le taux de vrais négatifs, également connu sous le nom de spécificité, pour la facette *a*.
+ TNRd = TNd/(TNd \$1 FPd) est le taux de vrais négatifs, également connu sous le nom de spécificité, pour la facette *d*.
Considérons, par exemple, les matrices de confusion suivantes pour les facettes *a* et *d*.
Matrice de confusion pour la facette favorisée `a`
| Prédictions de Classe a | Résultat réel 0 | Résultat réel 1 | Total |
| --- | --- | --- | --- |
| 0 | 20 | 5 | 25 |
| 1 | 10 | 65 | 75 |
| Total | 30 | 70 | 100 |
Matrice de confusion pour la facette défavorisée `d`
| Prédictions de Classe d | Résultat réel 0 | Résultat réel 1 | Total |
| --- | --- | --- | --- |
| 0 | 18 | 7 | 25 |
| 1 | 5 | 20 | 25 |
| Total | 23 | 27 | 50 |
La valeur de la différence de spécificité est `SD = 18/(18+5) - 20/(20+10) = 0.7826 - 0.6667 = 0.1159`, ce qui indique un biais contre la facette *d*.
La plage de valeurs pour la différence de spécificité entre les facettes *a* et *d* pour la classification binaire et multicatégorie est `[-1, +1]`. Cette métrique n’est pas disponible dans le cas d’étiquettes continues. Voici ce que les différentes valeurs de SD impliquent :
+ Des valeurs positives sont obtenues quand la spécificité est plus élevée pour la facette *d* que pour la facette *a*. Cela suggère que le modèle trouve moins de faux positifs pour la facette *d* que pour la facette *a*. Une valeur positive indique un biais contre la facette *d*.
+ Des valeurs proches de zéro indiquent que la spécificité pour les facettes comparées est similaire. Cela suggère que le modèle trouve un nombre similaire de faux positifs dans les deux facettes et qu'il n'est pas biaisé.
+ Des valeurs négatives sont obtenues quand la spécificité est plus élevée pour la facette *a* que pour la facette *d*. Cela suggère que le modèle trouve plus de faux positifs pour la facette *a* que pour la facette *d*. Une valeur négative indique un biais contre la facette *a*.
# Différence de rappel (RD)
La métrique de différence de rappel (RD) est la différence de rappel du modèle entre la facette favorisée *a* et la facette défavorisée *d*. La moindre différence dans ces rappels est une forme potentielle de biais. Le rappel est le taux de vrais positifs (TPR) qui mesure la fréquence à laquelle le modèle prédit correctement les cas qui devraient recevoir un résultat positif. Le rappel est parfait pour une facette si tous les cas y=1 sont correctement prédits comme y'=1 pour cette facette. Le rappel est plus important lorsque le modèle diminue les faux négatifs connus sous le nom d'erreur de type II. Par exemple, combien de personnes dans deux groupes différents (facettes *a* et *d*), qui devraient être admissibles aux prêts, sont correctement détectées par le modèle ? Si le taux de rappel est élevé pour l'octroi de prêts aux membres de la facette *a*, mais faible pour les membres de la facette *d*, la différence fournit une mesure de ce biais par rapport au groupe appartenant à la facette *d*.
La formule de calcul de la différence des taux de rappel pour les facettes *a* et *d* :
RD = TPa/(TPa \$1 FNa) - TPd/(TPd \$1 FNd) = TPRa - TPRd
Où :
+ TPa sont les vrais positifs prédits pour la facette *a*.
+ FNa sont les faux négatifs prédits pour la facette *a*.
+ TPd sont les vrais positifs prédits pour la facette *d*.
+ FNd sont les faux négatifs prédits pour la facette *d*.
+ TPRa = TPa/(TPa \$1 FNa) est le rappel pour la facette *a* ou son taux de vrais positifs.
+ TPRd = TPd/(TPd \$1 FNd) est le rappel pour la facette *d* ou son taux de vrais positifs.
Considérons, par exemple, les matrices de confusion suivantes pour les facettes *a* et *d*.
Matrice de confusion pour la facette favorisée a
| Prédictions de Classe a | Résultat réel 0 | Résultat réel 1 | Total |
| --- | --- | --- | --- |
| 0 | 20 | 5 | 25 |
| 1 | 10 | 65 | 75 |
| Total | 30 | 70 | 100 |
Matrice de confusion pour la facette défavorisée d
| Prédictions de Classe d | Résultat réel 0 | Résultat réel 1 | Total |
| --- | --- | --- | --- |
| 0 | 18 | 7 | 25 |
| 1 | 5 | 20 | 25 |
| Total | 23 | 27 | 50 |
La valeur de la différence de rappel est RD = 65/70 - 20/27 = 0,93 - 0,74 = 0,19, soit un biais envers la facette *d*.
La plage de valeurs pour la différence de rappel entre les facettes *a* et *d* pour la classification binaire et multicatégorie est [-1, \$11]. Cette métrique n'est pas disponible dans le cas d'étiquettes continues.
+ Des valeurs positives sont obtenues lorsqu'un rappel est plus élevé pour la facette *a* que pour la facette *d*. Cela suggère que le modèle trouve plus des vrais positifs pour la facette *a* que pour la facette *d*, ce qui est une forme de biais.
+ Des valeurs proches de zéro indiquent que le rappel comparé des facettes est similaire. Cela suggère que le modèle trouve à peu près le même nombre de vrais positifs dans les deux facettes et qu'il n'est pas biaisé.
+ Des valeurs négatives sont obtenues lorsqu'un rappel est plus élevé pour la facette *d* que pour la facette *a*. Cela suggère que le modèle trouve plus des vrais positifs pour la facette *d* que pour la facette *a*, ce qui est une forme de biais.
# Différence dans les taux d'acceptation (DAR)
La métrique de la différence des taux d’acceptation (DAR) est la différence des rapports entre les prédictions de vrais positifs (TP) et les positifs observés (TP \$1 FP) pour les facettes *a* et *d*. Cette métrique mesure la différence de précision du modèle pour prédire les acceptations à partir de ces deux facettes. La précision mesure la fraction de candidats qualifiés du groupe de candidats qualifiés, identifiés comme tels par le modèle. Si la précision du modèle pour prédire les candidats qualifiés diverge entre les facettes, il s'agit là d'un biais et son ampleur est mesurée par le DAR.
La formule de calcul de la différence de taux d'acceptation entre les facettes *a* et *d* :
DAR = TPa/(TPa \$1 FPa) - TPd/(TPd \$1 FPd)
Où :
+ TPa sont les vrais positifs prédits pour la facette *a*.
+ FPa sont les faux positifs prédits pour la facette *a*.
+ TPd sont les vrais positifs prédits pour la facette *d*.
+ FPd sont les faux positifs prédits pour la facette *d*.
Par exemple, supposons que le modèle accepte d'accorder un prêt à 70 candidats d'âge moyen (facette *a*) (étiquettes positives prédites), dont seulement 35 sont effectivement acceptés (étiquettes positives observées). Supposons également que le modèle accepte d'accorder un prêt à 100 candidats d'autres groupes d'âge (facette *d*) (étiquettes positives prédites), dont seulement 40 sont effectivement acceptés (étiquettes positives observées). Comme la DAR = 35/70 - 40/100 = 0,10, cela indique un biais potentiel envers les personnes qualifiées du second groupe d'âge (facette *d*).
La plage de valeurs du DAR pour les étiquettes binaires, multicatégorie et continues est [-1, \$11].
+ Des valeurs positives se produisent lorsque le rapport entre les positifs prédits (acceptations) et les résultats positifs observés (candidats qualifiés) pour la facette *a* est supérieur au même rapport pour la facette *d*. Ces valeurs indiquent un biais possible envers la facette défavorisée *d* dû à la présence d'un nombre relativement supérieur de faux positifs dans la facette *d*. Le biais apparent est d'autant plus extrême que la différence des rapports est importante.
+ Des valeurs proches de zéro se produisent lorsque le rapport entre les positifs prédits (acceptations) et les résultats positifs observés (candidats qualifiés) pour les facettes *a* et *d* est similaire, ce qui indique que le modèle prédit avec la même précision des étiquettes observées pour les résultats positifs.
+ Des valeurs négatives se produisent lorsque le rapport entre les positifs prédits (acceptations) et les résultats positifs observés (candidats qualifiés) pour la facette *d* est supérieur à celui de la facette *a*. Ces valeurs indiquent un biais possible envers la facette favorisée *a* dû à la présence d'un nombre relativement supérieur de faux positifs dans la facette *a*. Le biais apparent est d'autant plus extrême que la différence des rapports est négative.
# Différence dans les taux de rejets (DRR)
La métrique de la différence dans les taux de rejets (DRR) est la différence dans les rapports entre les prédictions de vrais négatifs (TN) et les négatifs observés (TN \$1 FN) pour les facettes *a* et *d*. Cette métrique mesure la différence de précision du modèle pour prédire les rejets à partir de ces deux facettes. La précision mesure la fraction de candidats non qualifiés du groupe de candidats non qualifiés, identifiés comme tels par le modèle. Si la précision du modèle pour prédire les candidats non qualifiés diverge entre les facettes, il s'agit là d'un biais et son ampleur est mesurée par la DRR.
La formule de calcul de la différence de taux de rejets entre les facettes *a* et *d* :
DRR = TNd/(TNd \$1 FNd) - TNa/(TNa \$1 FNa)
Les composantes de l'équation DRR précédente sont les suivantes.
+ TNd sont les vrais négatifs prédits pour la facette*D*.
+ FNd sont les faux négatifs prédits pour la facette *d*.
+ TPa sont les vrais négatifs prédits pour la facette*a*.
+ FNa sont les faux négatifs prédits pour la facette *a*.
Par exemple, supposons que le modèle refuse d’accorder un prêt à 100 candidats d’âge moyen (facette *a*) (étiquettes négatives prédites), dont 80 ne sont pas qualifiés (étiquettes négatives observées). Supposons également que le modèle refuse d'accorder un prêt à 50 candidats d'autres groupes d'âge (facette *d*) (étiquettes positives prédites), dont seulement 40 ne sont pas qualifiés (étiquettes positives observées). Comme la DRR = 40/50 - 80/100 = 0, aucun biais n’est donc indiqué.
La plage de valeurs pour la DRR d'étiquettes binaires, multicatégorie et continues est [-1, \$11].
+ Des valeurs positives se produisent lorsque le rapport entre les négatifs prédits (rejets) et les résultats négatifs observés (candidats non qualifiés) pour la facette *d* est supérieur au même rapport pour la facette *a*. Ces valeurs indiquent un biais possible envers la facette favorisée *a* dû à la présence d'un nombre relativement supérieur de faux négatifs dans la facette *a*. Le biais apparent est d'autant plus extrême que la différence des rapports est importante.
+ Des valeurs proches de zéro se produisent lorsque le rapport entre les négatifs prédits (rejets) et les résultats négatifs observés (candidats non qualifiés) pour les facettes *a* et *d* a des valeurs similaires, ce qui indique que le modèle prédit avec la même précision des étiquettes observées pour les résultats négatifs.
+ Des valeurs négatives se produisent lorsque le rapport entre les négatifs prédits (rejets) et les résultats négatifs observés (candidats non qualifiés) pour la facette *a* est supérieur au rapport de la facette *d*. Ces valeurs indiquent un biais possible envers la facette défavorisée *d* dû à la présence d'un nombre relativement supérieur de faux positifs dans la facette *d*. Le biais apparent est d'autant plus extrême que la différence des rapports est négative.
# Différence de précision (AD)
La métrique de différence de précision (AD) est la différence de précision de prédiction entre différentes facettes. Cette métrique détermine si la classification par le modèle est plus précise pour une facette que pour l'autre. L'AD indique si une facette enregistre une plus grande proportion d'erreurs de type I et de type II. Elle ne peut cependant pas faire la différence entre les erreurs de type I et de type II. Par exemple, la précision du modèle peut être égale pour différents groupes d'âge, mais les erreurs peuvent être principalement des faux positifs (erreurs de type I) pour l'un des groupes et principalement des faux négatifs (erreurs de type II) pour l'autre.
En outre, si la précision d'approbation de prêt est nettement plus élevée pour une population d'âge moyen (facette *a*) que pour un autre groupe d'âge (facette *d*), alors, soit une proportion supérieure de demandeurs qualifiés du second groupe se voit refuser un prêt (FN), soit une proportion supérieure de demandeurs non qualifiés de ce groupe obtient un prêt (FP), ou les deux. Cela peut conduire à une injustice envers le second groupe, même si la proportion de prêts accordés est sensiblement identique pour les deux groupes d'âge, comme l'indique une valeur de DPPL proche de zéro.
La formule pour la métrique AD est la différence entre la précision de prédiction pour la facette *a*, ACCa, moins celle de la facette *d*, ACCd :
AD = ACCa - ACCd
Où :
+ ACCa= (TPa \$1 TNa)/(TPa \$1 TNa\$1 FPa \$1 FNa)
+ TPa sont les vrais positifs prédits pour la facette *a*
+ TNa sont les faux négatifs prédits pour la facette *a*.
+ FPa sont les faux positifs prédits pour la facette *a*.
+ FNa sont les faux négatifs prédits pour la facette *a*.
+ ACCd= (TPd \$1 TNd)/(TPd \$1 TNd\$1 FPd \$1 FNd)
+ TPd sont les vrais positifs prédits pour la facette *d*.
+ TNd sont les vrais négatifs prédits pour la facette *d*
+ FPd sont les faux positifs prédits pour la facette *d*
+ FNd sont les faux négatifs prédits pour la facette *d*
Par exemple, supposons qu'un modèle accorde des prêts à 70 demandeurs d'une facette *a* qui en compte 100, et rejette les 30 autres. 10 n'auraient pas dû recevoir le prêt (FPa) et 60 ont été approuvés comme cela était prévu (TPa). Sur la totalité des rejets, 20 auraient dû être approuvés (FNa), tandis que 10 ont été correctement rejetés (TNa). La précision pour la facette *a* est la suivante :
ACCa = (60 \$1 10)/(60 \$1 10 \$1 20 \$1 10) = 0,7
Ensuite, supposons qu'un modèle accorde des prêts à 50 demandeurs d'une facette *d* qui en compte 100, et rejette les 50 autres. 10 n'auraient pas dû recevoir le prêt (FPa) et 40 ont été approuvés comme cela était prévu (TPa). Sur la totalité des rejets, 40 auraient dû être approuvés (FNa), tandis que 10 ont été correctement rejetés (TNa). La précision pour la facette *a* est déterminée comme suit :
ACCd = (40 \$1 10)/(40 \$1 10 \$1 40 \$1 10) = 0,5
La différence de précision est donc AD = ACCa - ACCd = 0,7 - 0,5 = 0,2. Comme la métrique est positive, cela indique un biais envers la facette *d*.
La plage de valeurs d'AD pour les étiquettes de facettes binaires et multicatégorie est [-1, \$11].
+ Des valeurs positives se produisent lorsque la précision de prédiction pour la facette *a* est supérieure à celle pour la facette *d*. Cela signifie que la facette *d* pâtit davantage d'une combinaison de faux positifs (erreurs de type I) ou de faux négatifs (erreurs de type II). Cela indique donc un biais potentiel envers la facette défavorisée *d*.
+ Des valeurs proches de zéro se produisent lorsque la précision de la prédiction pour la facette *a* est similaire à celle pour la facette *d*.
+ Des valeurs négatives se produisent lorsque la précision de prédiction pour la facette *d* est supérieure à celle pour la facette *a*. Cela signifie que la facette *a* pâtit davantage d'une combinaison de faux positifs (erreurs de type I) ou de faux négatifs (erreurs de type II). Cela indique donc un biais potentiel envers la facette favorisée *a*.
# Égalité de traitement (TE)
L’égalité de traitement (TE) est la différence dans le rapport entre les faux négatifs et les faux positifs entre les facettes *a* et *d*. Cette métrique a pour objectif principal d’évaluer si, avec une précision identique entre les groupes, les erreurs sont plus préjudiciables à un groupe qu’à un autre. Le taux d'erreur provient du total des faux positifs et des faux négatifs, mais leur répartition peut varier très fortement d'une facette à l'autre. Le TE mesure si les erreurs se compensent de façon similaire ou différente selon les facettes.
La formule de calcul de l’égalité de traitement :
TE = FNd/FPd - FNa/FPa
Où :
+ FNd sont les faux négatifs prédits pour la facette *d*.
+ FPd sont les faux positifs prédits pour la facette *d*.
+ FNa sont les faux négatifs prédits pour la facette *a*.
+ FPa sont les faux positifs prédits pour la facette *a*.
Vous noterez que la métrique devient sans limite si la valeur FPa ou FPd est égale à zéro.
Par exemple, supposons qu’il y ait 100 demandeurs de prêt de la facette *a* et 50 de la facette *d*. Dans la facette *a*, 8 se sont vu refuser un prêt à tort (FNa) et 6 autres se sont vu accorder un prêt à tort (FPa). Les prédictions restantes étaient vraies, donc TPa \$1 TNa = 86. Dans la facette *d*, 5 se sont vu refuser un prêt à tort (FNd) et 2 se sont vu accorder un prêt à tort (FPd). Les prédictions restantes étaient vraies, donc TPd \$1 TNd = 43. Le rapport entre faux négatifs et faux positifs est égal à 8/6 = 1,33 pour la facette *a* et 5/2 = 2,5 pour la facette *d*. Donc, TE = 2,5 - 1,33 = 1,167, même avec une précision identique pour les deux facettes :
ACCa = (86)/(86\$1 8 \$1 6) = 0,86
ACCd = (43)/(43 \$1 5 \$1 2) = 0,86
La plage de valeurs des différences de rejet conditionnel pour les étiquettes de facettes binaires et multicatégorie est (-∞, \$1∞). La métrique TE n'est pas définie pour les étiquettes continues. L’interprétation de cette métrique dépend de l’importance relative des faux positifs (erreur de type I) et des faux négatifs (erreur de type II).
+ Des valeurs positives se produisent lorsque le rapport entre faux négatifs et faux positifs pour la facette *d* est supérieur à celui de la facette *a*.
+ Des valeurs proches de zéro se produisent lorsque le rapport entre faux négatifs et faux positifs pour la facette *a* est semblable à celui de la facette *d*.
+ Des valeurs négatives se produisent lorsque le rapport entre faux négatifs et faux positifs pour la facette *d* est inférieur à celui de la facette *a*.
**Note**
Une version précédente indiquait que la métrique d'égalité de traitement était calculée comme FPa / FNa - FPd / FNd au lieu de FNd / FPd - FNa / FPa. Bien que l'une ou l'autre des versions puisse être utilisée. Pour de plus amples informations, veuillez consulter [https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf).
# Disparité démographique conditionnelle dans les étiquettes prédites (CDDPL)
La métrique de disparité démographique (DDPL) détermine si, pour la facette *d*, la proportion d’étiquettes rejetées prédites est supérieure à celle d’étiquettes acceptées prédites. Elle permet de comparer la différence entre la proportion de rejets prédite et la proportion d’acceptations prédite selon les facettes. Cette métrique est exactement la même que la métrique CDD de pré-entraînement, si ce n'est qu'elle est calculée à partir des étiquettes prédites et non des étiquettes observées. Cette métrique se situe dans la plage (-1, \$11).
La formule de calcul des prédictions de disparité démographique pour les étiquettes de la facette *d* est la suivante :
DDPLd = n'd(0)/n'(0) - n'd(1)/n'(1) = PdR(y'0) - PdA(y'1)
Où :
+ n'(0) = n'a(0) \$1 n'd(0) est le nombre d'étiquettes rejetées prédites pour les facettes *a* et *d*.
+ n'(1) = n'a(1) \$1 n'd(1) est le nombre d'étiquettes acceptées prédites pour les facettes *a* et *d*.
+ PdR(y'0) est la proportion d'étiquettes rejetées prédites (valeur 0) dans la facette *d*.
+ PdA(y'1) est la proportion d'étiquettes acceptées prédites (valeur 1) dans la facette *d*.
Une métrique de disparité démographique conditionnelle dans les étiquettes prédites (CDGPL) qui conditionne une DDPL sur des attributs définissant une strate de sous-groupes dans le jeu de données est nécessaire pour exclure le paradoxe de Simpson. Le regroupement peut donner des informations sur la cause des disparités démographiques apparentes pour les facettes moins favorisées. Le cas classique s'est produit lors des admissions à Berkeley où les hommes étaient globalement acceptés à un taux plus élevé que les femmes. Cependant, à l'examen des sous-groupes départementaux, les taux d'admission des femmes étaient supérieurs à ceux des hommes. Cela venait du fait que les femmes avaient déposé une demande dans des départements où les taux d'acceptation étaient inférieurs à ceux des hommes. L'examen des taux d'acceptation des sous-groupes a révélé que les femmes étaient effectivement acceptées à un taux plus élevé que les hommes dans les départements où les taux d'acceptation étaient inférieurs.
La métrique CDGPL fournit une mesure unique pour toutes les disparités trouvées dans les sous-groupes définis par un attribut d'un jeu de données en en faisant la moyenne. Elle est définie comme la moyenne pondérée des disparités démographiques dans les étiquettes prédites (DDPLi) pour chacun des sous-groupes, la disparité de chaque sous-groupe étant pondérée proportionnellement au nombre d'observations qu'il contient. La formule de calcul de la disparité démographique conditionnelle dans les étiquettes prédites est la suivante :
CDDPL = (1/n)\$1∑ini \$1DDPLi
Où :
+ ∑ini = n est le nombre total d'observations et ni est le nombre d'observations pour chaque sous-groupe.
+ DDPLi = n’i(0)/n(0) - n’i(1)/n(1) = PiR(y’0) - PiA(y’1) est la disparité démographique des étiquettes prédites pour le sous-groupe.
Ainsi, la disparité démographique pour un sous-groupe dans les étiquettes prédites (DDPLi) correspond à la différence entre la proportion d'étiquettes rejetées prédites et la proportion d'étiquettes acceptées prédites pour chaque sous-groupe.
La plage de valeurs CDGPL pour les résultats binaires, multicatégorie et continus est [-1, \$11].
+ \$11 : lorsqu'il n'y a aucune étiquette de rejet prédite pour la facette *a* ou le sous-groupe, et aucune acceptation prédite pour la facette *d* ou le sous-groupe.
+ Des valeurs positives indiquent une disparité démographique dans les étiquettes prédites du fait que la proportion d'étiquettes rejetées prédites pour la facette *d* ou le sous-groupe est supérieure à celle d'étiquettes acceptées prédites. La disparité est d'autant plus importante que la valeur est élevée.
+ Des valeurs proches de zéro indiquent qu'il n'y a pas de disparité démographique en moyenne.
+ Des valeurs négatives indiquent une disparité démographique dans les étiquettes prédites du fait que la proportion d'étiquettes rejetées prédites pour la facette *a* ou le sous-groupe est supérieure à celle d'étiquettes acceptées prédites. La disparité est d'autant plus importante que la valeur est faible.
+ -1 : lorsqu'il n'y a aucune étiquette de rejet prédite pour la facette *d* ou le sous-groupe, et aucune acceptation prédite pour la facette *d* ou le sous-groupe.
# FlipTest contrefactuel (FT)
Le FlipTest est une approche qui examine chaque membre de la facette *d* et évalue si des prédictions de modèle sont différentes pour des membres similaires de la facette *a*. Les membres de la facette *a* sont choisis pour être les voisins les plus proches de l'observation de la facette *d*. Nous évaluons combien de voisins les plus proches du groupe opposé reçoivent une prédiction différente, la prédiction pouvant passer du positif au négatif et vice versa.
La formule de calcul du FlipTest contrefactuel est la différence dans la cardinalité de deux ensembles divisée par le nombre de membres de la facette *d* :
FT = (F\$1 - F-)/nd
Où :
+ F\$1 = est le nombre de membres de la facette défavorisée *d* avec un résultat défavorable, dont les voisins les plus proches dans la facette favorisée *a* ont reçu un résultat favorable.
+ F- = est le nombre de membres de la facette défavorisée *d* avec un résultat favorable, dont les voisins les plus proches dans la facette favorisée *a* ont reçu un résultat défavorable.
+ nd est la taille de l'échantillon de la facette *d*.
La plage de valeurs du FlipTest contrefactuel pour les étiquettes de facettes binaires et multicatégorie est [-1, \$11]. Pour les étiquettes continues, un seuil est défini afin de réduire les étiquettes en binaire.
+ Des valeurs positives se produisent lorsque le nombre de décisions de FlipTest contrefactuel défavorables pour la facette défavorisée *d* est supérieur à celui de la facette favorisée.
+ Des valeurs proches de zéro se produisent lorsque le nombre de décisions de FlipTest contrefactuel défavorables et favorables s'équilibrent.
+ Des valeurs négatives se produisent lorsque le nombre de décisions de FlipTest contrefactuel défavorables pour la facette défavorisée *d* est inférieur à celui de la facette favorisée.
# Entropie généralisée (GE)
L'indice d'entropie généralisée (GE) mesure l'inégalité du bénéfice `b` pour l'étiquette prédite par rapport à l'étiquette observée. Un bénéfice survient lorsqu'un faux positif est prédit. Un faux positif survient quand une observation négative (y=0) a une prédiction positive (y'=1). Un bénéfice survient également lorsque les étiquettes observées et prédites sont les mêmes, à savoir pour un vrai positif et pour un vrai négatif. Aucun bénéfice n'apparaît quand un faux négatif est prédit. Un faux négatif survient dans le cas d'une observation positive (y=1) alors qu'un résultat négatif (y'=0) est prédit. Le bénéfice `b` est défini comme suit.
```
b = y' - y + 1
```
Selon cette définition, un faux positif reçoit un bénéfice `b` de `2`, et un faux négatif reçoit un bénéfice de `0`. Un vrai positif et un vrai négatif reçoivent tous les deux un bénéfice de `1`.
La métrique GE est calculée comme l'[indice d'entropie généralisée](https://en.wikipedia.org/wiki/Generalized_entropy_index) (GE) avec le poids `alpha` défini sur `2`. Ce poids contrôle la sensibilité à différentes valeurs de bénéfice. Une plus petite valeur `alpha` signifie une sensibilité accrue à des valeurs plus faibles.
![\[Équation définissant l'indice d'entropie généralisée avec le paramètre alpha défini sur 2.\]](http://docs.aws.amazon.com/fr_fr/sagemaker/latest/dg/images/clarify-post-training-bias-metric-ge.png)
Les variables suivantes utilisées pour calculer GE sont définies comme suit :
+ bi est le bénéfice reçu par le point de données `ith`.
+ b' est la moyenne de tous les bénéfices.
GE peut aller de 0 à 0,5, la valeur zéro indiquant l'absence d'inégalité entre les bénéfices de tous les points de données. Cela se produit quand toutes les entrées sont correctement prédites ou quand toutes les prédictions sont des faux positifs. La valeur GE n'est pas définie quand toutes les prédictions sont des faux négatifs.
**Note**
La métrique GE ne dépend pas du fait qu’une valeur de facette soit favorisée ou défavorisée.