Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Metriche sui bias dei modelli e dei dati di post-addestramento Amazon SageMaker Clarify fornisce undici dati post-formazione e metriche di distorsione dei modelli per aiutare a quantificare varie concezioni di equità. Questi concetti non possono essere soddisfatti tutti contemporaneamente e la selezione dipende dalle specifiche dei casi che comportano le potenziali distorsioni analizzate. La maggior parte di queste metriche è una combinazione di numeri presi dalle matrici di confusione di classificazione binaria per i diversi gruppi demografici. Poiché l'equità e le distorsioni possono essere definite in base a un'ampia gamma di metriche, è necessario il giudizio umano per comprendere e scegliere quali metriche sono rilevanti per il singolo caso d'uso. I clienti dovrebbero consultare le parti interessate appropriate per determinare la misura di equità appropriata per la loro applicazione. Utilizziamo la seguente notazione per discutere le metriche di distorsione. Il modello concettuale qui descritto riguarda la classificazione binaria, in cui gli eventi sono etichettati come aventi solo due esiti possibili nel loro spazio di esempio, indicati come positivo (con valore 1) e negativo (con valore 0). Questo framework è generalmente estensibile alla classificazione multicategoria in modo semplice o ai casi che comportano esiti con valori continui quando necessario. Nel caso della classificazione binaria, le etichette positive e negative vengono assegnate agli esiti registrati in un set di dati non elaborati per un facet favorito *a* e per un facet sfavorito *d*. Queste etichette y vengono chiamate *etichette osservate* per distinguerle dalle *etichette previste* y' che vengono assegnate da un modello di machine learning durante le fasi di addestramento o inferenza del ciclo di vita ML. Queste etichette vengono utilizzate per definire le distribuzioni di probabilità Pa(y) e Pd(y) per i rispettivi esiti facet. + etichette: + y rappresenta le n etichette osservate per gli esiti degli eventi in un set di dati di addestramento. + y' rappresenta le etichette previste per le n etichette osservate nel set di dati di un modello addestrato. + esiti: + Un esito positivo (con valore 1) per un esempio, come l'accettazione di un'applicazione. + n(1) è il numero di etichette osservate per gli esiti positivi (accettazioni). + n'(1) è il numero di etichette previste per gli esiti positivi (accettazioni). + Un esito negativo (con valore 0) per un esempio, come il rifiuto di un'applicazione. + n(0) è il numero di etichette osservate per gli esiti negativi (rifiuti). + n'(0) è il numero di etichette previste per gli esiti negativi (rifiuti). + valori dei facet: + facet *a*: il valore della caratteristica che definisce un gruppo demografico favorito dalla distorsione. + na è il numero di etichette osservate per il valore del facet favorito: na = na(1) \$1 na(0) è la somma delle etichette osservate positive e negative per il facet di valore *a*. + n'a è il numero di etichette previste per il valore del facet favorito: n'a = n'a(1) \$1 n'a(0) è la somma delle etichette previste positive e negative per il valore del facet *a*. Nota che n'a = na. + facet *d*: il valore della funzionalità che definisce un gruppo demografico sfavorito dalla distorsione. + nd è il numero di etichette osservate per il valore del facet sfavorito: nd = nd(1) \$1 nd(0) è la somma delle etichette osservate positive e negative per il valore del facet *d*. + n'd è il numero di etichette previste per il valore del facet sfavorito: n'd = n'd(1) \$1 n'd(0) è la somma delle etichette previste positive e negative per il valore del facet *d*. Nota che n'd = nd. + distribuzioni di probabilità per gli esiti degli esiti dei dati del facet con etichetta: + Pa(y) è la distribuzione di probabilità delle etichette osservate per il facet *a*. Per i dati con etichetta binari, questa distribuzione è data dal rapporto tra il numero di esempi nel facet *a* etichettato con esiti positivi e il numero totale, Pa(y1) = na(1)/na, e dal rapporto tra il numero di esempi con esiti negativi e il numero totale, Pa(y0) = na(0)/na. + Pd(y) è la distribuzione di probabilità delle etichette osservate per il facet *d*. Per i dati con etichetta binari, questa distribuzione è data dal numero di esempi nel facet *d* etichettato con esiti positivi rispetto al numero totale, Pd(y1) = nd(1)/nd, e dal rapporto tra il numero di esempi con esiti negativi e il numero totale, Pd(y0) = nd(0)/nd. La tabella seguente contiene una guida con istruzioni rapide e collegamenti alle metriche di distorsione post-addestramento. Metriche di distorsione post-addestramento | Metrica di distorsione post-addestramento | Description | Domanda di esempio | Interpretazione dei valori delle metriche | | --- | --- | --- | --- | | [Differenza nelle proporzioni positive delle etichette previste (DPPL)](clarify-post-training-bias-metric-dppl.md) | Misura la differenza nella proporzione di previsioni positive tra il facet favorito a e il facet sfavorito d. | C'è stato uno squilibrio tra i gruppi demografici nei risultati positivi previsti che potrebbe indicare distorsioni? | Intervallo per etichette di facet binarie e multicategoria normalizzate: `[-1,+1]` Intervallo per etichette continue: (-∞, \$1∞) Interpretazione: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Impatto diversificato (DI)](clarify-post-training-bias-metric-di.md) | Misura il rapporto tra le proporzioni delle etichette previste per il facet favorito a e il facet sfavorito d. | C'è stato uno squilibrio tra i gruppi demografici nei risultati positivi previsti che potrebbe indicare distorsioni? | Intervallo per etichette di facet binarie, multicategoria e continue: [0,∞) Interpretazione: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Disparità demografica condizionale nelle etichette previste (CDDPL)](clarify-post-training-bias-metric-cddpl.md) | Misura la disparità delle etichette previste tra i facet nel loro insieme, ma anche tra i sottogruppi. | Alcuni gruppi demografici registrano una proporzione maggiore di rifiuti come esiti dell’idoneità ai prestiti rispetto alla proporzione di accettazioni? | L’intervallo di valori CDDPL per esiti binari, multicategoria e continui: `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Fliptest controfattuale (FT)](clarify-post-training-bias-metric-ft.md) | Esamina ogni membro del facet d e valuta se membri simili del facet a hanno previsioni di modello diverse. | Un gruppo di una fascia demografica per età specifica corrisponde strettamente per tutte le caratteristiche a un gruppo di età diverso, ma in media è maggiormente retribuito? | L’intervallo per etichette di facet binarie e multicategoria è [-1, \$11]. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza di precisione (AD)](clarify-post-training-bias-metric-ad.md) | Misura la differenza tra l'accuratezza della previsione per i facet favoriti e sfavoriti. | Il modello prevede le etichette con la stessa precisione per le applicazioni in tutti i gruppi demografici? | L’intervallo per etichette di facet binarie e multicategoria è [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza di richiamo (RD)](clarify-post-training-bias-metric-rd.md) | Confronta il richiamo del modello per i facet favoriti e sfavoriti. | Esiste una tendenza all'erogazione di prestiti basata sull'età dovuta al fatto che un modello prevede una maggiore capacità di richiamo per una fascia di età rispetto a un'altra? | Intervallo per la classificazione binaria e multicategoria: `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza nell'accettazione condizionata () DCAcc](clarify-post-training-bias-metric-dcacc.md) | Confronta le etichette osservate con le etichette previste da un modello. Valuta se ciò si applica a tutti i facet per quanto riguarda i risultati positivi previsti (accettazioni). | Quando si confronta una fascia di età con un'altra, i prestiti sono accettati più frequentemente o meno spesso del previsto (in base alle qualifiche)? | Intervallo per etichette di facet binarie, multicategoria e continue: (-∞, \$1∞). [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza nelle percentuali di accettazione (DAR)](clarify-post-training-bias-metric-dar.md) | Misura la differenza nei rapporti tra i risultati positivi osservati (TP) e quelli positivi previsti (TP \$1 FP) tra facet favoriti e sfavoriti. | Il modello ha la stessa precisione nella previsione delle accettazioni di prestiti per i richiedenti qualificati in tutte le fasce d'età? | L’intervallo per etichette di facet binarie, multicategoria e continue è [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza di specificità (SD)](clarify-post-training-bias-metric-sd.md) | Confronta la specificità del modello tra facet favoriti e sfavoriti. | Esiste una distorsione basata sull'età nella concessione dei prestiti perché il modello prevede una specificità maggiore per un gruppo di età rispetto a un altro? | Intervallo per la classificazione binaria e multicategoria: `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza nel rifiuto condizionale (DCR)](clarify-post-training-bias-metric-dcr.md) | Confronta le etichette osservate con le etichette previste da un modello e valuta se questa è la stessa in tutti i facet per quanto riguarda gli esiti negativi (rifiuti). | Le richieste di prestito sono state respinte più o meno rispetto a quanto previsto per una fascia di età rispetto a un'altra in base alle qualifiche? | Intervallo per etichette di facet binarie, multicategoria e continue: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Differenza nelle percentuali di rifiuto (DRR)](clarify-post-training-bias-metric-drr.md) | Misura la differenza nei rapporti tra gli esiti negativi osservati (TN) e quelli negativi previsti (TN \$1 FN) tra i facet sfavoriti e favoriti. | Il modello ha la stessa precisione nella previsione dei rifiuti di prestiti per i richiedenti non qualificati in tutte le fasce d'età? | L’intervallo per etichette di facet binarie, multicategoria e continue è [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Parità di trattamento (TE)](clarify-post-training-bias-metric-te.md) | Misura la differenza nel rapporto tra falsi positivi e falsi negativi tra i facet favoriti e sfavoriti. | Nelle richieste di prestito, il report relativo tra falsi positivi e falsi negativi è lo stesso in tutti i dati demografici di tutte le età? | Intervallo per etichette di facet binarie e multicategoria: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | | [Entropia generalizzata (GE)](clarify-post-training-bias-metric-ge.md) | Misura la disuguaglianza nei benefici b assegnati a ciascun input dalle previsioni del modello. | Dei due modelli candidati per la classificazione delle richieste di prestito, uno porta a una distribuzione più disomogenea dei risultati desiderati rispetto all'altro? | Intervallo per etichette di binarie e multicategoria: (0, 0.5). GE non è definito quando il modello prevede solo falsi negativi.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/clarify-measure-post-training-bias.html) | Per ulteriori informazioni sulle metriche relative alle distorsioni post-addestramento, consulta [Gruppi di misure di equità per il machine learning nella finanza](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf). **Topics** + [Differenza nelle proporzioni positive delle etichette previste (DPPL)](clarify-post-training-bias-metric-dppl.md) + [Impatto diversificato (DI)](clarify-post-training-bias-metric-di.md) + [Differenza nell'accettazione condizionata () DCAcc](clarify-post-training-bias-metric-dcacc.md) + [Differenza nel rifiuto condizionale (DCR)](clarify-post-training-bias-metric-dcr.md) + [Differenza di specificità (SD)](clarify-post-training-bias-metric-sd.md) + [Differenza di richiamo (RD)](clarify-post-training-bias-metric-rd.md) + [Differenza nelle percentuali di accettazione (DAR)](clarify-post-training-bias-metric-dar.md) + [Differenza nelle percentuali di rifiuto (DRR)](clarify-post-training-bias-metric-drr.md) + [Differenza di precisione (AD)](clarify-post-training-bias-metric-ad.md) + [Parità di trattamento (TE)](clarify-post-training-bias-metric-te.md) + [Disparità demografica condizionale nelle etichette previste (CDDPL)](clarify-post-training-bias-metric-cddpl.md) + [Fliptest controfattuale (FT)](clarify-post-training-bias-metric-ft.md) + [Entropia generalizzata (GE)](clarify-post-training-bias-metric-ge.md) # Differenza nelle proporzioni positive delle etichette previste (DPPL) La differenza nelle proporzioni positive nella metrica delle etichette previste (DPPL) determina se il modello prevede i risultati in modo diverso per ogni facet. È definita come la differenza tra la proporzione di previsioni positive (y' = 1) per il facet *a* e la proporzione di previsioni positive (y' = 1) per il facet *d*. Ad esempio, se le previsioni del modello concedono prestiti al 60% di un gruppo di mezza età (facet *a*) e al 50% ad altri gruppi di età (facet *d*), il modello potrebbe essere distorto rispetto al facet *d*. In questo esempio, è necessario determinare se la differenza del 10% è rilevante ai fini di un’eventuale distorsione. Un confronto tra DPL (Differenza nelle proporzioni delle etichette), una misura dei bias di preaddestramento, e DPPL, una misura dei bias di post-addestramento, valuta se le proporzioni iniziali di esiti positivi dei bias nel set di dati cambiano dopo l’addestramento. Se DPPL è maggiore di DPL, i bias in proporzioni positive sono aumentati dopo l’addestramento. Se DPPL è minore di DPL, il modello non ha aumentato i bias in proporzioni positive dopo l’addestramento. Il confronto tra DPL e DPPL non garantisce che il modello riduca la bias in tutte le dimensioni. Ad esempio, il modello potrebbe avere ancora dei bias se si considerano altre metriche come [Fliptest controfattuale (FT)](clarify-post-training-bias-metric-ft.md) o [Differenza di precisione (AD)](clarify-post-training-bias-metric-ad.md). Per ulteriori informazioni sul rilevamento dei pregiudizi, consulta il post del blog [Scopri come Amazon SageMaker Clarify aiuta a rilevare](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/) i pregiudizi. Per ulteriori informazioni su DPL, consulta [Differenza nelle proporzioni delle etichette (DPL)](clarify-data-bias-metric-true-label-imbalance.md). La formula per DPPL è la seguente:         DPPL = q'a - q'd Dove: + q'a = n'a(1)/na è la proporzione prevista del facet *a* che ottiene un risultato positivo di valore 1. Nel nostro esempio, si tratta della percentuale di persone di mezza età che si prevede otterrà un prestito. Qui n'a(1) rappresenta il numero di membri del facet *a* che ottengono un risultato previsto positivo di valore 1 e na il numero di membri del facet *a*. + q'd = n'd(1)/nd è la proporzione prevista del facet *d* che ottiene un risultato positivo di valore 1. Nel nostro esempio, si prevede che un facet di persone anziane e giovani otterrà un prestito. Qui n'd(1) rappresenta il numero di membri del facet *d* che ottengono un risultato previsto positivo e nd il numero di membri del facet *d*. Se DPPL è sufficientemente vicino a 0, significa che la *parità demografica* post-addestramento è stata raggiunta. Per le etichette di facet binarie e multicategoria, i valori DPL normalizzati variano nell'intervallo [-1, 1]. Per le etichette continue, i valori variano nell'intervallo (-∞, \$1∞). + I valori DPPL positivi indicano che il facet *a* ha una percentuale maggiore di risultati positivi previsti rispetto al facet *d*. Questo fenomeno viene definito *distorsione positiva*. + I valori di DPPL vicini allo zero indicano una proporzione più equa di risultati positivi previsti tra i facet *a* e *d*, mentre un valore pari a zero indica una perfetta parità demografica. + I valori DPPL negativi indicano che il facet *d* ha una percentuale maggiore di risultati positivi previsti rispetto al facet *a*. Questo fenomeno viene definito *distorsione negativa*. # Impatto diversificato (DI) La differenza nelle proporzioni positive nella metrica prevista delle etichette può essere valutata sotto forma di report. Il confronto delle proporzioni positive nella metrica prevista delle etichette può essere valutato sotto forma di report anziché come differenza, come avviene con [Differenza nelle proporzioni positive delle etichette previste (DPPL)](clarify-post-training-bias-metric-dppl.md). La metrica di impatto diversificato (DI) è definita come il rapporto tra la proporzione di previsioni positive (y' = 1) per il facet *d* e la proporzione di previsioni positive (y' = 1) per il facet *a*. Ad esempio, se le previsioni del modello concedono prestiti al 60% di un gruppo di mezza età (facet *a*) e al 50% di altri gruppi di età (facet *d*), allora DI = 0,5/0,6 = 0,8, il che indica una distorsione positiva e un impatto negativo sull'altra fascia di età rappresentata dal facet *d*. La formula per il rapporto tra le proporzioni delle etichette previste è la seguente:         DI = q'd/q'a Dove: + q'a = n'a(1)/na è la proporzione prevista del facet *a* che ottiene un risultato positivo di valore 1. Nel nostro esempio, si tratta della percentuale di persone di mezza età che si prevede otterrà un prestito. Qui n'a(1) rappresenta il numero di membri del facet *a* che ottengono un risultato previsto positivo e na è il numero di membri del facet *a*. + q'd = n'd(1)/nd è la proporzione prevista del facet *d* che ottiene un risultato positivo di valore 1. Nel nostro esempio, si prevede che un facet di persone anziane e giovani otterrà un prestito. Qui n'd(1) rappresenta il numero di membri del facet *d* che ottengono un risultato previsto positivo e nd il numero di membri del facet *d*. Per le etichette di facet binarie, multicategoria e continue, i valori DI variano nell'intervallo [0, ∞). + I valori inferiori a 1 indicano che il facet *a* ha una percentuale maggiore di risultati positivi previsti rispetto al facet *d*. Questo fenomeno viene definito *distorsione positiva*. + Un valore pari a 1 indica una parità demografica. + I valori maggiori di 1 indicano che il facet *d* ha una percentuale maggiore di risultati positivi previsti rispetto al facet *a*. Questo fenomeno viene definito *distorsione negativa*. # Differenza nell'accettazione condizionata () DCAcc Questa metrica confronta le etichette osservate con le etichette previste da un modello e valuta se questa è la stessa in tutti i facet per quanto riguarda gli esiti positivi previsti. Questa metrica si avvicina a imitare distorsione umane poiché quantifica quanti risultati positivi in più ha previsto un modello (etichette y') per un determinato facet rispetto a quanto osservato nel set di dati di addestramento (etichette y). Ad esempio, se nel set di dati di addestramento per le domande di prestito per un gruppo di mezza età (facet *a*) si osservassero più accettazioni (un risultato positivo) rispetto a quanto previsto dal modello basato sulle qualifiche rispetto al facet contenente altre fasce di età (facet *d*), ciò potrebbe indicare una potenziale distorsione nel modo in cui i prestiti sono stati approvati a favore del gruppo di mezza età. La formula per la differenza nell'accettazione condizionale è la seguente:         DCAcc a= c - c d Dove: + ca = na(1)/ n'a(1) è il rapporto tra il numero osservato di esiti positivi del valore 1 (accettazioni) del facet *a* e il numero previsto di risultati positivi (accettazioni) per il facet *a*. + cd = nd(1)/ n'd(1) è il rapporto tra il numero osservato di esiti positivi del valore 1 (accettazioni) del facet *d* e il numero previsto di esiti positivi previsti (accettazioni) per il facet *d*. La DCAcc metrica può rilevare pregiudizi sia positivi che negativi che rivelano un trattamento preferenziale basato sulle qualifiche. Considera i seguenti esempi di distorsioni basati sull'età nell'accettazione dei prestiti. **Esempio 1: distorsione positiva** Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet *a*) e 50 persone di altre fasce d'età (facet *d*) che hanno richiesto prestiti, laddove il modello consigliasse di concedere prestiti a 60 persone del facet *a* e 30 per il facet *d*. Le proporzioni previste sono quindi imparziali rispetto alla metrica DPPL, ma le etichette osservate mostrano che a 70 elementi del facet *a* e a 20 del facet *d* sono stati concessi prestiti. In altre parole, il modello ha concesso prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (70/60 = 1,17) e ha concesso prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (20/30 = 0,67). Il calcolo del DCAcc valore dà quanto segue:         DCAcc = 70/60 - 20/30 = 1/2 Il valore positivo indica che esiste una potenziale distorsione nei confronti del facet *a* di mezza età con un tasso di accettazione inferiore rispetto all'altro facet *d* rispetto a quanto indicato dai dati osservati (considerati imparziali). **Esempio 2: distorsione negativa** Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet *a*) e 50 persone di altre fasce d'età (facet *d*) che hanno richiesto prestiti, laddove il modello consigliasse di concedere prestiti a 60 persone del facet *a* e 30 per il facet *d*. Le proporzioni previste sono quindi imparziali rispetto alla metrica DPPL, ma le etichette osservate mostrano che a 50 elementi del facet *a* e a 40 del facet *d* sono stati concessi prestiti. In altre parole, il modello ha concesso prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (50/60 = 0,83) e ha concesso prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (40/30 = 1,33). Il calcolo del DCAcc valore dà quanto segue:         DCAcc = 50/60 - 40/30 = -1/2 Il valore negativo indica che esiste una potenziale distorsione nei confronti del facet *d* con un tasso di accettazione inferiore rispetto al facet *a* di mezza età rispetto a quanto indicato dai dati osservati (considerati imparziali). Tieni presente che puoi utilizzarlo DCAcc per aiutarti a rilevare potenziali pregiudizi (non intenzionali) da parte di esseri umani che supervisionano le previsioni del modello in un ambiente. human-in-the-loop Supponiamo, ad esempio, che le previsioni y' fornite dal modello fossero imparziali, ma che la decisione finale venga presa da un essere umano (possibilmente con accesso a funzionalità aggiuntive) che può modificare le previsioni del modello per generare una nuova e definitiva versione di y'. L'ulteriore elaborazione da parte dell'essere umano può negare involontariamente prestiti a un numero sproporzionato da un punto di vista. DCAccpuò aiutare a rilevare tali potenziali pregiudizi. L'intervallo di valori per le differenze nell'accettazione condizionata per le etichette del facet binarie, multicategoria e continue è (-∞, \$1∞). + I valori positivi si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet *a* è superiore allo stesso rapporto per il facet *d*. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati a causa del facet *a*. Maggiore è la differenza tra i rapporti, più estrema è la distorsione apparente. + I valori prossimi allo zero si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet *a* è simile al rapporto per il facet *d*. Questi valori indicano che i tassi di accettazione previsti sono coerenti con i valori osservati nei dati etichettati e che i richiedenti qualificati di entrambi i facet vengono accettati in modo analogo. + I valori negativi si verificano quando il rapporto tra il numero di accettazioni osservato e le accettazioni previste per il facet *a* è inferiore al rapporto per il facet *d*. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati derivante dal facet *d*. Quanto più negativa è la differenza tra i rapporti, più estrema è la distorsione apparente. # Differenza nel rifiuto condizionale (DCR) Questa metrica confronta le etichette osservate con le etichette previste dal modello e valuta se questa è la stessa per tutti i facet relativi agli esiti negativi (rifiuti). Questa metrica assomiglia molto alle distorsione umane, poiché quantifica quanti risultati negativi in più un modello ha concesso (etichette previste y') a un determinato facet rispetto a quanto suggerito dalle etichette nel set di dati di addestramento (etichette osservate y). Ad esempio, se per le richieste di prestito per un gruppo di mezza età (facet *a*) sono stati registrati più rifiuti (risultato negativo) rispetto a quanto previsto dal modello basato sulle qualifiche rispetto al facet contenente altre fasce di età (facet *d*), ciò potrebbe indicare una potenziale distorsione nel modo in cui i prestiti sono stati respinti, il che ha favorito il gruppo di mezza età rispetto ad altri gruppi. La formula per la differenza nell'accettazione condizionale è la seguente:         DCR = rd - ra Dove: + rd = nd(0)/ n'd(0) è il rapporto tra il numero osservato di esiti negativi di valore 0 (rifiuti) del facet *d* e il numero previsto di risultati negativi (rifiuti) per il facet *d*. + ra = na(0)/ n'a(0) è il rapporto tra il numero osservato di esiti negativi di valore 0 (rifiuti) del facet *a* e il numero previsto di risultati negativi di valore 0 (rifiuti) per il facet *a*. La metrica DCR può rilevare distorsioni sia positive sia negative che rivelano un trattamento preferenziale basato sulle qualifiche. Considera i seguenti casi di distorsioni basati sull'età in merito al rifiuto dei prestiti. **Esempio 1: distorsione positiva** Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet *a*) e 50 persone di altre fasce d'età (facet *d*) che hanno richiesto prestiti, laddove il modello consigliasse di rifiutare prestiti a 60 persone del facet *a* e 30 per il facet *d*. Le proporzioni previste sono quindi imparziali rispetto alla metrica DPPL, ma le etichette osservate mostrano che a 50 elementi del facet *a* e a 40 del facet *d* sono stati rifiutati prestiti. In altre parole, il modello ha rifiutato prestiti al 17% in più per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (50/60 = 0,83) e ha rifiutato prestiti per il 33% in meno ad altre fasce di età rispetto alle etichette osservate (40/30 = 1,33). Il valore DCR quantifica questa differenza nel rapporto tra i tassi di rifiuto osservati e quelli previsti tra i facet. Il valore positivo indica che esiste una potenziale distorsione a favore del gruppo di mezza età con tassi di rifiuto inferiori rispetto ad altri gruppi rispetto a quanto indicato dai dati osservati (considerati imparziali).         DCR = 40/30 - 50/60 = 1/2 **Esempio 2: distorsione negativa** Supponiamo di avere un set di dati composto da 100 persone di mezza età (facet *a*) e 50 persone di altre fasce d'età (facet *d*) che hanno richiesto prestiti, laddove il modello consigliasse di rifiutare prestiti a 60 persone del facet *a* e 30 per il facet *d*. Le proporzioni previste sono quindi imparziali rispetto alla metrica DPPL, ma le etichette osservate mostrano che a 70 elementi del facet *a* e a 20 del facet *d* sono stati rifiutati prestiti. In altre parole, il modello ha rifiutato prestiti al 17% in meno per le persone di mezza età rispetto alle etichette osservate nei dati di addestramento suggeriti (70/60 = 1,17) e ha rifiutato prestiti per il 33% in più ad altre fasce di età rispetto alle etichette osservate (20/30 = 0,67). Il valore negativo indica che esiste una potenziale distorsione a favore del facet *a* con tassi di rifiuto inferiori rispetto al facet *a* di mezza età rispetto a quella indicata dai dati osservati (considerati imparziali).         DCR = 20/30 - 70/60 = -1/2 L'intervallo di valori per le differenze nel rifiuto condizionato per le etichette del facet binarie, multicategoria e continue è (-∞, \$1∞). + I valori positivi si verificano quando il rapporto tra il numero di rifiuti osservato e i rifiuti previsti per il facet *d* è maggiore del rapporto per il facet *a*. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati a causa del facet *a*. Maggiore è il valore della metrica DCR, più estrema è la distorsione apparente. + I valori prossimi allo zero si verificano quando il rapporto tra il numero di rifiuti osservato e le accettazioni previste per il facet *a* è simile al rapporto per il facet *d*. Questi valori indicano che i tassi di rifiuto previsti sono coerenti con i valori osservati nei dati etichettati e che i richiedenti qualificati di entrambi i facet vengono rifiutati in modo analogo. + I valori negativi si verificano quando il rapporto tra il numero di rifiuti osservato e i rifiuti previsti per il facet *d* è inferiore a tale rapporto per il facet *a*. Questi valori indicano una possibile distorsione nei confronti dei richiedenti qualificati derivante dal facet *d*. Maggiore è la grandezza della metrica DCR negativa, più estrema è la distorsione apparente. # Differenza di specificità (SD) La differenza di specificità (SD) è la differenza di specificità tra il facet favorito *a* e il facet sfavorito *d*. La specificità misura la frequenza con cui il modello prevede correttamente un risultato negativo (y'=0). Qualsiasi differenza in queste specificità è una potenziale forma di distorsione. La specificità è perfetta per un facet se tutti i casi y=0 sono previsti correttamente per tale facet. La specificità è maggiore quando il modello riduce al minimo i falsi positivi, un fenomeno noto come errore di tipo I. Ad esempio, la differenza tra una bassa specificità per i prestiti al facet *a*, e un’elevata specificità per la concessione di prestiti al faccet *d* è una misura della distorsione rispetto al facet *d*. La formula seguente indica la differenza di specificità per i facet *a* e *d*.         SD = TNd/(TNd \$1 FPd) - TNa/(TNa \$1 FPa) = TNRd - TNRa Le seguenti variabili utilizzate per calcolare la SD sono definite come segue: + TNd sono i veri negativi previsti per il facet *d*. + FPd sono i falsi positivi previsti per il facet *d*. + TNd sono i veri negativi previsti per il facet *a*. + FPd sono i falsi positivi previsti per il facet *a*. + TNRa = TNa/(TNa \$1 FPa) è il tasso di veri negativi, noto anche come specificità, per il facet *a*. + TNRd = TNd/(TNd \$1 FPd) è il tasso di veri negativi, noto anche come specificità, per il facet *d*. Ad esempio, considera le seguenti matrici di confusione per i facet *a* e *d*. Matrice di confusione per il facet favorito `a` | Previsioni di classe a | Obiettivo effettivo 0 | Obiettivo effettivo 1 | Totale | | --- | --- | --- | --- | | 0 | 20 | 5 | 25 | | 1 | 10 | 65 | 75 | | Totale | 30 | 70 | 100 | Matrice di confusione per il facet sfavorito `d` | Previsioni di classe d | Obiettivo effettivo 0 | Obiettivo effettivo 1 | Totale | | --- | --- | --- | --- | | 0 | 18 | 7 | 25 | | 1 | 5 | 20 | 25 | | Totale | 23 | 27 | 50 | Il valore della differenza di specificità è `SD = 18/(18+5) - 20/(20+10) = 0.7826 - 0.6667 = 0.1159`, il che indica una distorsione rispetto al facet *d*. L'intervallo di valori per la differenza di specificità tra i facet *a* e *d* per la classificazione binaria e multicategoria è `[-1, +1]`. Questo parametro non è disponibile per le etichette continue. Ecco cosa implicano i diversi valori di SD: + I valori positivi si ottengono quando esiste una specificità maggiore per il facet *d* rispetto al facet *a*. Ciò suggerisce che il modello trova meno falsi positivi per il facet *d* rispetto al facet *a*. Un valore positivo indica una distorsione rispetto al facet *d*. + I valori vicini allo zero indicano che la specificità dei facet confrontati è simile. Ciò suggerisce che il modello rileva un numero simile di falsi positivi in entrambi questi facet e non è parziale. + I valori negativi si ottengono quando esiste una specificità maggiore per il facet *a* rispetto al facet *d*. Ciò suggerisce che il modello trova più falsi positivi per il facet *a* che per il facet *d*. Un valore negativo indica una distorsione rispetto al facet *a*. # Differenza di richiamo (RD) La metrica della differenza di richiamo (RD) è la differenza di richiamo del modello tra il facet favorito *a* e il facet sfavorito *d*. Qualsiasi differenza in questi richiami è una potenziale forma di distorsione. Il richiamo è il tasso di veri positivi (TPR), che misura la frequenza con cui il modello prevede correttamente i casi che dovrebbero avere un esito positivo. Il richiamo è perfetto per un facet se tutti i casi y=1 sono previsti correttamente come y'=1 per quel facet. Il richiamo è maggiore quando il modello minimizza i falsi negativi, noti come errore di tipo II. Ad esempio, quante persone appartenenti a due gruppi diversi (facet *a* e *d*) che dovrebbero avere diritto ai prestiti vengono individuate correttamente dal modello? Se il tasso di richiamo è elevato per i prestiti al facet *a*, ma basso per i prestiti al facet *d*, la differenza fornisce una misura di questa distorsione rispetto al gruppo appartenente al facet *d*. La formula per la differenza nei tassi di richiamo per i facet *a* e *d* è la seguente:         RD = TPa/(TPa \$1 FNa) - TPd/(TPd \$1 FNd) = TPRa - TPRd Dove: + TPa sono i veri positivi previsti per il facet *a*. + FNa sono i falsi negativi previsti per il facet *a*. + TPd sono i veri positivi previsti per il facet *d*. + FNd sono i falsi negativi previsti per il facet *d*. + TPRa = TPa/(TPa \$1 FNa) è il richiamo per il facet *a*, ovvero il suo tasso di veri positivi. + TPRd TPd/(TPd \$1 FNd) è il richiamo per il facet *d*, ovvero il suo tasso di veri positivi. Ad esempio, considera le seguenti matrici di confusione per i facet *a* e *d*. Matrice di confusione per il facet favorito a | Previsioni di classe a | Obiettivo effettivo 0 | Obiettivo effettivo 1 | Totale | | --- | --- | --- | --- | | 0 | 20 | 5 | 25 | | 1 | 10 | 65 | 75 | | Totale | 30 | 70 | 100 | Matrice di confusione per il facet sfavorito d | Previsioni di classe d | Obiettivo effettivo 0 | Obiettivo effettivo 1 | Totale | | --- | --- | --- | --- | | 0 | 18 | 7 | 25 | | 1 | 5 | 20 | 25 | | Totale | 23 | 27 | 50 | Il valore della differenza di richiamo è RD = 65/70 - 20/27 = 0,93 - 0,74 = 0,19, il che indica una distorsione rispetto al facet *d*. L'intervallo di valori per la differenza di richiamo tra i facet *a* e *d* per la classificazione binaria e multicategoria è [-1, \$11]. Questo parametro non è disponibile per le etichette continue. + I valori positivi si ottengono quando il richiamo per il facet *a* è maggiore rispetto al facet *d*. Ciò suggerisce che il modello rileva più facet positivi per il facet *a* che per il facet *d*, che è una forma di distorsione. + I valori vicini allo zero indicano che il richiamo per i facet confrontati è simile. Ciò suggerisce che il modello rileva circa lo stesso numero di veri positivi in entrambi i facet e non è parziale. + I valori negativi si ottengono quando il richiamo per il facet *d* è maggiore rispetto al facet *a*. Ciò suggerisce che il modello rileva più facet positivi per il facet *d* che per il facet *a*, che è una forma di distorsione. # Differenza nelle percentuali di accettazione (DAR) La metrica della differenza nei tassi di accettazione (DAR) è la differenza nei rapporti tra le previsioni vere positive (TP) e quelle positive osservate (TP \$1 FP) per i facet *a* e *d*. Questa metrica misura la differenza nella precisione del modello per prevedere le accettazioni relative a questi due facet. La precisione misura la frazione di candidati qualificati dal pool di candidati qualificati identificati come tali dal modello. Se la precisione del modello per la previsione dei candidati qualificati diverge tra i facet, si tratta di una distorsione e la sua entità viene misurata dal DAR. La formula per la differenza nei tassi di accettazione tra i facet *a* e *d* è la seguente:         DAR = TPa/(TPa \$1 FPa) - TPd/(TPd \$1 FPd) Dove: + TPa sono i veri positivi previsti per il facet *a*. + FPa sono i falsi positivi previsti per il facet *a*. + TPd sono i veri positivi previsti per il facet *d*. + FPd sono i falsi positivi previsti per il facet *d*. Ad esempio, supponiamo che il modello accetti 70 richiedenti di mezza età (facet *a*) per prestiti (etichette positive previste) di cui solo 35 siano effettivamente accettati (etichette positive osservate). Supponiamo inoltre che il modello accetti 100 richiedenti provenienti da altre fasce demografiche (facet *d*) per prestiti (etichette positive previste) di cui solo 40 siano effettivamente accettati (etichette positive osservate). Quindi, DAR = 35/70 - 40/100 = 0,10, il che indica una potenziale distorsione nei confronti delle persone qualificate della seconda fascia di età (facet *d*). L’intervallo di valori per DAR per etichette di facet binarie, multicategoria e continue è [-1, \$11]. + I valori positivi si verificano quando il rapporto tra i facet positivi previsti (accettazioni) e i risultati positivi osservati (richiedenti qualificati) per il facet *a* è maggiore dello stesso rapporto per il facet *d*. Questi valori indicano una possibile distorsione rispetto al facet sfavorito *d* causata dalla presenza di un numero relativamente maggiore di falsi positivi nel facet *d*. Maggiore è la differenza tra i rapporti, più estrema è la distorsione apparente. + I valori prossimi allo zero si verificano quando il rapporto tra i risultati positivi previsti (accettazioni) e i risultati positivi osservati (richiedenti qualificati) per i facet *a* e *d* presenta valori simili che indicano che le etichette osservate per i risultati positivi vengono previste con uguale precisione dal modello. + I valori negativi si verificano quando il rapporto tra i facet positivi previsti (accettazioni) e i risultati positivi osservati (richiedenti qualificati) per il facet *d* è maggiore del rapporto del facet *a*. Questi valori indicano una possibile distorsione nei confronti del facet favorito *a* causata dalla presenza di un numero relativamente maggiore di falsi positivi nel facet *a*. Quanto più negativa è la differenza tra i rapporti, più estrema è la distorsione apparente. # Differenza nelle percentuali di rifiuto (DRR) La metrica della differenza nei tassi di rifiuto (DRR) è la differenza nei rapporti tra le previsioni vere negative (TN) e quelle negative osservate (TN \$1 FN) per i facet *a* e *d*. Questa metrica misura la differenza nella precisione del modello per la previsione dei rifiuti in base a questi due facet. La precisione misura la frazione di candidati non qualificati dal pool di candidati non qualificati identificati come tali dal modello. Se la precisione del modello per prevedere i candidati non qualificati diverge tra i facet, si tratta di un errore e la sua entità viene misurata dal DRR. La formula per la differenza nei tassi di rifiuto tra i facet *a* e *d* è la seguente:         DRR = TNd/(TNd \$1 FNd) - TNa/(TNa \$1 FNa) I componenti della precedente equazione DRR sono i seguenti. + TNd sono i veri negativi previsti per il facet *d*. + FNd sono i falsi negativi previsti per il facet *d*. + TNa sono i veri negativi previsti per il facet *a*. + FNa sono i falsi negativi previsti per il facet *a*. Ad esempio, supponiamo che il modello respinga 100 richiedenti (facet *a*) di mezza età per un prestito (etichetta negativa prevista) di cui 80 non sono effettivamente qualificati (etichette negative osservate). Supponiamo inoltre che il modello respinga 50 richiedenti di altra età (facet *d*) per un prestito (etichetta negativa prevista) di cui solo 40 sono effettivamente non qualificati (etichette negative osservate). Quindi, DRR = 40/50 - 80/100 = 0, e non viene indicata alcuna distorsione. L’intervallo di valori per DRR per etichette di facet binarie, multicategoria e continue è [-1, \$11]. + I valori positivi si verificano quando il rapporto tra i facet negativi previsti (rifiuti) e gli esiti negativi osservati (richiedenti non qualificati) per il facet *d* è maggiore dello stesso rapporto per il facet *a*. Questi valori indicano una possibile distorsione nei confronti del facet favorito *a* causata dalla presenza di un numero relativamente maggiore di falsi negativi nel facet *a*. Maggiore è la differenza tra i rapporti, più estrema è la distorsione apparente. + I valori prossimi allo zero si verificano quando il rapporto tra i facet negativi previsti (rifiuti) e gli esiti negativi osservati (richiedenti non qualificati) per i facet *a* e *d* ha valori simili, il che indica che le etichette osservate per gli esiti negativi vengono previste con uguale precisione dal modello. + I valori negativi si verificano quando il rapporto tra i facet negativi previsti (rifiuti) e gli esiti negativi osservati (richiedenti non qualificati) per il facet *a* è maggiore del rapporto del facet *d*. Questi valori indicano una possibile distorsione rispetto al facet sfavorito *d* causata dalla presenza di un numero relativamente maggiore di falsi positivi nel facet *d*. Quanto più negativa è la differenza tra i rapporti, più estrema è la distorsione apparente. # Differenza di precisione (AD) La metrica della differenza di precisione (AD) è la differenza tra l'accuratezza della previsione per diversi facet. Questa metrica determina se la classificazione in base al modello è più accurata per un facet rispetto all'altro. AD indica se un facet presenta una percentuale maggiore di errori di tipo I e di tipo II. Tuttavia, non è in grado di distinguere tra errori di tipo I e di tipo II. Ad esempio, il modello può avere la stessa precisione per i diversi dati demografici relativi all'età, ma gli errori possono essere principalmente falsi positivi (errori di tipo I) per un gruppo basato sull'età e principalmente falsi negativi (errori di tipo II) per l'altro. Inoltre, se l'approvazione dei prestiti viene effettuata con una precisione molto maggiore per un gruppo demografico di mezza età (facet *a*) rispetto a un altro gruppo demografico basato sull'età (facet *d*), a una percentuale maggiore di richiedenti qualificati del secondo gruppo viene negato un prestito (FN) o a una percentuale maggiore di richiedenti non qualificati di quel gruppo viene negato un prestito (FP) o entrambi. Ciò può portare a iniquità all'interno del gruppo per il secondo gruppo, anche se la percentuale di prestiti concessi è quasi la stessa per entrambi i gruppi in base all'età, come indicato da un valore DPPL vicino allo zero. La formula per la metrica AD è la differenza tra la precisione di previsione per il facet *a*, ACCa, meno quella per il facet *d*, ACCd:         AD = ACCa - ACCd Dove: + ACCa = (TPa \$1 TNa)/(TPa \$1 TNa \$1 FPa \$1 FNa) + TPa sono i veri positivi previsti per il facet *a* + TNa sono i veri negativi previsti per il facet *a* + FPa sono i falsi positivi previsti per il facet *a* + FNa sono i falsi negativi previsti per il facet *a* + ACCd = (TPd \$1 TNd)/(TPd \$1 TNd \$1 FPd \$1 FNd) + TPd sono i veri positivi previsti per il facet *d* + TNd sono i veri negativi previsti per il facet *d* + FPd sono i falsi positivi previsti per il facet *d* + FNd sono i falsi negativi previsti per il facet *d* Ad esempio, supponiamo che un modello approvi i prestiti a 70 richiedenti dal facet *a* di 100 e respinga gli altri 30. 10 non avrebbero dovuto ricevere il prestito (FPa) e 60 sono stati approvati (TPa). 20 dei rifiuti avrebbero dovuto essere approvati (FNa) e 10 sono stati correttamente respinti (TNa). La precisione per il facet *a* è la seguente:         ACCa = (60 \$1 10)/(60 \$1 10 \$1 20 \$1 10) = 0,7 Quindi, supponiamo che un modello approvi i prestiti a 50 richiedenti dal facet *d* di 100 e respinga gli altri 50. 10 non avrebbero dovuto ricevere il prestito (FPa) e 40 sono stati approvati (TPa). 40 dei rifiuti avrebbero dovuto essere approvati (FNa) e 10 sono stati correttamente respinti (TNa). La precisione per il facet *a* è determinata come segue:         ACCd = (40 \$1 10)/(40 \$1 10 \$1 40 \$1 10) = 0,5 La differenza di precisione è quindi AD = ACCa - ACCd = 0,7 - 0,5 = 0,2. Ciò indica che esiste una distorsione rispetto al facet *d* poiché la metrica è positiva. L’intervallo di valori per AD per etichette di facet binarie e multicategoria è [-1, \$11]. + I valori positivi si verificano quando la precisione di previsione per il facet *a* è maggiore di quella per il facet *d*. Indicano che il facet *d* risente maggiormente di una combinazione di falsi positivi (errori di tipo I) o falsi negativi (errori di tipo II). Ciò significa che esiste una potenziale distorsione nei confronti del facet sfavorito *d*. + I valori prossimi allo zero si verificano quando la precisione di previsione per il facet *a* è simile a quella per il facet *d*. + I valori negativi si verificano quando la precisione di previsione per il facet *d* è maggiore di quella per il facet *a* t. Indicano che il facet *a* risente maggiormente di una combinazione di falsi positivi (errori di tipo I) o falsi negativi (errori di tipo II). Ciò significa che esiste una distorsione nei confronti del facet favorito *a*. # Parità di trattamento (TE) La parità di trattamento (TE) è la differenza nel rapporto tra falsi negativi e falsi positivi tra i facet *a* e *d*. L'idea principale di questa metrica è valutare se, anche se la precisione tra i gruppi è la stessa, gli errori sono più dannosi per un gruppo rispetto a un altro. Il tasso di errore deriva dal totale dei falsi positivi e dei falsi negativi, ma la ripartizione di questi due facet può essere molto diversa. TE misura se gli errori compensano in modo simile o diverso tra i vari facet. La formula per la parità di trattamento è la seguente:         TE = FNd/FPd - FNa/FPa Dove: + FNd sono i falsi negativi previsti per il facet *d*. + FPd sono i falsi positivi previsti per il facet *d*. + FNa sono i falsi negativi previsti per il facet *a*. + FPa sono i falsi positivi previsti per il facet *a*. Nota che la metrica diventa illimitata se FPa o FPd sono pari a zero. Ad esempio, supponiamo che vi siano 100 richiedenti di prestito per il facet *a* e 50 per il facet *d*. Per il facet *a*, a 8 elementi è stato erroneamente negato un prestito (FNa) e ad altri 6 è stato erroneamente approvato (FPa). Le previsioni rimanenti erano vere, quindi TPa \$1 TNa = 86. Per il facet *d*, 5 sono stati erroneamente negati (FNd) e 2 sono stati erroneamente approvati (FPd). Le previsioni rimanenti erano vere, quindi TPd \$1 TNd = 43. Il rapporto tra falsi negativi e falsi positivi è uguale a 8/6 = 1,33 per il facet *a* e 5/2 = 2,5 per il facet *d*. Quindi, TE = 2,5 - 1,33 = 1,167, anche se entrambi i facet hanno la stessa precisione:         ACCa = (86)/(86\$1 8 \$1 6) = 0,86         ACCd = (43)/(43 \$1 5 \$1 2) = 0,86 L'intervallo di valori per le differenze nel rifiuto condizionato per le etichette del facet binarie e multicategoria è (-∞, \$1∞). La metrica TE non è definita per le etichette continue. L'interpretazione di questa metrica dipende dall'importanza relativa dei falsi positivi (errore di tipo I) e dei falsi negativi (errore di tipo II). + I valori positivi si verificano quando il rapporto tra falsi negativi e falsi positivi per il facet *d* è maggiore di quello per il facet *a*. + I valori prossimi allo zero si verificano quando il rapporto tra falsi negativi e falsi positivi per il facet *a* è simile a quello per il facet *d*. + I valori negativi si verificano quando il rapporto tra falsi negativi e falsi positivi per il facet *d* è inferiore a quello per il facet *a*. **Nota** Una versione precedente affermava che la metrica di parità del trattamento veniva calcolata come FPa / FNa - FPd / FNd anziché FNd / FPd - FNa / FPa. Comunque sia, è possibile utilizzare una delle due versioni. Per ulteriori informazioni, consulta [https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf). # Disparità demografica condizionale nelle etichette previste (CDDPL) La metrica della disparità demografica (DDPL) determina se il facet *d* ha una percentuale maggiore delle etichette rifiutate previste rispetto alle etichette accettate previste. Consente di confrontare la differenza tra la percentuale di rifiuto prevista e la percentuale di accettazione prevista tra i diversi facet. Questa metrica è esattamente la stessa della metrica CDD pre-addestramento, tranne per il fatto che viene calcolata in base alle etichette previste anziché a quelle osservate. Questa metrica è compresa nell'intervallo (-1,\$11). La formula per le previsioni della disparità demografica per le etichette del facet *d* è la seguente:         DDPLd = n'd(0)/n'(0) - n'd(1)/n'(1) = PdR(y'0) - PdA(y'1) Dove: + n'(0) = n'a(0) \$1 n'd(0) è il numero di etichette rifiutate previste per i facet *a* e *d*. + n'(1) = n'a(1) \$1 n'd(1) è il numero di etichette accettate previste per i facet *a* e *d*. + PdR(y'0) è la proporzione di etichette rifiutate previste (valore 0) nel facet *d*. + PdA(y'1) è la proporzione di etichette accettate previste (valore 1) nel facet *d*. Per escludere il paradosso di Simpson è necessaria una metrica di disparità demografica condizionale nelle etichette previste (CDDPL) che condiziona DDPL sugli attributi che definiscono uno strato di sottogruppi nel set di dati. Il raggruppamento può fornire informazioni sulla causa delle apparenti disparità demografiche relative ai facet meno favoriti. Il caso classico è sorto nelle ammissioni a Berkeley, in cui gli uomini sono stati accettati a un tasso complessivo più elevato rispetto alle donne. Tuttavia, quando sono stati esaminati i sottogruppi dipartimentali, è stato dimostrato che le donne hanno tassi di ammissione più elevati rispetto agli uomini dal reparto. La spiegazione è data dal fatto che le donne si erano rivolte a reparti con tassi di accettazione inferiori rispetto agli uomini. L'esame dei tassi di accettazione suddivisi per sottogruppo ha rivelato che le donne erano effettivamente accettate a un tasso più elevato rispetto agli uomini nei dipartimenti con tassi di accettazione inferiori. La metrica CDDPL fornisce un'unica misura per tutte le disparità riscontrate nei sottogruppi definiti da un attributo di un set di dati calcolandone la media. È definita come la media ponderata delle disparità demografiche nelle etichette previste (DDPLi) per ciascuno dei sottogruppi, con ogni disparità di sottogruppo ponderata in proporzione al numero di osservazioni contenute. La formula per la disparità demografica condizionata nelle etichette previste è la seguente:         CDDPL = (1/n)\$1∑ini \$1DDPLi Dove: + ∑ini = è il numero totale di osservazioni e ni è il numero di osservazioni per ciascun sottogruppo. + DDPLi = n'i(0)/n(0) - n'i(1)/n(1) = PiR(y'0) - PiA(y'1) è la disparità demografica nelle etichette previste per sottogruppo. La disparità demografica per un sottogruppo nelle etichette previste (DDPLi) è la differenza tra la percentuale di etichette previste rifiutate e la percentuale di etichette accettate previste per ciascun sottogruppo. L'intervallo di valori DDPL per esiti binari, multicategoria e continui è [-1,\$11]. + \$11: quando non esistono etichette di rifiuto previste per il facet *a* o il sottogruppo e non sono previste accettazioni per il facet *d* o il sottogruppo. + I valori positivi indicano che esiste una disparità demografica nelle etichette previste, poiché il facet *d* o il sottogruppo hanno una percentuale maggiore di etichette rifiutate previste rispetto alle etichette accettate previste. Più alto è il valore, maggiore è la disparità. + I valori vicini allo zero indicano l'assenza di disparità demografica, in media. + I valori negativi indicano che esiste una disparità demografica nelle etichette previste, poiché il facet *a* o il sottogruppo presenta una percentuale maggiore di etichette rifiutate previste rispetto alle etichette accettate previste. Più basso è il valore, maggiore è la disparità. + -1: quando non sono previste etichette di rifiuto per il facet *d* o il sottogruppo e accettazioni previste per il facet *a* o il sottogruppo. # Fliptest controfattuale (FT) Il fliptest è un approccio che esamina ogni membro del facet *d* e valuta se membri simili del facet *a* hanno previsioni di modello diverse. I membri del facet *a* vengono scelti comek-vicini più prossimi all'osservazione del facet *d*. Valutiamo quanti vicini più prossimi del gruppo opposto ricevono una previsione diversa, in cui la previsione capovolta può passare da positiva a negativa e viceversa. La formula per il fliptest controfattuale è la differenza nella cardinalità di due insiemi divisa per il numero di membri del facet *d*:         FT = (F\$1 - F-)/nd Dove: + F\$1 = è il numero di membri sfavoriti del facet *d* con esito sfavorevole i cui vicini più prossimi nel facet favorito *a* hanno ottenuto un esito favorevole. + F- = è il numero di membri sfavoriti del facet *d* con esito favorevole i cui vicini più prossimi nel facet *a* hanno ottenuto un esito sfavorevole. + nd è la dimensione del campione del facet *d*. L’intervallo di valori per i fliptest controfattuale per etichette di facet binarie e multicategoria è [-1, \$11]. Per le etichette continue, impostiamo una soglia per comprimere le etichette in formato binario. + I valori positivi si verificano quando il numero di decisioni controfattuali sfavorevoli relative al facet *d* sfavorito supera quelle favorevoli. + I valori prossimi allo zero si verificano quando il numero di decisioni controfattuali sfavorevoli e favorevoli si compensa. + I valori negativi si verificano quando il numero di decisioni controfattuali sfavorevoli relative al facet *d* sfavorito è inferiore a quelle favorevoli. # Entropia generalizzata (GE) L'indice di entropia generalizzato (GE) misura la disuguaglianza in termini di beneficio `b` per l'etichetta prevista rispetto all'etichetta osservata. Un vantaggio si verifica quando si prevede un falso positivo. Un falso positivo si verifica quando un'osservazione negativa (y=0) ha una previsione positiva (y'=1). Un vantaggio si verifica anche quando le etichette osservate e previste sono le stesse, note anche come vero positivo e vero negativo. Non si ottiene alcun vantaggio quando si prevede un falso negativo. Un falso negativo si verifica quando si prevede che un'osservazione positiva (y=1) abbia un esito negativo (y'=0). Il vantaggio `b` è definito come segue. ``` b = y' - y + 1 ``` Utilizzando questa definizione, un falso positivo riceve un vantaggio `b` di `2` e un falso negativo riceve un vantaggio di `0`. Sia un vero positivo sia un vero negativo ricevono un vantaggio di `1`. La metrica GE viene calcolata sulla base del [Generalized Entropy Index](https://en.wikipedia.org/wiki/Generalized_entropy_index) (GE) con il peso `alpha` impostato su `2`. Questo peso controlla la sensibilità ai diversi valori dei benefici. Un valore più piccolo `alpha` indica una maggiore sensibilità a valori inferiori. ![\[Equazione che definisce l'indice di entropia generalizzato con il parametro alfa impostato su 2.\]](http://docs.aws.amazon.com/it_it/sagemaker/latest/dg/images/clarify-post-training-bias-metric-ge.png) Le seguenti variabili utilizzate per calcolare GE sono definite come segue: + bi è il vantaggio ricevuto dal punto dati `ith`. + b' è la media di tutti i benefici. GE può variare da 0 a 0,5, dove i valori pari a zero indicano l'assenza di disparità nei benefici tra tutti i punti dati. Ciò si verifica quando tutti gli input sono previsti correttamente o quando tutte le previsioni sono falsi positivi. GE non è definito quando tutte le previsioni sono falsi negativi. **Nota** La metrica GE non dipende dal fatto che un valore del facet sia favorito o sfavorito.