As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Métricas de dados pós-treinamento e desvio do modelo
O Amazon SageMaker Clarify fornece onze dados pós-treinamento e métricas de viés de modelos para ajudar a quantificar várias concepções de justiça. Esses conceitos não podem ser todos satisfeitos simultaneamente e a seleção depende das especificidades dos casos envolvendo possíveis desvios que estão sendo analisados. A maioria dessas métricas é uma combinação dos números retirados das matrizes de confusão de classificação binária para os diferentes grupos demográficos. Como a equidade e o desvio podem ser definidos por uma ampla variedade de métricas, é necessário o julgamento humano para entender e escolher quais métricas são relevantes para o caso de uso individual, e os clientes devem consultar as partes interessadas apropriadas para determinar a medida apropriada de equidade para sua aplicação.
Usamos a notação a seguir para debater as métricas de desvio. O modelo conceitual descrito aqui é para classificação binária, em que os eventos são rotulados como tendo apenas dois resultados possíveis em seu espaço amostral, chamados de positivos (com valor 1) e negativos (com valor 0). Esse framework geralmente é extensível à classificação multicategórica de forma direta ou a casos que envolvem resultados contínuos valiosos, quando necessário. No caso da classificação binária, rótulos positivos e negativos são atribuídos aos resultados registrados em um conjunto de dados bruto para uma faceta favorecida *a* e para uma faceta desfavorecida *d*. Esses rótulos y são chamados de *rótulos observados* para diferenciá-los dos *rótulos previstos* y' que são atribuídos por um modelo de machine learning durante os estágios de treinamento ou inferências do ciclo de vida do ML. Esses rótulos são usados para definir distribuições de probabilidade Pa(y) e Pd(y) para seus respectivos resultados facetários.
+ rótulos:
+ y representa os n rótulos observados para resultados de eventos em um conjunto de dados de treinamento.
+ y' representa os rótulos previstos para os n rótulos observados no conjunto de dados por um modelo treinado.
+ resultados:
+ Um resultado positivo (com valor 1) para uma amostra, como a aceitação de uma candidatura.
+ n(1) é o número de rótulos observados para resultados positivos (aceitações).
+ n'(1) é o número de rótulos previstos para resultados positivos (aceitações).
+ Um resultado negativo (com valor 0) para uma amostra, como uma rejeição de candidatura.
+ n(0) é o número de rótulos observados para resultados negativos (rejeições).
+ n'(0) é o número de rótulos previstos para resultados negativos (rejeições).
+ valores da faceta:
+ faceta *a*: O valor do atributo que define um grupo demográfico que o desvio favorece.
+ na é o número de rótulos observados para o valor da faceta favorecido: na = na(1) \$1 na(0) a soma dos rótulos observados positivos e negativos para a faceta de valor *a*.
+ n'a é o número de rótulos previstos para o valor da faceta favorecido: n'a = n'a(1) \$1 n'a(0) a soma dos rótulos de resultados previstos positivos e negativos para a faceta de valor *a*. Observe que n'a = na.
+ faceta *d*: O valor do atributo que define um grupo demográfico que o desvio desfavorece.
+ nd é o número de rótulos observados para o valor da faceta desfavorecido: nd = nd(1) \$1 nd(0) a soma dos rótulos observados positivos e negativos para a faceta de valor *d*.
+ n'd é o número de rótulos previstos para o valor da faceta desfavorecido: n'd = n'd(1) \$1 n'd(0) a soma dos rótulos previstos positivos e negativos para a faceta de valor *d*. Observe que n'd = nd.
+ distribuições de probabilidade para resultados dos resultados dos dados facetários rotulados:
+ Pa(y) é a distribuição de probabilidade dos rótulos observados para a faceta *a*. Para dados binários rotulados, essa distribuição é dada pela razão entre o número de amostras na faceta *a* rotulada com resultados positivos e o número total, Pa(y1) = na(1)/ na, e a razão entre o número de amostras com resultados negativos e o número total, Pa(y0) = na(0)/ na.
+ Pd(y) é a distribuição de probabilidade dos rótulos observados para a faceta *d*. Para dados binários rotulados, essa distribuição é dada pelo número de amostras na faceta *d* rotulada com resultados positivos e o número total, Pd(y1) = nd(1)/ nd, e a razão entre o número de amostras com resultados negativos e o número total, Pd(y0) = nd(0)/ nd.
A tabela a seguir contém uma folha de dicas para orientação rápida e links para as métricas de desvio pós-treinamento.
Métricas de desvio pós-treinamento
| Métrica de desvio pós-treinamento | Description | Exemplo de pergunta | Interpretar valores de métricas |
| --- | --- | --- | --- |
| [Diferença nas proporções positivas nos rótulos previstos (DPPL)](clarify-post-training-bias-metric-dppl.md) | Mede a diferença na proporção de predições positivas entre a faceta favorecida a e a faceta desfavorecida d. | Houve um desequilíbrio entre os grupos demográficos nos resultados positivos previstos que possa indicar desvio? | Intervalo para rótulos de facetas binários e multicategóricos normalizados: `[-1,+1]` Intervalo para rótulos contínuos: (-∞, \$1∞) Interpretação: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Impacto díspar (DI)](clarify-post-training-bias-metric-di.md) | Mede a proporção das proporções dos rótulos previstos para a faceta favorecida a e a faceta desfavorecida d. | Houve um desequilíbrio entre os grupos demográficos nos resultados positivos previstos que possa indicar desvio? | Intervalo para rótulos de facetas binários normalizados, contínuos e multicategóricos: [0,∞) Interpretação: [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Disparidade demográfica condicional em rótulos previstos (CDDPL)](clarify-post-training-bias-metric-cddpl.md) | Mede a disparidade de rótulos previstos entre diferentes facetas como um todo, mas também por subgrupos. | Alguns grupos demográficos têm uma proporção maior de rejeições nos resultados de pedido de empréstimo do que a proporção de aceitações? | Intervalo de valores de CDDPL para resultados binários, multicategóricos e contínuos: `[-1, +1]` [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Teste de inversão contrafactual (FT)](clarify-post-training-bias-metric-ft.md) | Examina cada membro da faceta d e avalia se membros semelhantes da faceta a têm predições de modelos diferentes. | Um grupo de uma faixa etária específica corresponde estreitamente em todas os atributos a uma faixa etária diferente, mas paga mais, em média? | O intervalo para rótulos binários e de facetas multicategóricas é [-1, \$11]. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença de precisão (AD)](clarify-post-training-bias-metric-ad.md) | Mede a diferença entre a precisão da predição para as facetas favorecidas e desfavorecidas. | O modelo prevê rótulos com a mesma precisão para aplicações em todos os grupos demográficos? | O intervalo para rótulos binários e de facetas multicategóricas é [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença de recordação (RD)](clarify-post-training-bias-metric-rd.md) | Compara a recordação do modelo quanto às facetas favorecidas e desfavorecidas. | Existe um desvio baseado na idade nos empréstimos devido a um modelo com maior recordação para uma faixa etária em comparação com outra? | Intervalo para classificação binária e multicategórica: `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença na aceitação condicional () DCAcc](clarify-post-training-bias-metric-dcacc.md) | Compara os rótulos observados com os rótulos previstos por um modelo. Avalia se isso é o mesmo em todas as facetas para resultados positivos previstos (aceitações). | Ao comparar uma faixa etária com outra, os empréstimos são aceitos com mais ou menos frequência do que o previsto (baseado nas qualificações)? | O intervalo para rótulos binários, contínuos e de facetas multicategóricas: (-∞, \$1∞). [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença nas taxas de aceitação (DAR)](clarify-post-training-bias-metric-dar.md) | Mede a diferença nas proporções entre os resultados positivos observados (TP) e os positivos previstos (TP \$1 FP) entre as facetas favorecidas e desfavorecidas. | O modelo tem a mesma precisão ao prever aceitações de empréstimos para candidatos qualificados em todas as faixas etárias? | O intervalo para rótulos binários, contínuos e de faceta multicategórica é [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença de especificidade (SD)](clarify-post-training-bias-metric-sd.md) | Compara a especificidade do modelo entre facetas favorecidas e desfavorecidas. | Existe um desvio baseado na idade nos empréstimos porque o modelo prevê uma maior especificidade para uma faixa etária em comparação com outra? | Intervalo para classificação binária e multicategorial: `[-1, +1]`. [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença na rejeição condicional (DCR)](clarify-post-training-bias-metric-dcr.md) | Compara os rótulos observados com os rótulos previstos por um modelo e avalia se isso é o mesmo em todas as facetas para resultados negativos (rejeições). | Há mais ou menos rejeições para pedidos de empréstimo do que o previsto para uma faixa etária em comparação com outra baseado nas qualificações? | O intervalo para rótulos binários, contínuos e de facetas multicategóricas: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Diferença nas taxas de rejeição (DRR)](clarify-post-training-bias-metric-drr.md) | Mede a diferença nas proporções entre os resultados negativos observados (TN) e os negativos previstos (TN \$1 FN) entre as facetas desfavorecidas e favorecidas. | O modelo tem a mesma precisão ao prever rejeições de empréstimos para candidatos não qualificados em todas as faixas etárias? | O intervalo para rótulos binários, contínuos e de faceta multicategórica é [-1, \$11].[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Igualdade de tratamento (TE)](clarify-post-training-bias-metric-te.md) | Mede a diferença na proporção de falso-positivos e falso-negativos entre as facetas favorecidas e desfavorecidas. | Em pedidos de empréstimo, a proporção relativa de falso-positivos para falso-negativos é a mesma em todas as faixas etárias? | O intervalo para rótulos binários e de facetas multicategóricas: (-∞, \$1∞).[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
| [Entropia generalizada (GE)](clarify-post-training-bias-metric-ge.md) | Mede a desigualdade nos benefícios b atribuídos a cada entrada pelas predições de modelo. | Dos dois modelos de candidatos para classificação de pedido de empréstimo, um leva a uma distribuição irregular dos resultados desejados do que o outro? | O intervalo para rótulos binários e multicategóricos: (0, 0.5). A GE é indefinida quando o modelo prevê somente falso-negativos.[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/clarify-measure-post-training-bias.html) |
Para obter informações adicionais sobre métricas de desvio pós-treinamento, consulte [Fairness Measures for Machine Learning in Finance](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf).
**Topics**
+ [Diferença nas proporções positivas nos rótulos previstos (DPPL)](clarify-post-training-bias-metric-dppl.md)
+ [Impacto díspar (DI)](clarify-post-training-bias-metric-di.md)
+ [Diferença na aceitação condicional () DCAcc](clarify-post-training-bias-metric-dcacc.md)
+ [Diferença na rejeição condicional (DCR)](clarify-post-training-bias-metric-dcr.md)
+ [Diferença de especificidade (SD)](clarify-post-training-bias-metric-sd.md)
+ [Diferença de recordação (RD)](clarify-post-training-bias-metric-rd.md)
+ [Diferença nas taxas de aceitação (DAR)](clarify-post-training-bias-metric-dar.md)
+ [Diferença nas taxas de rejeição (DRR)](clarify-post-training-bias-metric-drr.md)
+ [Diferença de precisão (AD)](clarify-post-training-bias-metric-ad.md)
+ [Igualdade de tratamento (TE)](clarify-post-training-bias-metric-te.md)
+ [Disparidade demográfica condicional em rótulos previstos (CDDPL)](clarify-post-training-bias-metric-cddpl.md)
+ [Teste de inversão contrafactual (FT)](clarify-post-training-bias-metric-ft.md)
+ [Entropia generalizada (GE)](clarify-post-training-bias-metric-ge.md)
# Diferença nas proporções positivas nos rótulos previstos (DPPL)
A diferença nas proporções positivas na métrica de rótulos previstos (DPPL) determina se o modelo prevê resultados de forma diferente para cada faceta. É definido como a diferença entre a proporção de predições positivas (y' = 1) para a faceta *a* e a proporção de predições positivas (y' = 1) para a faceta *d*. Por exemplo, se as predições de modelo concederem empréstimos a 60% de um grupo de meia-idade (faceta *a*) e 50% de outras faixas etárias (faceta *d*), ele pode ser tendencioso contra a faceta *d*. Neste exemplo, você deve determinar se a diferença de 10% é relevante para um caso de desvio.
Uma comparação da diferença nas proporções dos rótulos (DPL), uma medida do desvio no pré-treinamento, com o DPPL, uma medida do desvio no pós-treinamento, avalia se o desvio em proporções positivas, que está inicialmente presente no conjunto de dados, muda após o treinamento. Se o DPPL for maior que o DPL, o desvio em proporções positivas aumentou após o treinamento. Se o DPPL for menor que o DPL, o modelo não teve aumento no desvio em proporções positivas após o treinamento. A comparação do DPL com o DPPL não garante que o modelo reduza o desvio em todas as dimensões. Por exemplo, o modelo ainda pode ser tendencioso ao considerar outras métricas, como [Teste de inversão contrafactual (FT)](clarify-post-training-bias-metric-ft.md) ou [Diferença de precisão (AD)](clarify-post-training-bias-metric-ad.md). Para obter mais informações sobre a detecção de preconceitos, consulte a postagem do blog [Saiba como o Amazon SageMaker Clarify ajuda a detectar preconceitos](https://aws.amazon.com/blogs/machine-learning/learn-how-amazon-sagemaker-clarify-helps-detect-bias/). Consulte [Diferença nas proporções dos rótulos (DPL)](clarify-data-bias-metric-true-label-imbalance.md) para mais informações sobre DPL.
A fórmula do DPPL é:
DPPL = q'a - q'd
Em que:
+ q'a = n'a(1)/na é a proporção prevista da faceta *a* que obtém um resultado positivo de valor 1. Em nosso exemplo, a proporção de uma faceta de meia-idade prevista para a concessão de um empréstimo. Aqui, n'a(1) representa o número de membros da faceta *a* que obtêm um resultado positivo previsto de valor 1 e na é o número de membros da faceta *a*.
+ q'd = n'd(1)/nd é a proporção prevista da faceta *d* que obtém um resultado positivo de valor 1. Em nosso exemplo, uma faceta de pessoas mais velhas e mais jovens previu a concessão de um empréstimo. Aqui, n'd(1) representa o número de membros da faceta *d* que obtêm um resultado positivo previsto e nd é o número de membros da faceta *d*.
Se o DPPL estiver próximo o suficiente de 0, isso significa que a *paridade demográfica* pós-treinamento foi alcançada.
Para rótulos de facetas binárias e multicategóricas, os valores de DPL variam ao longo do intervalo [-1, 1]. Para rótulos contínuos, os valores variam ao longo do intervalo (-∞, \$1∞).
+ Valores positivos de DPPL indicam que a faceta *a* tem uma proporção maior de resultados positivos quando comparada com a faceta *d*.
Isso é conhecido como *desvio positivo*.
+ Valores de DPPL próximos de zero indicam uma proporção mais igual de resultados positivos previstos entre as facetas *a* e *d* e um valor de zero indica paridade demográfica perfeita.
+ Valores negativos de DPPL indicam que a faceta *d* tem uma proporção maior de resultados positivos quando comparada com a faceta *a*. Isso é conhecido como *desvio negativo*.
# Impacto díspar (DI)
A diferença nas proporções positivas na métrica de rótulos previstos pode ser avaliada na forma de uma proporção.
A comparação de proporções positivas na métrica de rótulos previstos pode ser avaliada na forma de uma proporção em vez de como uma diferença, como acontece com o [Diferença nas proporções positivas nos rótulos previstos (DPPL)](clarify-post-training-bias-metric-dppl.md). A métrica de impacto díspar (DI) é definida como a razão da proporção de predições positivas (y’ = 1) para a faceta *d* sobre a proporção de predições positivas (y’ = 1) para a faceta *a*. Por exemplo, se as predições de modelo concederem empréstimos a 60% de um grupo de meia-idade (faceta *a*) e 50% de outras faixas etárias (faceta *d*), então DI = 0,5/0,6 = 0,8, o que indica um desvio positivo e um impacto adverso no outro grupo etário representado pela faceta *d*.
A fórmula para a diferença das proporções dos rótulos previstos:
DI = q'd/q'a
Em que:
+ q'a = n'a(1)/na é a proporção prevista da faceta *a* que obtém um resultado positivo de valor 1. Em nosso exemplo, a proporção de uma faceta de meia-idade prevista para a concessão de um empréstimo. Aqui, n'a(1) representa o número de membros da faceta *a* que obtêm um resultado positivo previsto e na é o número de membros da faceta *a*.
+ q'd = n'd(1)/nd é a proporção prevista da faceta *d* que obtém um resultado positivo de valor 1. Em nosso exemplo, uma faceta de pessoas mais velhas e mais jovens previu a concessão de um empréstimo. Aqui, n'd(1) representa o número de membros da faceta *d* que obtêm um resultado positivo previsto e nd é o número de membros da faceta *d*.
Para rótulos binários, contínuos e de facetas multicategóricas, os valores de DI variam ao longo do intervalo [0, ∞).
+ Valores menores que 1 indicam que a faceta *a* tem uma proporção maior de resultados positivos previstos do que a faceta *d*. Isso é conhecido como *desvio positivo*.
+ Um valor de 1 indica uma paridade demográfica.
+ Valores maiores que 1 indicam que a faceta *d* tem uma proporção maior de resultados positivos previstos do que a faceta *a*. Isso é conhecido como *desvio negativo*.
# Diferença na aceitação condicional () DCAcc
Essa métrica compara os rótulos observados com os rótulos previstos pelo modelo e avalia se isso é o mesmo em todas as facetas para resultados positivos previstos. Essa métrica quase imita o desvio humano, pois quantifica quantos resultados positivos a mais um modelo previu (rótulos y’) para uma determinada faceta em comparação com o que foi observado no conjunto de dados de treinamento (rótulos y). Por exemplo, se houvesse mais aceitações (um resultado positivo) observadas no conjunto de dados de treinamento para pedidos de empréstimo de um grupo de meia-idade (faceta *a*) do que o previsto pelo modelo baseado nas qualificações em comparação com a faceta contendo outras faixas etárias (faceta *d*), isso pode indicar um desvio potencial na forma como os empréstimos foram aprovados em favor do grupo de meia-idade.
A fórmula da diferença na aceitação condicional:
DCAcc = c a - c d
Em que:
+ ca = na(1)/ n'a(1) é a proporção entre o número observado de resultados positivos de valor 1 (aceitações) da faceta *a* e o número previsto de resultados positivos (aceitações) para a faceta *a*.
+ cd = nd(1)/ n'd(1) é a proporção entre o número observado de resultados positivos de valor 1 (aceitações) da faceta *d* e o número previsto de resultados positivos (aceitações) para a faceta *a*.
A DCAcc métrica pode capturar vieses positivos e negativos que revelam tratamento preferencial com base nas qualificações. Considere os seguintes exemplos de preconceito baseado na idade na aceitação de empréstimos:
**Exemplo 1: desvio positivo**
Suponha que tenhamos um conjunto de dados de 100 pessoas de meia-idade (faceta *a*) e 50 pessoas de outras faixas etárias (faceta *d*) que pediram empréstimos, onde o modelo recomendou que 60 da faceta *a* e 30 da faceta *d* recebessem empréstimos. Portanto, as proporções previstas são imparciais em relação à métrica DPPL, mas os rótulos observados mostram que 70 da faceta *a* e 20 da faceta *d* foram concedidos empréstimos. Em outras palavras, o modelo concedeu empréstimos a 17% menos para a faceta de meia-idade do que os rótulos observados nos dados de treinamento sugeridos (70/60 = 1,17) e concedeu empréstimos a 33% a mais para outras faixas etárias do que os rótulos observados sugeriram (20/30 = 0,67). O cálculo do DCAcc valor fornece o seguinte:
DCAcc = 70/60 - 20/30 = 1/2
O valor positivo indica que há um desvio potencial contra a faceta *a* de meia-idade com uma taxa de aceitação menor em comparação com a outra faceta *d* do que os dados observados (considerados imparciais) indicam ser o caso.
**Exemplo 2: desvio negativo**
Suponha que tenhamos um conjunto de dados de 100 pessoas de meia-idade (faceta *a*) e 50 pessoas de outras faixas etárias (faceta *d*) que pediram empréstimos, onde o modelo recomendou que 60 da faceta *a* e 30 da faceta *d* recebessem empréstimos. Portanto, as proporções previstas são imparciais em relação à métrica DPPL, mas os rótulos observados mostram que 50 da faceta *a* e 40 da faceta *d* foram concedidos empréstimos. Em outras palavras, o modelo concedeu empréstimos a 17% menos para faceta de meia-idade do que os rótulos observados nos dados de treinamento sugeridos (50/60 = 0,83) e concedeu empréstimos a 33% mais para outras faixas etárias que os rótulos observados sugeriram (40/30 = 1,33). O cálculo do DCAcc valor fornece o seguinte:
DCAcc = 50/60 - 40/30 = -1/2
O valor negativo indica que há um desvio potencial contra a faceta *d* com uma taxa de aceitação menor em comparação com a faceta *a* de meia-idade do que os dados observados (considerados imparciais) indicam ser o caso.
Observe que você pode usar DCAcc para ajudá-lo a detectar possíveis vieses (não intencionais) de humanos que supervisionam as previsões do modelo em um ambiente. human-in-the-loop Suponha, por exemplo, que as predições y' do modelo foram imparciais, mas a eventual decisão é tomada por um humano (possivelmente com acesso a atributos adicionais) que pode alterar as predições de modelo para gerar uma versão nova e final de y'. O processamento adicional pelo ser humano pode, sem querer, negar empréstimos a um número desproporcional de uma faceta. DCAccpode ajudar a detectar esses possíveis preconceitos.
O intervalo de valores para diferenças na aceitação condicional para rótulos binários, contínuos e de faceta multicategórica é (-∞, \$1∞).
+ Valores positivos ocorrem quando a razão do número observado de aceitações em comparação com as aceitações previstas para a faceta *a* é maior do que a mesma razão para a faceta *d*. Esses valores indicam um possível desvio contra os candidatos qualificados da faceta *a*. Quanto maior a diferença das proporções, mais extremo é o desvio aparente.
+ Valores próximos de zero ocorrem quando a proporção do número observado de aceitações em comparação com as aceitações previstas para a faceta *a* é semelhante à proporção para a faceta *d*. Esses valores indicam que as taxas de aceitação previstas são consistentes com os valores observados nos dados rotulados e que candidatos qualificados de ambas as facetas estão sendo aceitos de forma semelhante.
+ Valores negativos ocorrem quando a razão do número observado de aceitações em comparação com as aceitações previstas para a faceta *a* é menor do que a proporção para a faceta *d*. Esses valores indicam um possível desvio contra os candidatos qualificados da faceta *d*. Quanto mais negativa for a diferença nas proporções, mais extremo será o desvio aparente.
# Diferença na rejeição condicional (DCR)
Essa métrica compara os rótulos observados com os rótulos previstos pelo modelo e avalia se isso é o mesmo em todas as facetas para resultados negativos (rejeições). Essa métrica quase imita o desvio humano, pois quantifica quantos resultados negativos a mais um modelo concedeu (rótulos previstos y’) a uma determinada faceta em comparação com o que foi sugerido pelos rótulos no conjunto de dados de treinamento (rótulos observados y). Por exemplo, se houvesse mais rejeições observadas (um resultado negativo) para pedidos de empréstimo para um grupo de meia-idade (faceta *a*) do que o previsto pelo modelo baseado em qualificações em comparação com a faceta contendo outras faixas etárias (faceta *d*), isso pode indicar um desvio potencial na forma como os empréstimos foram rejeitados, favorecendo o grupo de meia-idade em relação a outros grupos.
A fórmula da diferença na aceitação condicional:
DCR = rd - ra
Em que:
+ rd = nd(0)/ n'd(0) é a razão entre o número observado de resultados negativos de valor 0 (rejeições) da faceta *d* e o número previsto de resultados negativos (rejeições) para a faceta *d*.
+ ra = na(0)/ n'a(0) é a razão entre o número observado de resultados negativos de valor 0 (rejeições) da faceta *a* e o número previsto de resultados negativos de valor 0 (rejeições) para a faceta *a*.
A métrica DCR pode capturar desvios positivos e negativos que revelam tratamento preferencial baseado nas qualificações. Considere as seguintes instâncias de desvio baseado na idade na aceitação de empréstimos:
**Exemplo 1: desvio positivo**
Suponha que tenhamos um conjunto de dados de 100 pessoas de meia-idade (faceta *a*) e 50 pessoas de outras faixas etárias (faceta *d*) que solicitaram empréstimos, onde o modelo recomendou que 60 da faceta *a* e 30 da faceta *d*fossem rejeitadas para empréstimos. Portanto, as proporções previstas são imparciais pela métrica DPPL, mas os rótulos observados mostram que 50 da faceta *a* e 40 da faceta *d* foram rejeitados. Em outras palavras, o modelo rejeitou 17% mais empréstimos da faceta de meia-idade do que os rótulos observados nos dados de treinamento sugeridos (50/60 = 0,83) e rejeitou 33% menos empréstimos do que outras faixas etárias do que os rótulos observados sugeriram (40/30 = 1,33). O valor de DCR quantifica essa diferença na proporção das taxas de rejeição observadas e previstas entre as facetas. O valor positivo indica que há um desvio potencial que favorece o grupo de meia-idade com taxas de rejeição mais baixas em comparação com outros grupos do que os dados observados (considerados imparciais) indicam ser o caso.
DCR = 40/30 - 50/60 = 1/2
**Exemplo 2: desvio negativo**
Suponha que tenhamos um conjunto de dados de 100 pessoas de meia-idade (faceta *a*) e 50 pessoas de outras faixas etárias (faceta *d*) que solicitaram empréstimos, onde o modelo recomendou que 60 da faceta *a* e 30 da faceta *d*fossem rejeitadas para empréstimos. Portanto, as proporções previstas são imparciais pela métrica DPPL, mas os rótulos observados mostram que 70 da faceta *a* e 20 da faceta *d* foram rejeitados. Em outras palavras, o modelo rejeitou 17% menos empréstimos da faceta de meia-idade do que os rótulos observados nos dados de treinamento sugeridos (70/60 = 1,17) e rejeitou 33% mais empréstimos do que outras faixas etárias do que os rótulos observados sugeriram (20/30 = 0,67). O valor negativo indica que há um desvio potencial que favorece a faceta *a* com taxas de rejeição mais baixas em comparação com a faceta *a* de meia-idade do que os dados observados (considerados imparciais) indicam ser o caso.
DCR = 20/30 - 70/60 = -1/2
O intervalo de valores para diferenças na rejeição condicional para rótulos binários, contínuos e de faceta multicategórica é (-∞, \$1∞).
+ Valores positivos ocorrem quando a razão do número observado de rejeições em comparação com as rejeições previstas para a faceta *d* é maior do que a razão para a faceta *a*. Esses valores indicam um possível desvio contra os candidatos qualificados da faceta *a*. Quanto maior o valor da métrica DCR, mais extremo será o desvio aparente.
+ Valores próximos de zero ocorrem quando a proporção do número observado de rejeições em comparação com as aceitações previstas para a faceta *a* é similar à proporção para a faceta *d*. Esses valores indicam que as taxas de rejeições previstas são consistentes com os valores observados nos dados rotulados e que candidatos qualificados de ambas as facetas estão sendo rejeitados de forma semelhante.
+ Valores negativos ocorrem quando a proporção do número observado de rejeições em comparação às rejeições previstas para a faceta *d* é menor que a faceta *a* da proporção. Esses valores indicam um possível desvio contra os candidatos qualificados da faceta *d*. Quanto maior a magnitude da métrica de DCR negativa, mais extremo será o desvio aparente.
# Diferença de especificidade (SD)
A diferença de especificidade (SD) é a diferença na especificidade entre a faceta favorecida *a* e a faceta desfavorecida *d*. A especificidade mede a frequência com que o modelo prevê corretamente um resultado negativo (y'=0). Qualquer diferença nessas especificidades é uma forma potencial de desvio.
A especificidade é perfeita para uma faceta se todos os casos y=0 forem previstos corretamente para essa faceta. A especificidade é maior quando o modelo minimiza os falso-positivos, conhecidos como erro do Tipo I. Por exemplo, a diferença entre uma baixa especificidade para emprestar para a faceta *a* e a alta especificidade para emprestar para a faceta *d*, é uma medida de desvio em relação à faceta *d*.
A fórmula a seguir é para a diferença na especificidade das facetas *a* e *d*.
SD = TNd/(TNd \$1 FPd) - TNa/(TNa \$1 FPa) = TNRd - TNRa
As seguintes variáveis usadas para calcular a SD são definidas da seguinte forma:
+ TNd são os negativos verdadeiros previstos para a faceta *d*.
+ FPd são os falso-positivos previstos para a faceta *d*.
+ TNd são os negativos verdadeiros previstos para a faceta *a*.
+ FPd são os falso-positivos previstos para a faceta *a*.
+ TNRa = TNa/(TNa \$1 FPa) é a taxa negativa verdadeira, também conhecida como especificidade, para a faceta *a*.
+ TNRd = TNd/(TNd \$1 FPd) é a taxa negativa verdadeira, também conhecida como especificidade, para a faceta *d*.
Por exemplo, considere as seguintes matrizes de confusão para as facetas *a* e *d*:
Matriz de confusão para a faceta `a` favorecida
| Previsões de classe a | Resultado real 0 | Resultado real 1 | Total |
| --- | --- | --- | --- |
| 0 | 20 | 5 | 25 |
| 1 | 10 | 65 | 75 |
| Total | 30 | 70 | 100 |
Matriz de confusão para a faceta `d` desfavorecida
| Previsões de classe d | Resultado real 0 | Resultado real 1 | Total |
| --- | --- | --- | --- |
| 0 | 18 | 7 | 25 |
| 1 | 5 | 20 | 25 |
| Total | 23 | 27 | 50 |
O valor da diferença de especificidade é `SD = 18/(18+5) - 20/(20+10) = 0.7826 - 0.6667 = 0.1159`, o que indica um desvio contra a faceta *d*.
O intervalo de valores para a diferença de especificidade entre as facetas *a* e *d* para classificação binária e multicategórica é `[-1, +1]`. Esta métrica não está disponível para o caso de rótulos contínuos. Aqui está o que os diferentes valores de SD implicam:
+ Valores positivos são obtidos quando há maior especificidade para a faceta *d* do que para a faceta *a*. Isso sugere que o modelo encontra menos falso-positivos para a faceta *d* do que para a faceta *a*. Um valor positivo indica um desvio em relação à faceta *d*.
+ Valores próximos de zero indicam que a especificidade das facetas que estão sendo comparadas é semelhante. Isso sugere que o modelo encontra um número semelhante de falso-positivos em ambas as facetas e não é tendencioso.
+ Valores positivos são obtidos quando há maior especificidade para a faceta *a* do que para a faceta *d*. Isso sugere que o modelo encontra mais falso-positivos para a faceta *a* do que para a faceta *d*. Um valor negativo indica um desvio em relação à faceta *a*.
# Diferença de recordação (RD)
A métrica de diferença de recordação (RD) é a diferença na recordação do modelo entre a faceta favorecida *a* e a faceta desfavorecida *d*. Qualquer diferença nessas recordações é uma forma potencial de desvio. A recordação é a taxa positivo verdadeira (TPR), que mede com que frequência o modelo prevê corretamente os casos que devem receber um resultado positivo. A recordação é perfeita para uma faceta se todos os casos y=1 forem corretamente previstos como y’=1 para essa faceta. A recordação é maior quando o modelo minimiza os falso-negativos, conhecidos como erro do Tipo II. Por exemplo, quantas pessoas em dois grupos diferentes (facetas *a* e *d*) que deveriam se qualificar para empréstimos são detectadas corretamente pelo modelo? Se a taxa de recordação for alta para empréstimos para a faceta *a*, mas baixa para empréstimos para a faceta *d*, a diferença fornece uma medida desse desvio em relação ao grupo pertencente à faceta *d*.
A fórmula para a diferença nas taxas de recordação das facetas *a* e *d*:
RD = TPa/(TPa \$1 FNa) - TPd/(TPd \$1 FNd) = TPRa - TPRd
Em que:
+ TPa são os positivos verdadeiros previstos para a faceta *a*.
+ FNa são os falso-negativos previstos para a faceta *a*.
+ TPd são os positivos verdadeiros previstos para a faceta *d*.
+ FNd são os falso-negativos previstos para a faceta *d*.
+ TPR a = TPa/(TPa \$1 FNa) é a recordação da faceta *a*, ou sua taxa positiva verdadeira.
+ TPRd TPd/(TPd \$1 FNd) é a recordação da faceta *d*, ou sua taxa positiva verdadeira.
Por exemplo, considere as seguintes matrizes de confusão para as facetas *a* e *d*:
Matriz de confusão para a faceta a favorecida
| Previsões de classe a | Resultado real 0 | Resultado real 1 | Total |
| --- | --- | --- | --- |
| 0 | 20 | 5 | 25 |
| 1 | 10 | 65 | 75 |
| Total | 30 | 70 | 100 |
Matriz de confusão para a faceta d desfavorecida
| Previsões de classe d | Resultado real 0 | Resultado real 1 | Total |
| --- | --- | --- | --- |
| 0 | 18 | 7 | 25 |
| 1 | 5 | 20 | 25 |
| Total | 23 | 27 | 50 |
O valor da diferença de recordação é RD = 65/70 - 20/27 = 0,93 - 0,74 = 0,19, o que indica um desvio contra a faceta *d*.
O intervalo de valores para a diferença de recordação entre as facetas *a* e *d* para classificação binária e multicategórica é [-1, \$11]. Esta métrica não está disponível para o caso de rótulos contínuos.
+ Valores positivos são obtidos quando há maior recordação para a faceta *a* do que para a faceta *d*. Isso sugere que o modelo encontra mais positivos verdadeiros para a faceta *a* do que para a faceta *d*, que é uma forma de desvio.
+ Valores próximos de zero indicam que a recordação das facetas sendo comparadas é semelhante. Isso sugere que o modelo encontra aproximadamente o mesmo número de positivos verdadeiros em ambas as facetas e não é tendencioso.
+ Valores negativos são obtidos quando há maior recordação para a faceta *d* do que para a faceta *a*. Isso sugere que o modelo encontra mais positivos verdadeiros para a faceta *d* do que para a faceta *a*, que é uma forma de desvio.
# Diferença nas taxas de aceitação (DAR)
A diferença na métrica das taxas de aceitação (DAR) é a diferença nas proporções entre as predições positivas verdadeiras (TP) e as positivas observadas (TP \$1 FP) para as facetas *a* e *d*. Essa métrica mede a diferença na precisão do modelo para prever as aceitações dessas duas facetas. A precisão mede a fração de candidatos qualificados do conjunto de candidatos qualificados identificados como tal pelo modelo. Se a precisão do modelo para prever candidatos qualificados diverge entre as facetas, isso é um desvio e sua magnitude é medida pela DAR.
A fórmula para a diferença nas taxas de aceitação entre as facetas *a* e *d*:
DAR = TPa/(TPa \$1 FPa) - TPd/(TPd \$1 FPd)
Em que:
+ TPa são os positivos verdadeiros previstos para a faceta *a*.
+ FPa são os falso-positivos previstos para a faceta *a*.
+ TPd são os positivos verdadeiros previstos para a faceta *d*.
+ FPd são os falso-positivos previstos para a faceta *d*.
Por exemplo, suponha que o modelo aceite 70 candidatos de meia-idade (faceta *a*) para um empréstimo (rótulos positivos previstos), dos quais apenas 35 são realmente aceitos (rótulos positivos observados). Suponha também que o modelo aceite 100 candidatos de outras faixas etárias (faceta *d*) para um empréstimo (rótulos positivos previstos), dos quais apenas 40 são realmente aceitos (rótulos positivos observados). Então DAR = 35/70 - 40/100 = 0,10, o que indica um desvio potencial contra pessoas qualificadas da segunda faixa etária (faceta *d*).
O intervalo de valores para DAR para rótulos binários, contínuos e de facetas multicategóricas é [-1, \$11].
+ Valores positivos ocorrem quando a razão entre os positivos previstos (aceitações) e os resultados positivos observados (candidatos qualificados) para a faceta *a* é maior que a mesma proporção para a faceta *d*. Esses valores indicam um possível desvio contra a faceta desfavorecida *d* causada pela ocorrência de relativamente mais falso-positivos na faceta *d*. Quanto maior a diferença nas proporções, mais extremo é o desvio aparente.
+ Valores próximos de zero ocorrem quando a proporção entre os positivos previstos (aceitações) e os resultados positivos observados (candidatos qualificados) para as facetas *a* e *d* têm valores semelhantes, indicando que os rótulos observados para resultados positivos estão sendo previstos com igual precisão pelo modelo.
+ Valores negativos ocorrem quando a razão entre os positivos previstos (aceitações) e os resultados positivos observados (candidatos qualificados) para a faceta *d* é maior do que a mesma proporção para a faceta *a*. Esses valores indicam um possível desvio contra a faceta favorecida *a* causado pela ocorrência de relativamente mais falso-positivos na faceta *a*. Quanto mais negativa for a diferença nas proporções, mais extremo será o desvio aparente.
# Diferença nas taxas de rejeição (DRR)
A diferença na métrica das taxas de rejeição (DRR) é a diferença nas proporções da predições negativas verdadeiras (TN) em relação às negativas observadas (TN \$1 FN) para as facetas *a* e *d*. Essa métrica mede a diferença na precisão do modelo para prever as rejeições dessas duas facetas. A precisão mede a fração de candidatos não qualificados do conjunto de candidatos não qualificados que são identificados como tal pelo modelo. Se a precisão do modelo para prever candidatos não qualificados diverge entre as facetas, isso é um desvio e sua magnitude é medida pelo DRR.
A fórmula para a diferença nas taxas de rejeição entre as facetas *a* e *d*:
DRR = TNd/(TNd \$1 FNd) - TNa/(TNa \$1 FNa)
Os componentes da equação DRR anterior são os seguintes:
+ TNd são os negativos verdadeiros previstos para a faceta *d*.
+ FNd são os falso-negativos previstos para a faceta *d*.
+ TPa são os negativos verdadeiros previstos para a faceta *a*.
+ FNa são os falso-negativos previstos para a faceta *a*.
Por exemplo, suponha que o modelo rejeite 100 candidatos de meia-idade (faceta *a*) para um empréstimo (rótulos negativos previstos), dos quais 80 são, na verdade, não qualificados (rótulos negativos observados). Suponha também que o modelo rejeite 50 candidatos de outras faixas etárias (faceta *d*) para um empréstimo (rótulos negativos previstos), dos quais apenas 40 são realmente não qualificados (rótulos negativos observados). Então DRR = 40/50 - 80/100 = 0, portanto, nenhum desvio é indicado.
O intervalo de valores para DRR para rótulos binários, contínuos e de facetas multicategóricas é [-1, \$11].
+ Valores positivos ocorrem quando a proporção entre os negativos previstos (rejeições) em relação aos resultados negativos observados (candidatos não qualificados) para a faceta *d* é maior do que a mesma proporção para a faceta *a*. Esses valores indicam um possível desvio contra a faceta favorecida *a* causado pela ocorrência de relativamente mais falso-negativos na faceta *a*. Quanto maior a diferença nas proporções, mais extremo é o desvio aparente.
+ Valores próximos de zero ocorrem quando a razão entre os negativos previstos (rejeições) e os resultados negativos observados (candidatos não qualificados) para as facetas*a* e *d* têm valores semelhantes, indicando que os rótulos observados para resultados negativos estão sendo previstos com igual precisão pelo modelo.
+ Valores negativos ocorrem quando a proporção entre os negativos previstos (rejeições) e os resultados negativos observados (candidatos não qualificados) para a faceta *a* é maior do que a faceta*d* da proporção. Esses valores indicam um possível desvio contra a faceta desfavorecida *d* causada pela ocorrência de relativamente mais falso-positivos na faceta *d*. Quanto mais negativa for a diferença nas proporções, mais extremo será o desvio aparente.
# Diferença de precisão (AD)
A métrica de diferença de precisão (AD) é a diferença entre a precisão da predição para diferentes facetas. Essa métrica determina se a classificação pelo modelo é mais precisa para uma faceta do que para a outra. A AD indica se uma faceta incorre em uma proporção maior de erros do Tipo I e do Tipo II. Mas ela não consegue diferenciar entre erros do Tipo I e do Tipo II. Por exemplo, o modelo pode ter a mesma precisão para diferentes faixas etárias, mas os erros podem ser principalmente falso-positivos (erros do Tipo I) para um grupo baseado na idade e principalmente falso-negativos (erros do Tipo II) para o outro.
Além disso, se as aprovações de empréstimos forem feitas com muito mais precisão para um grupo demográfico de meia-idade (faceta *a*) do que para outro grupo demográfico baseado na idade (faceta *d*), uma proporção maior de candidatos qualificados no segundo grupo terá seu empréstimo negado (FN) ou uma proporção maior de candidatos não qualificados desse grupo obterão um empréstimo (FP) ou ambos. Isso pode levar à injustiça dentro do grupo para o segundo grupo, mesmo que a proporção de empréstimos concedidos seja quase a mesma para ambos os grupos baseado na idade, o que é indicado por um valor de DPPL próximo de zero.
A fórmula da métrica AD é a diferença entre a precisão da predição para a faceta *a*, ACCa, menos a da faceta *d*, ACCd:
AD = ACCa - ACCd
Em que:
+ ACCa = (TPa \$1 TNa)/(TPa \$1 TNa \$1 FPa \$1 FNa)
+ TPa são os positivos verdadeiros previstos para a faceta *a*
+ TNa são os negativos verdadeiros previstos para a faceta *a*
+ FPa são os falso-positivos previstos para a faceta *a*
+ FNa são os falso-negativos previstos para a faceta *a*
+ ACCd = (TPd \$1 TNd)/(TPd \$1 TNd \$1 FPd \$1 FNd)
+ TPd são os positivos verdadeiros previstos para a faceta *d*
+ TNd são os negativos verdadeiros previstos para a faceta *d*
+ FPd são os falso-positivos previstos para a faceta *d*
+ FNd são os falso-negativos previstos para a faceta *d*
Por exemplo, suponha que um modelo aprove empréstimos para 70 candidatos da faceta *a* de 100 e rejeite os outros 30. 10 não deveriam ter recebido o empréstimo (FPa) e 60 foram aprovados, o que deveria ter sido (TPa). 20 das rejeições deveriam ter sido aprovadas (FNa) e 10 foram rejeitadas corretamente (TNa). A precisão da faceta *a* é a seguinte:
ACCa = (60 \$1 10)/(60 \$1 10 \$1 20 \$1 10) = 0,7
Em seguida, suponha que um modelo aprove empréstimos para 50 candidatos da faceta *d* de 100 e rejeite os outros 50. 10 não deveriam ter recebido o empréstimo (FPa) e 40 foram aprovados, o que deveria ter sido (TPa). 40 das rejeições deveriam ter sido aprovadas (FNa) e 10 foram rejeitadas corretamente (TNa). A precisão da faceta *a* é determinada conforme a seguir:
ACCd = (40 \$1 10)/(40 \$1 10 \$1 40 \$1 10) = 0,5
A diferença de precisão é, portanto, AD = ACCa - ACCd = 0,7 - 0,5 = 0,2. Isso indica que há um desvio em relação à faceta *d*, pois a métrica é positiva.
O intervalo de valores do AD para rótulos binários e de facetas multicategóricas é [-1, \$11].
+ Valores positivos ocorrem quando a precisão da predição para a faceta *a* é maior do do que para a faceta *d*. Isso significa que a faceta *d* sofre mais com alguma combinação de falso-positivos (erros do Tipo I) ou falso-negativos (erros do Tipo II). Isso significa que há um desvio potencial contra a faceta *d* desfavorecida.
+ Valores próximos de zero ocorrem quando a precisão da predição para a faceta *a* é semelhante à da faceta *d*.
+ Valores negativos ocorrem quando a precisão da predição para a faceta *d* é maior do que para a faceta *a* t. Isso significa que a faceta *a* sofre mais com alguma combinação de falso-positivos (erros do Tipo I) ou falso-negativos (erros do Tipo II). Isso significa que há um desvio contra a faceta *a* favorecida.
# Igualdade de tratamento (TE)
A igualdade de tratamento (TE) é a diferença na proporção de falso-negativos para falso-positivos entre as facetas *a* e *d*. A ideia principal dessa métrica é avaliar se, mesmo que a precisão entre os grupos seja a mesma, os erros são mais prejudiciais a um grupo do que a outro? A taxa de erro vem do total de falso-positivos e falso-negativos, mas o detalhamento desses dois pode ser muito diferente pelas facetas. O TE mede se os erros estão compensando de forma semelhante ou diferente em todas as facetas.
A fórmula da igualdade de tratamento:
TE = FNd/FPd - FNa/FPa
Em que:
+ FNd são os falso-negativos previstos para a faceta *d*.
+ FPd são os falso-positivos previstos para a faceta *d*.
+ FNa são os falso-negativos previstos para a faceta *a*.
+ FPa são os falso-positivos previstos para a faceta *a*.
Observe que a métrica se torna ilimitada se FPa ou FPd for zero.
Por exemplo, suponha que haja 100 pessoas pedindo empréstimos da faceta *a* e 50 da faceta *d*. Para a faceta *a*, 8 tiveram um empréstimo negado erroneamente (FNa) e outros 6 foram aprovados erroneamente (FPa). As predições restantes eram verdadeiras, então TPa \$1 TNa = 86. Para a faceta *d*, 5 foram negadas erroneamente (FNd) e 2 foram aprovadas erroneamente (FPd). As predições restantes eram verdadeiras, então TPd \$1 TNd = 43. A proporção de falso-negativos para falso-positivos é igual a 8/6 = 1,33 para a faceta *a* e 5/2 = 2,5 para a faceta *d*. Portanto, TE = 2,5 - 1,33 = 1,167, embora ambas as facetas tenham a mesma precisão:
ACCa = (86)/(86\$1 8 \$1 6) = 0,86
ACCd = (43)/(43 \$1 5 \$1 2) = 0,86
O intervalo de valores para diferenças na rejeição condicional para rótulos binários e de facetas multicategóricas é (-∞, \$1∞). A métrica TE não está definida para rótulos contínuos. A interpretação dessa métrica depende da importância relativa de falso-positivos (erro do tipo I) e dos falso-negativos (erro do tipo II).
+ Valores positivos ocorrem quando a proporção de falso-negativos para falso-positivos da faceta *d* é maior que da faceta *a*.
+ Valores próximos de zero ocorrem quando a proporção de falso-negativos e falso-positivos para a faceta *a* é semelhante à da faceta *d*.
+ Valores negativos ocorrem quando a proporção de falso-negativos para falso-positivos da faceta *d* é menor que da faceta *a*.
**nota**
Uma versão anterior afirmava que a métrica de Igualdade de Tratamento é calculada como FPa / FNa - FPd / FNd em vez de FNd / FPd - FNa / FPa. Embora qualquer uma das versões possa ser usada. Para obter mais informações, consulte [https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf](https://pages.awscloud.com/rs/112-TZM-766/images/Fairness.Measures.for.Machine.Learning.in.Finance.pdf).
# Disparidade demográfica condicional em rótulos previstos (CDDPL)
A métrica de disparidade demográfica (DDPL) determina se a faceta *d* tem uma proporção maior de rótulos rejeitados previstos do que dos rótulos aceitos previstos. Ele permite uma comparação da diferença na proporção de rejeição prevista e na proporção de aceitação prevista pelas facetas. Essa métrica é exatamente igual à métrica CDD de pré-treinamento, exceto que é calculada com base nos rótulos previstos em vez dos observados. Essa métrica está no intervalo (-1,\$11).
A fórmula para as predições de disparidade demográfica para rótulos da faceta *d* é a seguinte:
DDPLd = n'd(0)/n'(0) - n'd(1)/n'(1) = PdR(y'0) - PdA(y'1)
Em que:
+ n'(0) = n'a(0) \$1 n'd(0) é o número previsto de rótulos rejeitados para as facetas *a* e *d*.
+ n'(1) = n'a(1) \$1 n'd(1) é o número de rótulos aceitos previstos para as facetas *a* e *d*.
+ PdR(y'0) é a proporção de rótulos rejeitados previstos (valor 0) na faceta *d*.
+ PdA(y'1) é a proporção de rótulos aceitos previstos (valor 1) na faceta *d*.
Uma métrica de disparidade demográfica condicional em rótulos previstos (CDDPL) que condiciona o DDPL a atributos que definem um estrato de subgrupos no conjunto de dados é necessária para descartar o paradoxo de Simpson. O reagrupamento pode fornecer insights sobre a causa das aparentes disparidades demográficas nas facetas menos favorecidas. O caso clássico surgiu no caso de admissões em Berkeley, onde os homens foram aceitos com uma taxa geral mais alta do que as mulheres. Mas quando os subgrupos departamentais foram examinados, foi demonstrado que as mulheres tinham taxas de admissão mais altas do que os homens por departamento. A explicação foi que as mulheres se inscreveram em departamentos com taxas de aceitação mais baixas do que os homens. O exame das taxas de aceitação de subgrupos revelou que as mulheres foram realmente aceitas em uma taxa mais alta do que os homens nos departamentos com taxas de aceitação mais baixas.
A métrica CDDPL fornece uma medida única para todas as disparidades encontradas nos subgrupos definidos por um atributo de um conjunto de dados por meio da média deles. É definido como a média ponderada das disparidades demográficas nos rótulos previstos (DDPLi) para cada um dos subgrupos, com cada disparidade de subgrupo ponderada na proporção ao número de observações contidas. A fórmula para a disparidade demográfica condicional nos rótulos previstos é a seguinte:
CDDPL = (1/n)\$1∑ini \$1DDPLi
Em que:
+ ∑ini = n é o número total de observações e ni é o número de observações para cada subgrupo.
+ DDPLi = n'i(0)/n(0) - n'i(1)/n(1) = PiR(y'0) - PiA(y'1) é a disparidade demográfica nos rótulos previstos para o subgrupo.
Portanto, a disparidade demográfica de um subgrupo em rótulos previstos (DDPLi) é a diferença entre a proporção de rótulos rejeitados previstos e a proporção de rótulos aceitos previstos para cada subgrupo.
O intervalo de valores de DDPL para resultados binários, multicategóricos e contínuos é [-1, \$11].
+ \$11: quando não há rótulos de rejeição prevista para a faceta *a* ou subgrupo e nenhuma aceitação prevista na faceta *d* ou subgrupo.
+ Valores positivos indicam que há uma disparidade demográfica nos rótulos previstos, pois a faceta *d* ou subgrupo tem uma proporção maior dos rótulos rejeitados previstos do que dos rótulos aceitos previstos. Quanto maior o valor, maior será a disparidade.
+ Valores próximos de zero indicam que não há disparidade demográfica na média.
+ Valores negativos indicam que há uma disparidade demográfica nos rótulos previstos, pois a faceta *a* ou subgrupo tem uma proporção maior de rótulos rejeitados previstos do que de rótulos aceitos previstos. Quanto menor o valor, maior a disparidade.
+ -1: quando não há lapelas de rejeição previstas para a faceta *d* ou subgrupo e nenhuma aceitação prevista para a faceta *a* ou subgrupo.
# Teste de inversão contrafactual (FT)
O teste de inversão é uma abordagem que analisa cada membro da faceta *d* e avalia se membros semelhantes da faceta *a* têm predições de modelo diferentes. Os membros da faceta *a* são escolhidos para serem vizinhos k mais próximos da observação da faceta *d*. Avaliamos quantos vizinhos mais próximos do grupo oposto recebem uma predição diferente, em que a predição invertida pode ir de positiva para negativa e vice-versa.
A fórmula para o teste de inversão contrafactual é a diferença na cardinalidade de dois conjuntos dividida pelo número de membros da faceta *d*:
FT = (F\$1 - F-)/nd
Em que:
+ F\$1 = é o número de membros desfavorecidos da faceta *d* com um resultado desfavorável cujos vizinhos mais próximos na faceta *a* favorecida receberam um resultado favorável.
+ F- = é o número de membros desfavorecidos da faceta *d* com um resultado favorável cujos vizinhos mais próximos na faceta *a* favorecida receberam um resultado desfavorável.
+ nd é o tamanho da amostra da faceta *d*.
O intervalo de valores para o teste de inversão contrafactual para rótulos de facetas binários e multicategoriais é [-1, \$11]. Para rótulos contínuos, definimos um limite para reduzir os rótulos para binários.
+ Valores positivos ocorrem quando o número de decisões contrafactuais desfavoráveis para a faceta desfavorecida *d* excede as favoráveis.
+ Valores próximos de zero ocorrem quando o número de decisões contrafactuais desfavoráveis e favoráveis do teste de inversão se equilibra.
+ Valores negativos ocorrem quando o número de decisões contrafactuais desfavoráveis do teste de inversão para a faceta desfavorecida *d* é menor do que as favoráveis.
# Entropia generalizada (GE)
O índice de entropia generalizada (GE) mede a desigualdade no benefício `b` do rótulo previsto em comparação com o rótulo observado. Um benefício ocorre quando um falso-positivo é previsto. Um falso-positivo ocorre quando uma observação negativa (y=0) tem uma predição positiva (y'=1). Um benefício também ocorre quando os rótulos observados e previstos são os mesmos, também conhecidos como positivo verdadeiro e negativo verdadeiro. Nenhum benefício ocorre quando um falso-negativo é previsto. Um falso-negativo ocorre quando se prevê que uma observação positiva (y=1) tenha um resultado negativo (y'=0). O benefício `b` é definido da seguinte forma:
```
b = y' - y + 1
```
Usando essa definição, um falso-positivo recebe um benefício `b` de `2`, e um falso-negativo recebe um benefício do `0`. Tanto um positivo verdadeiro quanto um negativo verdadeiro recebem o benefício do `1`.
A métrica GE é calculada seguindo o [Índice de Entropia Generalizada](https://en.wikipedia.org/wiki/Generalized_entropy_index) (GE) com o peso `alpha` definido como `2`. Esse peso controla a sensibilidade a diferentes valores de benefícios. Um `alpha` menor significa uma maior sensibilidade a valores menores.
![\[Equação que define o índice de entropia generalizado com o parâmetro alfa definido como 2.\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/clarify-post-training-bias-metric-ge.png)
As seguintes variáveis usadas para calcular a GE são definidas da seguinte forma:
+ bi é o benefício recebido pelo ponto de dados `ith`.
+ b' é a média de todos os benefícios.
A GE pode variar de 0 a 0,5, onde valores de zero indicam que não há desigualdade nos benefícios em todos os pontos de dados. Isso ocorre quando todas as entradas são previstas corretamente ou quando todas as predições são falso-positivos. A GE é indefinida quando todas as predições são falso-negativos.
**nota**
A métrica GE não depende de um valor de faceta ser favorecido ou desfavorecido.