Phase 18 - Lesson 21

Critérios de Equidade — Grupal, Individual e Contrafactual

This lesson includes a graded coding exercise that runs in your browser, unlocked with lifetime access.

Três famílias estruturam a literatura de equidade. Equidade grupal (group fairness): paridade demográfica, igualdade de oportunidades (equalized odds), igualdade de acurácia de uso condicional — taxas iguais médias entre grupos protegidos. Equidade individual (individual fairness) (Dwork et al. 2012): indivíduos semelhantes recebem decisões semelhantes; condição de Lipschitz no mapa de decisão. Equidade contrafactual (counterfactual fairness) (Kusner et al. 2017): uma decisão é justa para um indivíduo se permanecer inalterada quando os atributos sensíveis forem contrafactualmente alterados. Resultado teórico de 2024 (NeurIPS 2024): existe uma compensação (trade-off) inerente entre equidade contrafactual (CF) e acurácia; um método agnóstico ao modelo converte um preditor ótimo, porém injusto, em um preditor CF com perda de acurácia limitada. Contrafactuais de retrocesso (backtracking counterfactuals) (arXiv:2401.13935, Janeiro de 2024): novo paradigma que evita a necessidade de intervenções em atributos protegidos por lei. Reconciliação filosófica (ICLR Blogposts 2024): com grafos causais, a satisfação de certas medidas de equidade grupal implica em equidade contrafactual.

Tipo: Learn Linguagens: Python (stdlib, comparação entre três critérios) Pré-requisitos: Fase 18 · 20 (viés), Fase 02 (ML clássico) Tempo: ~60 minutos

Objetivos de Aprendizado

• Apresentar os três critérios de equidade grupal (paridade demográfica, igualdade de oportunidades e igualdade de acurácia de uso condicional) e um resultado de impossibilidade.
• Descrever a equidade individual por meio da formulação de Lipschitz de Dwork et al. 2012.
• Descrever a equidade contrafactual e sua dependência de grafos causais (DAGs).
• Explicar os contrafactuais de retrocesso e por que eles contornam o problema da intervenção em atributos protegidos.

O Problema

A Lição 20 tratou da medição de viés. A Lição 21 trata de definir o padrão de equidade que essa medição deve atender. As três famílias oferecem padrões estruturalmente diferentes — um modelo pode ser justo no nível grupal e injusto no nível individual, ou contrafactualmente justo e injusto no nível grupal. A escolha de um padrão é uma decisão política; nenhum padrão é universalmente ótimo.

O Conceito

Equidade grupal

• Paridade demográfica (demographic parity). P(Y=1 | A=a) = P(Y=1 | A=a') para todos os grupos. Taxas de aceitação iguais.
• Igualdade de oportunidades (equalized odds). P(Y=1 | Y*=y, A=a) = P(Y=1 | Y*=y, A=a'). Taxas iguais de verdadeiros positivos (TPR) e falsos positivos (FPR) entre os grupos.
• Igualdade de acurácia de uso condicional (conditional use accuracy equality). P(Y*=y | Y=y, A=a) = P(Y*=y | Y=y, A=a'). Valor preditivo igual entre os grupos.

Impossibilidade (Chouldechova, Kleinberg-Mullainathan-Raghavan 2017): estes três critérios não podem ser satisfeitos simultaneamente sob taxas de base desiguais.

Equidade individual

Dwork et al. 2012. Um mapa de decisão f é individualmente justo em relação a uma métrica de similaridade específica da tarefa d se |f(x) - f(x')| <= L * d(x, x') para alguma constante de Lipschitz L. Indivíduos semelhantes recebem decisões semelhantes.

Isso exige a definição de d. Trata-se de uma questão política, não estatística.

Equidade contrafactual

Kusner et al. 2017. Uma decisão é contrafactualmente justa para o indivíduo i se, sob um modelo causal da população, a decisão permanecer inalterada quando os atributos sensíveis de i forem contrafactualmente alterados.

Requer um DAG causal. O DAG é uma escolha de modelagem. A equidade contrafactual é tão justificada quanto o próprio DAG.

A compensação entre CF e acurácia

Teoria do NeurIPS 2024: existe uma compensação inerente entre a equidade contrafactual e a acurácia preditiva. Um método agnóstico ao modelo pode converter um preditor ótimo, porém injusto, em um preditor CF a um custo de acurácia limitado. O custo de acurácia depende da magnitude do coeficiente do atributo sensível no preditor injusto ótimo.

Contrafactuais de retrocesso

arXiv:2401.13935 (Janeiro de 2024). Os contrafactuais tradicionais exigem intervenções no atributo sensível — "a decisão mudaria se essa pessoa fosse de um gênero diferente?". Legalmente, isso é problemático: atributos protegidos não podem sofrer intervenções na legislação de classificação.

Os contrafactuais de retrocesso (backtracking counterfactuals) invertem a direção: em vez de intervir no atributo, perguntam qual combinação das características reais do indivíduo teria produzido o resultado contrafactual. Isso contorna a objeção legal.

Reconciliação filosófica

ICLR Blogposts 2024. Com um grafo causal em mãos, satisfazer certas medidas de equidade grupal implica em equidade contrafactual. As três famílias não são ortogonais; são facetas diferentes da mesma estrutura causal subjacente.

Isso não resolve os teoremas de impossibilidade (taxas de base desiguais ainda impedem a equidade grupal simultânea). Mas mostra que a aparente oposição entre "grupal" e "individual / contrafactual" é parcialmente um artefato de não se explicitar o modelo causal.

Onde isso se encaixa na Fase 18

A Lição 20 é a medição de viés. A Lição 21 é a definição de equidade. A Lição 22 é a privacidade (privacidade diferencial). A Lição 23 é a marca d'água. Estas são as lições adjacentes à alocação que complementam as Lições 7 a 11, que são adjacentes ao engano.

Use It

O arquivo code/main.py constrói um conjunto de dados fictício de classificação binária com um atributo sensível e taxas de base desiguais. Calcule a paridade demográfica, a igualdade de oportunidades e a igualdade de acurácia de uso condicional em um classificador simples. Observe que as três métricas discordam entre si. Aplique uma reponderação para a paridade demográfica e observe seu custo nas outras duas.

Ship It

Esta lição produz outputs/skill-fairness-criterion.md. Dada uma alegação ou política de equidade, ela identifica qual critério está sendo alegado, se o modelo pode satisfazer os critérios restantes sob as taxas de base desiguais declaradas e de qual DAG causal a alegação depende.

Exercícios

1. Execute code/main.py. Relate as três métricas grupais nos dados padrão. Aplique a reponderação voltada para a paridade demográfica e relate novamente.

2. Implemente a métrica de equidade individual de Dwork et al. 2012 usando L2 em características não sensíveis. Relate quantos pares violam a condição de Lipschitz com constante L=1.

3. Leia Kusner et al. 2017. Construa um DAG causal simples de duas características para pontuação de currículos e identifique a condição de equidade contrafactual que ele implica.

4. O artigo de 2024 sobre contrafactuais de retrocesso evita a intervenção em atributos protegidos. Descreva um cenário onde isso seja importante para a conformidade legal.

5. A reconciliação do ICLR 2024 argumenta que a equidade grupal e a contrafactual são facetas da mesma estrutura. Escolha dois dos três critérios em code/main.py e estabeleça a suposição causal que os tornaria equivalentes.

Termos-Chave

Leituras Recomendadas

• Dwork et al. — Fairness through Awareness (arXiv:1104.3913) — equidade individual
• Kusner, Loftus, Russell, Silva — Counterfactual Fairness (arXiv:1703.06856) — equidade contrafactual
• Chouldechova — Fair prediction with disparate impact (arXiv:1703.00056) — impossibilidade
• Backtracking Counterfactuals (arXiv:2401.13935) — novo paradigma para intervenções em atributos protegidos