Phase 18 - Lesson 21

Criterios de Equidad — Grupal, Individual y Contrafactual

This lesson includes a graded coding exercise that runs in your browser, unlocked with lifetime access.

Tres familias estructuran la literatura de equidad. Equidad grupal: paridad demográfica, igualdad de oportunidades (equalized odds), igualdad de precisión de uso condicional — tasas promedio iguales entre grupos protegidos. Equidad individual (Dwork et al. 2012): individuos similares reciben decisiones similares; condición de Lipschitz en el mapa de decisiones. Equidad contrafactual (Kusner et al. 2017): una decisión es justa para un individuo si no cambia cuando los atributos sensibles se alteran contrafactualmente. Resultado teórico de 2024 (NeurIPS 2024): existe un trade-off inherente entre equidad contrafactual (CF) y precisión; un método agnóstico al modelo convierte un predictor óptimo pero injusto en uno CF con una pérdida de precisión acotada. Contrafactuales de retroceso (backtracking counterfactuals) (arXiv:2401.13935, enero de 2024): nuevo paradigma que evita requerir intervenciones en atributos protegidos por ley. Reconciliação filosófica (ICLR Blogposts 2024): con grafos causales, satisfacer ciertas medidas de equidad grupal implica equidad contrafactual.

Tipo: Learn Lenguajes: Python (stdlib, comparación de tres criterios) Prerrequisitos: Fase 18 · 20 (sesgo), Fase 02 (ML clásico) Tiempo: ~60 minutos

Objetivos de Aprendizaje

• Presentar los tres criterios de equidad grupal (paridad demográfica, igualdad de oportunidades e igualdad de precisión de uso condicional) y un resultado de imposibilidad.
• Describir la equidad de forma individual a través de la formulación de Lipschitz de Dwork et al. 2012.
• Describir la equidad contrafactual y su dependencia de grafos causales (DAGs).
• Explicar los contrafactuales de retroceso y por qué evitan el problema de la intervención en atributos protegidos.

El Problema

La Lección 20 trató sobre la medición del sesgo. La Lección 21 trata sobre definir el estándar de equidad que debe cumplir la medición. Las tres familias ofrecen estándares estructuralmente diferentes: un modelo puede ser justo a nivel grupal e injusto a nivel individual, o contrafactualmente justo e injusto a nivel grupal. Elegir un estándar es una decisión de política; ningún estándar es universalmente óptimo.

El Concepto

Equidad grupal

• Paridad demográfica (demographic parity). P(Y=1 | A=a) = P(Y=1 | A=a') para todos los grupos. Tasas de aceptación iguales.
• Igualdad de oportunidades (equalized odds). P(Y=1 | Y*=y, A=a) = P(Y=1 | Y*=y, A=a'). Tasas iguales de verdaderos positivos (TPR) y falsos positivos (FPR) entre grupos.
• Igualdad de precisión de uso condicional (conditional use accuracy equality). P(Y*=y | Y=y, A=a) = P(Y*=y | Y=y, A=a'). Valor predictivo igual entre grupos.

Imposibilidad (Chouldechova, Kleinberg-Mullainathan-Raghavan 2017): estos tres criterios no pueden satisfacerse simultáneamente bajo tasas base desiguales.

Equidad individual

Dwork et al. 2012. Un mapa de decisiones f es individualmente justo con respecto a una métrica de similitud específica de la tarea d si |f(x) - f(x')| <= L * d(x, x') para alguna constante de Lipschitz L. Los individuos similares reciben decisiones similares.

Requiere definir d. Es una pregunta de política, no estadística.

Equidad contrafactual

Kusner et al. 2017. Una decisión es contrafactualmente justa para el individuo i si, bajo un modelo causal de la población, la decisión no cambia cuando los atributos sensibles de i se alteran contrafactualmente.

Requiere un DAG causal. El DAG es una elección de modelado. La equidad contrafactual está tan justificada como el propio DAG.

El trade-off entre CF y precisión

Teoría de NeurIPS 2024: existe un trade-off inherente entre la equidad contrafactual y la precisión predictiva. Un método agnóstico al modelo puede convertir un predictor óptimo pero injusto en uno CF, con un costo de precisión acotado. El costo de precisión depende de la magnitud del coeficiente del atributo sensible en el predictor injusto óptimo.

Contrafactuales de retroceso

arXiv:2401.13935 (enero de 2024). Los contrafactuales tradicionales requieren intervenciones en el atributo sensible — "¿cambiaría la decisión si esta persona hubiera sido de un género diferente?". Legalmente, esto es problemático: los atributos protegidos no pueden ser objeto de intervención en la legislación de clasificación.

Los contrafactuales de retroceso (backtracking counterfactuals) invierten la dirección: en lugar de intervenir en el atributo, preguntan qué combinación de las características reales del individuo habría producido el resultado contrafactual. Esto evita la objeción legal.

Reconciliación filosófica

ICLR Blogposts 2024. Con un grafo causal a mano, satisfacer ciertas medidas de equidad grupal implica equidad contrafactual. Las tres familias no son ortogonales; son diferentes facetas de la misma estructura causal subyacente.

Esto no resuelve los teoremas de imposibilidad (las tasas base desiguales aún impiden la equidad grupal simultánea). But muestra que la aparente oposición entre "grupal" e "individual / contrafactual" es parcialmente un artefacto de no ser explícito sobre el modelo causal.

Dónde encaja esto en la Fase 18

La Lección 20 es la medición del sesgo. La Lección 21 es la definición de equidad. La Lección 22 es la privacidad (privacidad diferencial). La Lección 23 es la marca de agua. Estas son las lecciones adyacentes a la asignación que complementan a las Lecciones 7-11, adyacentes al engaño.

Use It

El archivo code/main.py construye un conjunto de datos ficticio de clasificación binaria con un atributo sesgado y tasas base desiguales. Calcula la paridad demográfica, la igualdad de oportunidades y la igualdad de precisión de uso condicional en un clasificador simple. Observa que las tres métricas discrepan. Aplica una reponderación para la paridad demográfica y observa su costo en las otras dos.

Ship It

Esta lección produce outputs/skill-fairness-criterion.md. Dada una afirmación o política de equidad, identifica qué criterio se está reclamando, si el modelo puede satisfacer los criterios restantes bajo las tasas base desiguales reclamadas y de qué DAG causal depende la afirmación.

Ejercicios

1. Ejecuta code/main.py. Reporta las tres métricas grupales en los datos predeterminados. Aplica la reponderación dirigida a la paridad demográfica y reporta de nuevo.

2. Implementa la métrica de equidad individual de Dwork et al. 2012 usando L2 en características no sensibles. Reporta cuántas parejas violan la condición de Lipschitz con constante L=1.

3. Lee Kusner et al. 2017. Construye un DAG causal simple de dos características para la calificación de currículos e identifica la condición de equidad contrafactual que implica.

4. El artículo de 2024 sobre contrafactuales de retroceso evita la intervención en atributos protegidos. Describe un escenario en el que esto sea importante para el cumplimiento legal.

5. La reconciliación de ICLR 2024 sostiene que la equidad grupal y la contrafactual son facetas de la misma estructura. Elige dos de los tres criterios en code/main.py y establece la suposición causal que los haría equivalentes.

Términos Clave

Lecturas Recomendadas

• Dwork et al. — Fairness through Awareness (arXiv:1104.3913) — equidad individual
• Kusner, Loftus, Russell, Silva — Counterfactual Fairness (arXiv:1703.06856) — equidad contrafactual
• Chouldechova — Fair prediction with disparate impact (arXiv:1703.00056) — imposibilidad
• Backtracking Counterfactuals (arXiv:2401.13935) — nuevo paradigma para intervenciones en atributos protegidos