Abordando la equidad en el aprendizaje automático con datos faltantes

En el mundo de hoy, el aprendizaje automático se usa cada vez más en varios campos, como finanzas, salud y justicia criminal. Pero, ya que estos sistemas toman decisiones importantes sobre la vida de las personas, la equidad en estos algoritmos es clave. La equidad se refiere a la idea de que los algoritmos deben tratar a diferentes grupos Demográficos por igual, sin sesgos. Pero, ¿qué pasa cuando no tenemos información demográfica completa sobre los individuos? Esta situación se llama un "régimen de escasez demográfica".

Cuando los investigadores realizan estudios sobre equidad, la mayoría asumen que tienen acceso completo a los datos demográficos, lo cual no siempre es así. A veces, los datos no están disponibles por preocupaciones de privacidad, restricciones legales o simplemente porque no se recolectaron. Esta falta de datos demográficos dificulta saber si un algoritmo está tratando a diferentes grupos de manera justa.

#El Desafío de los Datos Faltantes

Cuando falta la información demográfica, se vuelve complicado medir y hacer cumplir la equidad. Por ejemplo, considera un escenario donde queremos determinar si un proceso de solicitud de préstamo es justo entre diferentes grupos raciales o de género. Si no tenemos los datos raciales o de género de todos los solicitantes, no podemos asegurar que el algoritmo esté tratando a estos grupos de manera justa.

Los investigadores han encontrado que una forma de lidiar con este problema es entrenar un clasificador de atributos, un tipo de modelo que aprende a predecir atributos sensibles como raza o género basándose en otra información disponible. Esto nos permitiría crear un "Proxy" para los datos demográficos que faltan. Sin embargo, depender de estos atributos proxy puede llevar a una peor equidad y precisión en comparación con usar atributos demográficos reales.

#Nuestro Marco Propuesto

Para mejorar los intercambios entre equidad y precisión al usar datos proxy, proponemos un nuevo marco. Nuestro método se centra en incorporar la conciencia de la Incertidumbre en el clasificador de atributos. En términos más simples, queremos que el modelo esté consciente de cuán seguro está sobre sus predicciones respecto a la información demográfica faltante.

La idea clave detrás de nuestro marco es que cuando el modelo está incierto sobre una predicción, hacer cumplir la equidad podría perjudicar tanto la equidad como la precisión. Así que sugerimos que las restricciones de equidad solo se apliquen a muestras donde la información demográfica se predice con alta confianza.

#El Proceso

Nuestro marco consta de dos fases principales.

1. Entrenamiento del Clasificador de Atributos: En la primera fase, creamos un modelo para predecir la información demográfica faltante. Este modelo utiliza técnicas para evaluar cuán seguro o inseguro está sobre sus predicciones. La incertidumbre se mejora durante el entrenamiento usando un método llamado Monte Carlo dropout, que ayuda a estimar la variabilidad de las predicciones.

2. Entrenamiento del Clasificador de Etiquetas: En la segunda fase, entrenamos el clasificador principal que hace predicciones relacionadas con la variable objetivo (por ejemplo, si alguien debería recibir un préstamo). Importante, solo imponemos las restricciones de equidad en muestras donde la información demográfica ha sido predicha con baja incertidumbre.

#Resultados y Hallazgos

Para validar nuestro marco, realizamos experimentos en dos conjuntos de datos ampliamente utilizados: el conjunto de datos de Ingresos de Adultos y el conjunto de datos Compas. Estos conjuntos se han utilizado para evaluar sesgos y equidad en el aprendizaje automático.

Nuestros resultados mostraron que los métodos existentes para mejorar la equidad pueden adaptarse bien al ruido introducido al usar atributos sensibles proxy en lugar de atributos sensibles reales. Esto significa que nuestro marco sugerido aún puede funcionar de manera efectiva, incluso al depender de predicciones imperfectas.

También descubrimos que las muestras predichas con alta incertidumbre tienden a ser perjudiciales para el equilibrio entre equidad y precisión. Como resultado, nuestro método funciona mejor cuando las restricciones de equidad se imponen solo en muestras predichas con baja incertidumbre.

#La Importancia de la Incertidumbre

El concepto de incertidumbre juega un papel crucial en nuestro marco. Nos ayuda a entender cuándo aplicar las restricciones de equidad. Cuando un modelo está incierto, intentar hacer cumplir la equidad puede llevar a resultados peores. Esto se debe a que el modelo podría hacer suposiciones incorrectas sobre los atributos demográficos, lo que podría desviar su toma de decisiones.

Al centrarnos en muestras con predicciones confiables, podemos mantener un mejor equilibrio entre equidad y precisión. Este enfoque da como resultado modelos que no solo funcionan mejor, sino que también muestran características de equidad mejoradas.

#Comparación con Otros Métodos

En nuestros experimentos, comparamos nuestro marco con varios métodos de referencia, incluyendo:

• Atributo Sensible de Verdad: Esta referencia asume que el verdadero atributo sensible está completamente disponible y mide el nivel óptimo de rendimiento.

• Proxy-KNN: Este enfoque deriva atributos sensibles faltantes de los k vecinos más cercanos de muestras que contienen atributos sensibles.

• Proxy-DNN: En este caso, se entrena una red neuronal profunda para predecir atributos sensibles sin considerar la incertidumbre.

Nuestro marco superó consistentemente a estos métodos de referencia en todos los conjuntos de datos y métricas de equidad. Esto demuestra que nuestro método puede lograr un mejor equilibrio entre precisión y equidad en comparación con métodos tradicionales que no tienen en cuenta la incertidumbre.

#Métricas de Equidad

Para evaluar el rendimiento de nuestro marco, consideramos tres métricas de equidad populares:

• Paridad Demográfica: Esta métrica requiere que los resultados predichos sean independientes de los atributos sensibles.

• Odds Iguales: Esta métrica hace cumplir que las tasas de verdaderos positivos y falsos positivos son iguales entre diferentes grupos demográficos.

• Igual Oportunidad: Esto se centra únicamente en igualar las tasas de verdaderos positivos entre diferentes grupos demográficos.

Cada una de estas métricas fue evaluada para medir cuán bien se desempeñó nuestro marco en términos de lograr equidad.

#Conclusión

En resumen, nuestro marco propuesto hace una contribución significativa al campo de la equidad en el aprendizaje automático, especialmente al tratar con información demográfica limitada. Destacamos la importancia de la incertidumbre en las predicciones y demostramos que nuestro método puede producir modelos más justos y precisos en comparación con otros enfoques. Al centrarnos en muestras con predicciones confiables, podemos mejorar el equilibrio entre equidad y precisión, haciendo que nuestros métodos sean aplicables en escenarios del mundo real donde los datos demográficos completos son a menudo inalcanzables.

El trabajo futuro se centrará en refinar aún más el equilibrio entre equidad y precisión mediante la incorporación de técnicas avanzadas en el entrenamiento de los clasificadores de atributos. Esperamos proporcionar herramientas prácticas para garantizar la equidad en los sistemas de aprendizaje automático que impactan la vida de las personas.