Clasificaciones Justas en Sistemas de Aprendizaje por Ranking

Los sistemas de aprendizaje para clasificar (LTR) se usan para ordenar elementos según cuán relevantes son para ciertas consultas. Aplicaciones comunes incluyen recomendaciones de trabajo, búsquedas de productos y artículos de noticias. Sin embargo, centrarse solo en la relevancia puede crear problemas, especialmente para grupos de elementos que están subrepresentados. Si el algoritmo se entrena con datos sesgados, puede que no represente la verdadera relevancia, llevando a resultados injustos.

#Desafíos en los Sistemas de Clasificación

Un gran desafío con los sistemas de clasificación es el riesgo de sesgo. Por ejemplo, si un sistema de recomendaciones laborales favorece a Candidatos de un cierto grupo demográfico, puede perjudicar sin querer a aquellos de grupos minoritarios. Esto puede suceder porque los datos históricos reflejan sesgos sociales. En este escenario, el rendimiento del algoritmo puede verse afectado porque podría priorizar ciertos grupos sobre otros, reforzando estereotipos existentes.

Trabajos anteriores intentaron abordar la equidad en la clasificación asegurándose de que diferentes grupos estén representados de manera justa. Estos métodos suelen funcionar ajustando cómo se procesan las clasificaciones después de que se generan, lo que puede no siempre funcionar bien para entrenar Modelos específicamente para tener en cuenta la equidad desde un principio.

#Equidad en el Aprendizaje para Clasificar

Para abordar estos problemas, los investigadores han desarrollado metodologías de clasificación justa. La equidad en LTR generalmente se divide en dos categorías: equidad ex-ante, que se centra en la equidad antes de que se generen las clasificaciones, y equidad ex-post, que asegura la equidad después de que se crean las clasificaciones.

La equidad ex-ante calcula la equidad basada en resultados esperados. Por ejemplo, puede establecer reglas para asegurar una representación diversa en las clasificaciones. En contraste, la equidad ex-post mira las clasificaciones reales producidas y verifica si cumplen con los criterios de equidad.

Mientras que las técnicas anteriores se han centrado en uno de estos tipos de equidad, ha habido una falta de métodos que combinen ambos enfoques de manera efectiva. Este documento propone un nuevo método que busca maximizar la relevancia mientras asegura la equidad en la salida final de las clasificaciones.

#El Método Propuesto

El método introducido en este documento se centra en crear un nuevo objetivo que maximiza la relevancia mientras mantiene la equidad grupal en las clasificaciones. Esto significa que solo considerará clasificaciones que se alineen con criterios de representación específicos.

Usamos un modelo de clasificación específico conocido como Plackett-Luce (PL), que es popular en varios campos como estadísticas y psicología. Los desarrollos recientes lo han hecho eficiente para tareas de clasificación, especialmente en entornos en línea. El modelo PL nos permite calcular de manera eficiente cómo se clasifican los elementos según sus puntajes de relevancia predicha.

Para superar los desafíos de equidad, añadimos un paso en el proceso de clasificación para asegurar que la equidad se considere durante la fase de entrenamiento, y no solo después de que se generen las clasificaciones. Esto permite un mejor equilibrio entre lograr relevancia y asegurar equidad.

#Ejemplo del Mundo Real de Equidad

Para ilustrar la importancia de la equidad en las clasificaciones, consideremos una plataforma de recomendaciones laborales. Supongamos que esta plataforma usa un algoritmo para sugerir candidatos a reclutadores. Si el algoritmo favorece a candidatos de un grupo mayoritario sobre los de un grupo minoritario, podría sugerir muchos más candidatos del grupo favorecido, incluso si el grupo minoritario también tiene candidatos calificados.

Para hacerlo justo ex-post, la plataforma necesita asegurarse de que ambos grupos estén representados de manera equitativa en las sugerencias dadas. El método propuesto podría ayudar a lograr esto considerando los criterios de equidad durante el proceso de clasificación en sí.

#Contribuciones Clave

El avance principal discutido en este método es la creación de un nuevo objetivo que se centra en clasificaciones relevantes que también cumplen con restricciones de representación. Este modelo puede ser entrenado de manera eficiente para asegurar que los resultados sean justos.

Las pruebas realizadas en conjuntos de datos del mundo real demuestran que este nuevo modelo puede equilibrar efectivamente la equidad y la relevancia. Los experimentos mostraron que cuando se involucran datos sesgados, nuestro método aún rinde mejor que los modelos tradicionales de clasificación que solo se enfocan en la relevancia.

#Enfoques Relacionados

Los métodos de clasificación justa se pueden categorizar en dos tipos: métodos in-processing y métodos post-processing. Los métodos in-processing ajustan el modelo de clasificación durante el entrenamiento para incluir equidad. Por otro lado, los métodos post-processing alteran la salida después de que se hayan generado las clasificaciones.

Mientras que el post-processing puede lograr equidad ex-post, no siempre tiene en cuenta cómo se entrenó el modelo. Este documento introduce un método que combina ambos enfoques para obtener mejores resultados.

#Modelo Gruppal Justo Propuesto

El nuevo modelo Group-Fair-Plackett-Luce (Group-Fair-PL) mejora el modelo de clasificación PL al introducir un proceso de dos pasos. El primer paso muestrea asignaciones grupales, y el segundo paso genera clasificaciones basadas en estas asignaciones. Esta estructura permite al modelo centrarse en generar clasificaciones justas sin comprometer la relevancia.

Nuestro modelo Group-Fair-PL garantiza que el proceso de muestreo se alinee con los criterios de equidad, llevando a mejores clasificaciones en general. El diseño asegura que individuos de diferentes grupos tengan una oportunidad justa de ser representados en posiciones destacadas.

#Eficiencia del Modelo Group-Fair-PL

El modelo propuesto ha sido diseñado para ser eficiente tanto en el muestreo como en el entrenamiento. Aunque las restricciones de equidad pueden ser rigurosas, nos aseguramos de que el proceso siga siendo computacionalmente manejable. El método permite cálculos eficientes para los gradientes necesarios para actualizar los parámetros del modelo.

Esta eficiencia es vital, ya que minimiza el tiempo necesario durante el entrenamiento mientras mantiene un enfoque en la equidad y la relevancia.

#Resultados Experimentales

Para validar la efectividad de nuestro método propuesto, se realizaron experimentos utilizando tres conjuntos de datos del mundo real: German Credit, MovieLens y HMDA. Los resultados mostraron que el modelo Group-Fair-PL garantiza equidad mientras logra una mayor relevancia en comparación con modelos de clasificación tradicionales.

Los experimentos también incluyeron escenarios donde se introdujo sesgo implícito en los datos de entrenamiento. Nuestro modelo aún superó a los modelos existentes en equidad y relevancia en estas pruebas.

#Hallazgos

El modelo Group-Fair-PL se desempeñó consistentemente bien, asegurando el mejor equilibrio entre relevancia y equidad. Incluso en presencia de sesgo, el modelo redujo efectivamente los resultados sesgados mientras mantenía puntajes de relevancia fuertes.

En casos sin ningún sesgo, el modelo aún produjo clasificaciones justas, mostrando su fortaleza en ambos escenarios.

#Conclusión

Esta investigación presenta un enfoque innovador para los sistemas de aprendizaje para clasificar, centrándose en lograr equidad y relevancia simultáneamente. El nuevo modelo Group-Fair-PL representa un avance significativo hacia la creación de sistemas de clasificación equitativos que no comprometen la calidad de los resultados.

El trabajo futuro podría expandir este marco para incorporar modelos de clasificación más complejos, mejorando aún más su aplicabilidad en varios campos. Al abordar la equidad en los sistemas de clasificación, podemos ayudar a crear una representación más equitativa de diversos grupos en numerosas aplicaciones del mundo real.