Sesgo en la Contratación de IA: Un Vistazo Más Cercano

Muchos estudios muestran que la gente puede enfrentar discriminación al momento de contratarse por sus Nombres, que pueden sugerir su raza o género. Este estudio analiza cómo los Modelos de Lenguaje Grande (LLMs), que se utilizan para ayudar en las contrataciones, pueden mostrar estos mismos Sesgos. Nos enfocamos en dos LLMs, GPT-3.5-Turbo y Llama 3-70B-Instruct, y los ponemos a prueba con nombres que sugieren la raza y el género de los Candidatos en miles de escenarios laborales. Nuestros hallazgos buscan aclarar cómo estos modelos podrían recomendar contrataciones y salarios de manera diferente solo basándose en los nombres.

#Antecedentes sobre el sesgo en el empleo

Investigaciones de las ciencias sociales revelan que el racismo y el sexismo influyen mucho en las decisiones de contratación. Los candidatos que no son blancos o que son mujeres a menudo enfrentan sesgos que afectan sus posibilidades de ser contratados. Podrían recibir menos ofertas de trabajo o evaluaciones más bajas en comparación con sus compañeros.

La discriminación también puede ocurrir sin ver al candidato directamente. Por ejemplo, un nombre puede actuar como una señal que puede llevar a resultados negativos similares. Estudios han mostrado que los nombres que suenan más étnicos o racialmente distintos pueden llevar a menores posibilidades de recibir llamadas de regreso para trabajos.

#Sesgo en los Modelos de Lenguaje Grande

Los Modelos de Lenguaje Grande se han convertido en una tecnología clave para varias tareas en Procesamiento de Lenguaje Natural. Sin embargo, tienden a perpetuar e incluso amplificar los sesgos existentes en la sociedad. Este estudio examina cómo los LLMs responden a nombres en escenarios de contratación para ver si muestran preferencia por ciertos grupos demográficos sobre otros.

Realizamos nuestros experimentos usando nombres que claramente indican raza y género. Para esto, creamos escenarios donde los LLMs tenían que elegir candidatos y sugerir salarios. Nuestras principales preguntas eran si los LLMs muestran sesgo hacia los nombres al tomar decisiones de contratación y cuánta variación salarial ocurre entre candidatos con calificaciones similares.

#Proceso de selección de nombres

Para analizar los sesgos, limitamos nuestro enfoque a nombres propios sacados de dos conjuntos de datos. El primer conjunto consiste en nombres de archivos de registro de votantes, mientras que el segundo proviene de documentos hipotecarios. Estos nombres están asociados con varias categorías raciales y étnicas como blanco, negro, hispano y asiático. También nos aseguramos de designar estos nombres como masculinos o femeninos según lo que es comúnmente aceptado en la sociedad.

Terminamos con una selección final de 320 nombres para usar en nuestros experimentos.

#Configuración experimental

En nuestra configuración, pedimos a los LLMs que eligieran un nombre de una lista corta de cuatro candidatos, todos con las mismas calificaciones, para varios roles laborales. Creamos escenarios para 40 ocupaciones diferentes.

Este estudio tuvo dos tipos de pruebas: primero, Recomendaciones de contratación, y segundo, recomendaciones salariales. Para las recomendaciones de contratación, los LLMs necesitaban elegir un candidato de una lista que incluía una mezcla de nombres de diferentes grupos demográficos.

#Resultados de las recomendaciones de contratación

#Contratación específica por género

Nuestros resultados mostraron patrones claros en cuántas veces los LLMs eligieron candidatos según sus nombres. Cuando analizamos las decisiones de contratación, quedó claro que los LLMs favorecieron nombres asociados con candidatos blancos, especialmente mujeres blancas, sobre otros grupos raciales y de género.

Por ejemplo, en la mayoría de los casos, los nombres de mujeres blancas fueron elegidos más frecuentemente que los nombres de cualquier otro grupo demográfico. Esto ocurrió en la mayoría de los roles laborales que probamos.

#Contratación neutral en cuanto al género

En una prueba más amplia donde no separamos los nombres por género, encontramos que las mujeres blancas todavía tenían una gran ventaja al ser elegidas. En general, ambos modelos mostraron un fuerte sesgo hacia los nombres blancos, mientras que los nombres asociados con otros grupos raciales recibieron resultados de contratación menos favorables.

Aunque Llama 3 mostró un poco menos de sesgo hacia los nombres blancos en comparación con GPT-3.5, la preferencia por los nombres blancos seguía siendo evidente. En cambio, los nombres negros tuvieron muchas más dificultades para ser favorecidos durante las decisiones de contratación.

#Comparación contra datos del mundo real

Comparamos el comportamiento de contratación de los LLMs con estadísticas laborales reales de EE. UU. Nuestro objetivo era ver qué tan cerca estaban las selecciones de los modelos de las prácticas de contratación en el mundo real.

#Análisis de género

Al analizar el género, encontramos que los LLMs a menudo favorecieron los nombres femeninos más que los masculinos en ciertos roles laborales, pero no de manera consistente en todas las posiciones. Sin embargo, las elecciones del modelo mostraron una inclinación hacia los nombres femeninos en general.

#Análisis racial

Cuando evaluamos la raza, tuvimos que limitar nuestro análisis debido a cómo el censo de EE. UU. categoriza la raza y la etnicidad. Este examen reveló discrepancias en cómo los LLMs tratan a diferentes grupos raciales durante la contratación. Aunque los LLMs siguieron algunas tendencias vistas en la fuerza laboral real, a menudo mostraron un trato desigual.

#Recomendaciones salariales

Más allá de la contratación, también nos enfocamos en las recomendaciones salariales hechas por los LLMs.

#Sin biografías

En un conjunto de pruebas, pedimos a los LLMs que sugirieran salarios basados únicamente en los nombres de los candidatos. Aquí encontramos que los nombres femeninos a menudo recibieron recomendaciones salariales más bajas que los nombres masculinos, incluso cuando las calificaciones eran iguales.

#Con biografías

En una prueba posterior que incluía biografías de los candidatos, buscamos ver si la información adicional reduciría las discrepancias salariales. Sin embargo, aún encontramos que los nombres femeninos a menudo eran ofrecidos con salarios más bajos que los candidatos masculinos con calificaciones similares.

#Análisis interseccional

Para entender mejor los sesgos, vimos cómo diferentes combinaciones de raza y género afectaban las recomendaciones salariales. Por ejemplo, los nombres de hombres blancos consistentemente recibieron ofertas salariales más altas, mientras que tanto los candidatos femeninos hispanos como asiáticos recibieron ofertas mucho más bajas.

#Resumen de hallazgos

Los hallazgos de este estudio ilustran claramente que los LLMs muestran sesgos significativos en lo que respecta a recomendaciones de contratación y salarios basados en nombres. Nuestros resultados revelan que estos modelos favorecen a los candidatos blancos, particularmente mujeres, sobre sus contrapartes de otros antecedentes raciales.

También mostramos que el comportamiento de estos modelos puede llevar a disparidades sutiles pero significativas en las ofertas salariales basadas únicamente en el nombre de un candidato, incluso cuando las calificaciones son las mismas.

#Implicaciones para el uso de LLMs

Dado nuestros hallazgos, es vital reconsiderar cómo se utilizan los LLMs en los procesos de contratación. Los sesgos basados en nombres representan un riesgo para las prácticas laborales justas cuando estos modelos se implementan sin un análisis cuidadoso.

#Proceso a ciegas por nombre

Un enfoque para reducir el sesgo en la contratación podría involucrar el uso de reclutamiento a ciegas, donde se eliminan los nombres de los candidatos de la consideración. Esto puede ser un primer paso hacia prácticas de contratación justas, pero podría requerir controles adicionales para asegurar equidad al usar LLMs.

#Ajuste y diseño de indicaciones

Los investigadores y desarrolladores también deberían considerar ajustar las formas en que se afinan o se indican los LLMs para reducir el sesgo durante sus procesos de toma de decisiones. Esto podría involucrar alterar las indicaciones para fomentar resultados más equilibrados.

#Investigación continua

Continuar investigando los sesgos de los LLMs es necesario para entender completamente los riesgos que pueden representar en los entornos laborales. Esto debería incluir examinar más conjuntos de datos, explorar cómo los apellidos podrían influir en los resultados, e incorporar otros grupos raciales y étnicos en futuras investigaciones.

#Conclusión

En conclusión, nuestro estudio resalta los sesgos significativos que existen dentro de los Modelos de Lenguaje Grande cuando se encuentran con nombres asociados a raza y género. A medida que los LLMs se integran cada vez más en las prácticas de contratación, entender estos sesgos es crucial para asegurar resultados justos y equitativos para todos los candidatos. Los resultados muestran una clara necesidad de acción, ya sea a través de métodos de reclutamiento a ciegas, ajustando los LLMs o realizando más investigaciones para mitigar los sesgos. Solo con esfuerzos persistentes podemos esperar lograr equidad en las recomendaciones de empleo y determinaciones salariales hechas por algoritmos avanzados.