El impacto de los nombres en los sesgos de los modelos de lenguaje

Los nombres pueden decirnos mucho sobre una persona, como su género, raza e incluso su trasfondo. Sin embargo, también pueden llevar a prejuicios y estereotipos. Estos prejuicios pueden afectar cómo las personas interactúan en situaciones cotidianas. Por ejemplo, estudios muestran que los solicitantes de empleo con nombres que suenan más "blancos" tienden a recibir más ofertas de entrevistas que aquellos con nombres que parecen más "negros". Este tipo de prejuicio no se limita solo a las personas; también puede estar presente en modelos de lenguaje grandes (LLMs).

A medida que los LLMs se utilizan cada vez más en aplicaciones en las que confiamos, es importante ver si muestran prejuicios similares al tratar con nombres. En esta discusión, analizamos tres LLMs populares para ver cómo responden a los nombres en una situación llamada Juego de la Confianza modificado, que es una prueba para estudiar la confianza y la cooperación entre las personas.

#¿Qué es el Juego de la Confianza?

El Juego de la Confianza es un experimento simple donde una persona, llamada el inversor, le da algo de dinero a otra persona, llamada el fideicomisario. Después de recibir el dinero, el fideicomisario tiene la opción de devolver parte de él al inversor. Este juego está diseñado para entender la confianza y cómo las personas interactúan entre sí. Tradicionalmente, ambos jugadores en el juego eran anónimos, lo que significa que nadie sabía quién era el otro. Sin embargo, en nuestro estudio, decidimos identificar a ambos jugadores por sus nombres y un título de género (como "Sr." o "Sra.") para ver cómo estos factores influían en la cantidad de dinero que el inversor daría.

#¿Por qué centrarse en los nombres?

Los nombres son más que solo etiquetas; representan aspectos importantes de nuestra identidad. Un nombre puede insinuar el género, la raza e incluso el trasfondo cultural de alguien. Debido a esto, los nombres también pueden llevar a prejuicios. Cuando vemos o escuchamos un nombre, podemos asociarlo inconscientemente con ciertos estereotipos. Por ejemplo, si escuchamos "Sarah Flynn," podríamos imaginar a una mujer blanca, mientras que "Carlos Garcia" podría evocar a un hombre hispano. Estos pensamientos rápidos e instintivos pueden moldear cómo vemos y tratamos a los demás en diversas situaciones.

#Evidencia de prejuicios en el comportamiento humano

La investigación ha mostrado que los prejuicios basados en nombres no son solo teóricos. Por ejemplo, estudios en el mercado laboral de EE. UU. han revelado que las solicitudes de empleo con nombres que suenan más blancos a menudo reciben alrededor del 50% más de llamadas para entrevistas que aquellas con nombres que se perciben como pertenecientes a individuos negros. Prejuicios similares también se han identificado en otras áreas, como la receptividad de los legisladores estatales a solicitudes por correo electrónico y opiniones públicas sobre cómo deberían distribuirse los recursos.

#Analizando prejuicios en modelos de lenguaje

En nuestro estudio, analizamos cómo los LLMs responden a los nombres en el contexto de género y raza. Nos centramos específicamente en tres modelos: Llama2-13B, Mistral-7B y Phi-2. Estos modelos han sido entrenados con grandes cantidades de datos, y aunque podrían ser hábiles en entender y generar lenguaje, también podrían llevar inadvertidamente prejuicios humanos.

Los LLMs pueden captar estereotipos y prejuicios al igual que los humanos. A medida que se utilizan más frecuentemente en procesos de toma de decisiones que afectan nuestras vidas diarias, es esencial ver cómo estos modelos reflejan o posiblemente agravan los prejuicios sociales, especialmente en lo que respecta al género y la raza.

#Nuestro enfoque para probar prejuicios

Para probar estos prejuicios, creamos un nuevo método que consistía en pedirle a un LLM que predijera cuánto dinero daría un inversor en el Juego de la Confianza basado en nombres y títulos. Usamos un conjunto de apellidos representativos de diferentes razas para determinar cómo reaccionaría el modelo a varias combinaciones de género y raza.

El Juego de la Confianza modificado que utilizamos nos permitió ver cómo los nombres identificados tanto del inversor como del fideicomisario afectaban las cantidades de inversión. En lugar de esperar a que el modelo generara respuestas al azar, calculamos realmente la cantidad de inversión esperada en función de la salida del modelo.

#Diseño del experimento

Llevaramos a cabo dos experimentos principales: uno con Inversores masculinos y otro con inversores femeninos. En ambos casos, el inversor podía ser de un grupo mayoritario (como hombres blancos) o de un grupo minoritario (como mujeres asiáticas). Los fideicomisarios representaban una diversidad de géneros y razas.

Para cada experimento, creamos una lista curada de nombres que representaban diferentes grupos raciales y de género. Usando estas combinaciones, pudimos comprobar si había prejuicio presente en las predicciones realizadas por los LLMs.

#Manejo de datos de nombres

Prestamos atención cuidadosa a cómo seleccionamos los nombres utilizados en nuestros experimentos. Queríamos asegurarnos de que los nombres que seleccionamos representaran con precisión a sus respectivos grupos. Para ello, utilizamos datos del Censo de EE. UU. de 2010, que proporciona información detallada sobre la composición racial de los apellidos.

#Proceso de selección de apellidos

Los datos de apellidos incluían varias estadísticas sobre qué tan común es cada nombre y el porcentaje de personas que se identifican con diferentes razas. Usamos estos datos para asegurarnos de que seleccionamos nombres que no solo eran populares dentro de sus categorías raciales, sino que también reflejaban con precisión esas categorías.

Para seleccionar nombres, utilizamos un método que equilibraba tanto la unicidad como la popularidad. Esto nos ayudó a crear una lista que cumpliría con las expectativas de las percepciones tanto humanas como de los LLMs. Al enfocarnos en ambos aspectos, buscamos presentar los nombres más relevantes para cada grupo racial.

#Diseño de indicaciones para los modelos de lenguaje

Para interactuar de manera efectiva con los LLMs, desarrollamos indicaciones específicas basadas en nuestra estructura del Juego de la Confianza. Nuestras indicaciones estaban diseñadas para aclarar el escenario y pedir a los modelos que predijeran las cantidades de inversión, considerando la identidad de ambos jugadores.

Cada indicación incluía elementos esenciales del juego, asegurando que el LLM pudiera entender el contexto y proporcionar una respuesta precisa. Ajustamos las indicaciones según si el modelo estaba en su versión base o ajustada por instrucciones para asegurar una mejor comprensión.

#Realizando los experimentos

En total, creamos un conjunto de posibles juegos utilizando las combinaciones de inversores y fideicomisarios. Cada juego estaba diseñado para probar cómo podrían manifestarse los prejuicios basados en los nombres utilizados. Siguiendo las reglas del Juego de la Confianza, recopilamos predicciones de los LLMs, que produjeron una distribución de probabilidad de las cantidades de inversión.

#Resultados y análisis

Los resultados de nuestros experimentos destacaron algunas tendencias significativas.

1. Cantidad de inversión por raza: Los resultados predictivos mostraron que la raza influía en cuánto dinero estaba dispuesto a dar un inversor. Para los inversores masculinos blancos, la cantidad variaba según la raza del fideicomisario.

2. Efectos de género: En experimentos con inversores femeninos asiáticos, tanto el género como la raza afectaron significativamente las cantidades de inversión predichas. Fue particularmente notable que los fideicomisarios femeninos recibieron más fondos en diferentes grupos raciales, con mayores cantidades dadas a fideicomisarios hispanos en comparación con otros.

3. Impacto de la sintonización de instrucciones: Las versiones ajustadas por instrucciones de los LLMs parecían tener respuestas variables en comparación con sus modelos base. Por ejemplo, mientras que la sintonización de instrucciones aumentó las cantidades promedio de inversión en algunos modelos, también cambió cómo los modelos reaccionaron a la interacción de género y raza.

#Conclusión sobre prejuicios

Nuestros hallazgos confirman que los prejuicios basados en nombres existen dentro de estos LLMs, incluso cuando los modelos están ajustados para reducir salidas sesgadas. Esto implica que, aunque se pueden hacer esfuerzos para ajustar los prejuicios, aún persisten en contextos donde los nombres juegan un papel.

#Implicaciones de los hallazgos

Dada la creciente presencia de LLMs en nuestras vidas diarias, estos resultados subrayan la importancia de estudiar e identificar prejuicios en estos sistemas. A medida que los LLMs están cada vez más involucrados en situaciones donde las identidades sociales son significativas-como decisiones de contratación, solicitudes de préstamos o incluso interacciones sociales-abordar estos prejuicios es fundamental.

Tanto la tecnología detrás de los LLMs como los conjuntos de datos en los que se entrenan deben ser examinados continuamente, ya que pueden tener efectos profundos en cómo se toman decisiones y cómo los prejuicios sociales pueden ser reforzados o desafiados.

#Direcciones futuras

Para comprender mejor y abordar los prejuicios basados en nombres en los LLMs, el trabajo futuro puede centrarse en varios enfoques:

1. Monitoreo continuo: Se deben realizar evaluaciones regulares de nuevos modelos y conjuntos de datos para ver si los prejuicios están apareciendo o cambiando con el tiempo.

2. Inclusión de conjuntos de datos más amplios: Entrenar a los LLMs con conjuntos de datos más diversos puede ayudar a aliviar algunos prejuicios. Esto significa no solo incluir varios nombres, sino también asegurarse de que diferentes culturas e idiomas estén bien representados.

3. Conciencia del usuario: Educar a los usuarios sobre el potencial de prejuicios en los LLMs puede empoderarlos para tomar decisiones más informadas al depender de estos sistemas.

4. Mejorar la transparencia: Los desarrolladores de LLMs deberían buscar la transparencia en cómo se entrenan los modelos y qué datos utilizan. Este enfoque puede ayudar a los usuarios a comprender los posibles prejuicios y limitaciones de los modelos.

En resumen, los nombres pueden llevar a prejuicios tanto en interacciones humanas como en LLMs. Reconocer y abordar estos prejuicios es esencial a medida que continuamos integrando estas tecnologías en nuestras vidas. Es crucial asegurarse de que los LLMs funcionen de manera justa y sin prejuicios, especialmente en contextos que influyen en la vida y oportunidades de las personas.