Examinando el sesgo en los grandes modelos de lenguaje

Los grandes modelos de lenguaje (LLMs) como GPT-3.5 y GPT-4 podrían mostrar un sesgo hacia el Contenido que crean ellos mismos, lo que podría llevar a un trato injusto hacia el contenido Escrito por humanos. Este estudio busca entender si los LLMs prefieren su propia producción sobre la de los humanos y cuáles podrían ser los efectos de esto en la economía y el mercado laboral.

#Contexto

La investigación en economía y sociología muestra que puede haber Sesgos contra ciertos grupos de personas, sobre todo en mercados y en la academia. Este documento examina una nueva forma de sesgo en la que los LLMs pueden favorecer sin querer su texto generado en lugar de lo que escriben los humanos. Si los LLMs están involucrados en decisiones importantes, esto podría crear una situación donde los trabajadores humanos queden relegados.

#Diseño del Experimento

Para verificar el sesgo, realizamos dos experimentos. En estos, los LLMs tenían que elegir entre productos y artículos académicos que eran descritos ya sea por humanos o por LLMs. Queríamos ver si había preferencia por el contenido generado por LLMs. El diseño de nuestros experimentos se inspiró en estudios tradicionales que examinan sesgos basados en la identidad.

#Cómo Probamos

En nuestro primer experimento, los LLMs eligieron entre dos productos de consumo donde uno era descrito por un humano y el otro por un LLM. El segundo experimento se centró en artículos académicos. En ambos casos, usamos condiciones idénticas para que fuera justo.

También consideramos si el nivel de habilidad de los humanos en comparación con los LLMs podría afectar los resultados. Para manejar esto, pedimos a asistentes de investigación humanos que juzgaran qué descripciones les gustaban más. Solo etiquetamos un sesgo en los LLMs si preferían más los elementos presentados por los LLMs que los presentados por humanos.

#Hallazgos

Nuestros resultados mostraron que los LLMs a menudo favorecían el texto generado por ellos mismos sobre el creado por humanos. Esto podría indicar un sesgo contra el contenido escrito por humanos. El sesgo creó una situación en la que los LLMs pueden mostrar preferencia por su estilo de escritura, lo que lleva a la posibilidad de que los humanos sean tratados injustamente.

#Implicaciones para la Economía

Si los LLMs toman decisiones importantes en el mercado, podrían dar una ventaja injusta al contenido creado por LLMs. Esto podría generar desafíos serios para los trabajadores humanos, sobre todo si el acceso a los LLMs se convierte en un factor en las solicitudes de empleo. Hay un riesgo de que los trabajadores humanos enfrenten desventajas debido a estos sesgos.

#Sesgo del Primer Elemento

También observamos un sesgo hacia el primer elemento, donde los LLMs tendían a seleccionar la primera opción que veían al tomar decisiones. Esto fue especialmente fuerte en nuestros experimentos de productos, lo que significa que si los LLMs favorecen la primera opción, podría no ser claro qué tan fuerte es realmente su preferencia por el contenido generado por LLMs.

#Preferencias Humanas

Para tener una mejor idea de cómo se sienten los humanos sobre el contenido generado por LLMs, pedimos a evaluadores humanos que eligieran entre descripciones humanas y de LLM. En general, los humanos preferían las descripciones de productos escritas por humanos pero se inclinaban hacia los resúmenes generados por LLM para los artículos académicos.

#Conclusión

Nuestro estudio muestra que los LLMs pueden tener un sesgo implícito en contra del contenido generado por humanos. Esto podría afectar cómo se toman decisiones en mercados e instituciones. A medida que los LLMs se integren más en el mercado laboral, es importante considerar cómo estos sesgos pueden crear desventajas para los trabajadores humanos. Se necesita más investigación para abordar estos problemas y encontrar formas de asegurar la justicia en futuros escenarios económicos donde los LLMs jueguen un papel significativo.