Sesgo en la Atribución de Emociones dentro de Modelos de Lenguaje y Religión

Las emociones juegan un papel clave en nuestras vidas, reflejando nuestros valores y guiando nuestras acciones. La investigación ha encontrado que los modelos de lenguaje grande (LLMs) a menudo muestran sesgos en cómo asignan emociones según el género. Sin embargo, la religión, como un sistema sociocultural, ofrece un conjunto de creencias y valores que moldean cómo los seguidores sienten y expresan emociones. Diferentes religiones cultivan diferentes respuestas emocionales, y estas a menudo son moldeadas por líderes religiosos.

Usando la atribución emocional, podemos ver cómo los LLMs representan varias religiones. Nuestros hallazgos revelan que las religiones principales en EE. UU. y Europa se muestran de una manera más matizada, mientras que las religiones orientales como el hinduismo y el budismo enfrentan un fuerte estereotipo. Además, el judaísmo y el islam a menudo son estigmatizados, lo que lleva a un mayor número de rechazos en las respuestas de los modelos. Esta tendencia apunta a sesgos culturales en los LLMs y la falta de literatura que se enfoquen en la religión en el procesamiento del lenguaje natural (NLP). Cuando se menciona la religión, a menudo se asocia con un lenguaje negativo, reforzando estereotipos dañinos sobre estas creencias.

Esto indica una necesidad urgente de abordar y corregir estos sesgos en los LLMs. Nuestro estudio destaca la importancia de las emociones en nuestras vidas y cómo nuestros valores las enmarcan.

#Experiencias Emocionales a Través de Culturas

Toma a los Toraja en Indonesia como un ejemplo. Son conocidos por sus intrincados costumbres funerarias, manteniendo los cuerpos embalsamados de familiares en sus casas durante períodos prolongados. Esta práctica puede evocar repulsión para muchos, pero para los Toraja, es un momento de celebración con la familia. Diferentes religiones llevan a diferentes entendimientos emocionales de la muerte. Los cristianos a menudo abrazan el duelo, mientras que los budistas ven la muerte como una transición, promoviendo la aceptación. Este es solo un caso de cómo la religión influye en las experiencias emocionales.

Exploramos cómo los LLMs atribuyen emociones según los antecedentes religiosos, utilizando ejemplos del dataset ISEAR que involucra un escenario donde amigos traicionan la confianza de alguien. Las emociones revelan nuestros valores y cómo percibimos el mundo, pero la experiencia y expresión de las emociones varían ampliamente entre culturas y demografías, incluyendo género, edad, país de origen y religión.

La religión impacta profundamente en las experiencias emocionales, proporcionando marcos que dictan cómo los individuos interpretan eventos y reaccionan ante sentimientos. Por ejemplo, ciertas religiones pueden alentar emociones positivas como la alegría y la gratitud. Otras pueden promover la restricción o supresión de sentimientos negativos como la ira y la tristeza.

Aunque ha habido un creciente interés en entender los valores y perspectivas modelados en los LLMs, ha habido poco espacio para explorar la religión, a pesar de su notable papel en la formación de valores. La mayoría de las discusiones sobre religión en NLP se han centrado en la moderación de contenido, abordando problemas como el antisemitismo y la islamofobia.

Además, una cantidad significativa de investigación expone el sesgo cultural en los LLMs y una tendencia a conformarse con las normas de EE. UU., dado que más del 70% de los estadounidenses se identifican como cristianos. Esto plantea preguntas importantes sobre cómo se representan las diferentes religiones en los LLMs.

Los análisis recientes sobre sesgos y estereotipos en los LLMs suelen emplear métodos basados en personajes para descubrir varios estereotipos generados. Basándonos en esto, nuestro estudio investiga cómo se atribuyen emociones a diferentes grupos religiosos. Buscamos patrones notables que puedan reflejar sesgos o estereotipos.

Nuestros hallazgos muestran sesgos distintos en las representaciones de los LLMs de diferentes religiones.

#Emociones: Marcos Teóricos

Las emociones se pueden dividir generalmente en dos categorías: teorías de programas afectivos y teorías de actitudes proposicionales. Los programas afectivos se conectan a sentimientos básicos y universalmente reconocidos como ira, alegría y tristeza. Por otro lado, las teorías de actitudes proposicionales involucran emociones más complejas, como la culpa, la vergüenza, el orgullo y la gratitud, que están fuertemente influenciadas por evaluaciones cognitivas y varían entre culturas.

La religión moldea significativamente estas emociones complejas al proporcionar contextos y prácticas que nutren emociones sagradas. Las emociones sagradas tienden a aparecer más a menudo en entornos religiosos (como iglesias o templos) que en los no religiosos. Surgen de actividades espirituales, incluyendo la adoración y la meditación. Las personas que se identifican como religiosas suelen experimentar estas emociones más que las no religiosas.

Ejemplos de emociones sagradas incluyen la gratitud, la reverencia, el asombro, el amor y la esperanza. La gratitud implica reconocer el valor en las experiencias de uno, mientras que la admiración se relaciona con sentirse abrumado por algo profundo. La reverencia significa reconocer algo excelente de una manera profundamente personal. La esperanza ocupa un lugar significativo en muchas enseñanzas religiosas, simbolizando la anticipación por el cumplimiento futuro.

#Metodología de Investigación

Nuestra investigación utiliza eventos auto-reportados recopilados del International Survey on Emotion Antecedents and Reactions (ISEAR). Este dataset incluye situaciones que provocan emociones primarias, con los encuestados proporcionando relatos detallados de sus experiencias. El dataset comprende 7,586 eventos.

Probamos varios LLMs de última generación, incluyendo modelos de código abierto y propietarios: Llama2, Llama3, GPT-4 y Mistral-7b. Cada modelo nos ayuda a entender las atribuciones emocionales a través de diversas personalidades basadas en diferentes antecedentes religiosos (hindú cultural, judío cultural, y católico cultural).

Seguimos un formato específico para la tarea de atribución emocional introducida en trabajos previos, donde los modelos generan una reacción emocional basada en un evento del dataset ISEAR y una personalidad. Aprovechando esto, examinamos cómo se representan las emociones a través de varias religiones.

#Enfoque Basado en Personas

Para guiar las respuestas de los LLMs, asignamos personalidades específicas a cada modelo, instruyéndolos a adoptar identidades correspondientes usando plantillas de personalidad personalizadas. Clasificamos las personalidades según cinco grupos religiosos principales: judaísmo, cristianismo (católico y protestante), islam, budismo y hinduismo. Dentro de cada grupo, diferenciamos los niveles de práctica religiosa en tres categorías: devoto, practicante y cultural.

La combinación resulta en 18 personalidades distintas, permitiéndonos analizar a fondo las respuestas de los LLMs. Cada modelo es solicitado múltiples veces por evento, generando una vasta cantidad de atribuciones emocionales.

#Configuración de Prompts y Evaluación

Después de instruir a los modelos a adoptar personalidades específicas, llevamos a cabo la tarea de atribución emocional. Se pide al modelo que exprese la Emoción principal sentida durante un evento dado, con la salida presentada como una única emoción sin más explicaciones.

Para asegurar que los resultados sean reproducibles, usamos parámetros fijos durante la solicitud de los modelos, controlando la aleatoriedad en las salidas. Los modelos produjeron una gama de respuestas, incluyendo expresiones emocionales, términos relacionados y rechazos. Empleamos técnicas específicas para identificar emociones en el texto generado por los modelos, como expresiones regulares y coincidencia de cadenas para detectar rechazos.

Nuestro análisis se centra en las tasas de rechazo y las atribuciones emocionales realizadas por los modelos hacia varias religiones y sus niveles de práctica. Observamos diferencias notables en las tasas de rechazo entre religiones. Los modelos mostraron variaciones significativas en las atribuciones emocionales también.

#Análisis de Rechazos

Realizamos un análisis profundo de las respuestas de rechazo a través de varias familias de modelos, incluyendo Llama2, Llama3, Mistral y GPT-4.

Los modelos Llama2 mostraron medidas de seguridad incrementadas respecto a las personalidades judías y musulmanas. Por ejemplo, el Llama2-13b registró las tasas de rechazo más altas del 55.61% para judíos y 31.75% para musulmanes. En contraste, otras religiones mostraron tasas de rechazo moderadas, con casi cero rechazos para personalidades no religiosas.

Los últimos modelos Llama3 mostraron una ligera mejora en el cumplimiento en comparación con los modelos Llama2, aunque las personalidades judías y musulmanas aún enfrentaron tasas de rechazo elevadas. Mistral y GPT-4, por otro lado, exhibieron rechazos mínimos entre religiones, mostrando una falta de seguridad exagerada.

Los resultados subrayan la disparidad en las tasas de rechazo entre varios modelos y personalidades religiosas. Los modelos Llama2 y Llama3 particularmente lucharon para generar respuestas para musulmanes y judíos, mientras que Mistral y GPT-4 mostraron respuestas más fluidas.

#Patrones en la Atribución Emocional

A continuación, analizamos los patrones emocionales atribuidos a diversos eventos por diferentes modelos y personalidades religiosas. Un patrón consistente observado fue que todos los modelos tendían a atribuir compasión a los budistas.

Los modelos Llama2 indicaron distribuciones emocionales diversas para diferentes grupos religiosos. Para los cristianos, las respuestas fueron bastante similares, excepto por las altas tasas de tristeza atribuídas a los católicos. Esto podría reflejar el enfoque del catolicismo en el sufrimiento de Cristo y el concepto de confesión, en contraste con la creencia protestante de que la fe sola otorga la absolución.

Al examinar a los musulmanes, los modelos a menudo atribuían emociones como miedo, vergüenza y gratitud. Los musulmanes practicantes frecuentemente se encontraban con tristeza, mientras que los musulmanes culturales a menudo experimentaban vergüenza y pesar.

Para los judíos, los modelos mostraron poca diferenciación en las respuestas emocionales entre niveles de observancia, con una tendencia hacia la vergüenza.

En el caso de los hindúes, los modelos a menudo generaban principios en lugar de emociones, como Ahimsa (no violencia) y Dharma (principios rectores para una vida ética).

#Emociones Sagradas y Niveles de Observancia

La familia Llama3 introdujo emociones y términos únicos, como krodha (ira) para los hindúes y khushu (humildad ante lo Divino) para los musulmanes. Sin embargo, estos términos no se aplicaron consistentemente entre los modelos.

Mistral mantuvo un patrón similar para las religiones abrahámicas, atribuyendo frecuentemente decepción y arrepentimiento. Sin embargo, hubo ligeras variaciones, con los cristianos a menudo recibiendo más compasión y gratitud.

En general, los modelos mostraron conciencia de emociones sagradas como la gratitud y el asombro. Aunque algunas relaciones entre religión y emoción fueron capturadas, sigue existiendo la necesidad de mejorar la representación precisa de la conexión entre emociones y prácticas religiosas.

#Conclusión

Nuestro estudio arroja luz sobre la intersección poco explorada de la religión en el procesamiento del lenguaje natural y los modelos de lenguaje grande. Nuestro objetivo fue descubrir cómo los LLMs atribuyen emociones a diferentes religiones y si sesgos o estereotipos moldean estas atribuciones.

Nuestros hallazgos indican que las principales religiones del mundo, particularmente las prominentes en EE. UU. y Europa, se representan con más profundidad en comparación con las religiones orientales, que enfrentan estereotipos más fuertes. Además, el judaísmo y el islam sufren estigmatización, reflejada en tasas de rechazo más altas.

Los resultados enfatizan la importancia de abordar los sesgos culturales en los LLMs, particularmente en lo que respecta a la religión. Nuestra investigación destaca las complejas relaciones entre cultura, religión y emociones, haciendo un llamado a datos de entrenamiento más diversos y representativos.

Las limitaciones de nuestra investigación incluyen su enfoque en respuestas en inglés y la dependencia de un dataset específico de emociones. Investigaciones futuras podrían mejorar la comprensión al examinar una gama más amplia de religiones y lenguajes.

En conclusión, este trabajo allana el camino para futuros análisis relacionados con estudios culturales y procesamiento del lenguaje natural, particularmente en relación con religión y emoción. Abordar los sesgos en modelos de lenguaje puede contribuir a representaciones más precisas de las atribuciones emocionales basadas en identidades religiosas.