Evaluando rasgos psicológicos en modelos de lenguaje

Estudios recientes revelan que los modelos de lenguaje, que son un tipo de inteligencia artificial, pueden mostrar rasgos similares a las personalidades humanas. Esto plantea preguntas sobre si estos modelos tienen sesgos que se alinean con los rasgos psicológicos humanos. Aunque los grandes modelos conversacionales a veces pueden ser engañados para responder encuestas de salud mental, evaluar los rasgos psicológicos de modelos más simples entrenados para diferentes tareas es complicado por la falta de métodos apropiados.

En este artículo, proponemos una forma de usar cuestionarios psicológicos estándar para evaluar estos modelos. Ofrecemos una biblioteca de código que permite la evaluación psicológica de varios modelos, enfocándonos en rasgos comunes relacionados con la salud mental, como la Ansiedad, la Depresión y el Sentido de Coherencia. Nuestros hallazgos sugieren que muchos modelos de lenguaje muestran signos de estos constructos de salud mental similares a los humanos. Al examinar estos rasgos, podemos entender mejor cómo se comportan estos modelos y potencialmente mejorar su confiabilidad.

#El Impacto de los Modelos de Lenguaje

Los modelos de lenguaje se usan cada vez más en áreas importantes de la vida, incluyendo educación, atención médica, apoyo mental y reclutamiento laboral. Sin embargo, sus respuestas pueden causar daño inadvertidamente. Por ejemplo, un chatbot fue retirado por una línea de ayuda porque dio consejos dañinos. Esto resalta un desafío significativo: entender y corregir los comportamientos de estos modelos.

Los métodos existentes para hacer que los modelos de aprendizaje automático sean comprensibles a menudo luchan con estos problemas. Mientras que algunos modelos avanzados pueden usar teorías psicológicas para mejores explicaciones al responder cuestionarios psicométricos, muchos modelos más simples no pueden. Dado que estos modelos se usan ampliamente para varias tareas en el procesamiento de lenguaje natural, debemos encontrar maneras de monitorear y comprender su comportamiento.

Este estudio tiene como objetivo medir rasgos importantes relacionados con la salud mental en modelos de lenguaje adaptando métodos de la psicología humana. El enfoque incluye tres partes principales:

1. Diseñar indicaciones de inferencia de lenguaje natural (NLI) basadas en cuestionarios psicológicos.
2. Aplicar estas indicaciones a los modelos a través de un nuevo método de entrenamiento.
3. Evaluar los sesgos en los modelos basándose en los resultados de sus respuestas.

Nos enfocamos en constructos de salud mental y demostramos que estos modelos muestran variaciones en niveles de ansiedad, depresión y Sentido de Coherencia, consistente con teorías estándar en psicología humana. Usando un proceso de validación exhaustivo, mostramos que estos rasgos psicológicos son influenciados por los datos de entrenamiento de los modelos y que podemos ajustar sus respuestas para aumentar o reducir rasgos específicos.

#Herramientas Psicológicas para Modelos de Lenguaje

El objetivo de nuestra investigación es crear métodos para evaluar rasgos similares a la personalidad en modelos de lenguaje que puedan usarse con modelos conversacionales y no conversacionales. También proporcionamos una biblioteca de Python para validar estos rasgos y creamos metodologías para diseñar indicaciones NLI basadas en cuestionarios establecidos.

Además de esto, hemos recopilado un conjunto de datos de indicaciones NLI relacionadas con la evaluación de salud mental, incluyendo amplios procesos de validación para asegurar precisión y fiabilidad.

#La Necesidad de IA Alineada con Valores Humanos

A medida que la inteligencia artificial se integra más en la sociedad, crece la necesidad de sistemas que reflejen valores humanos. Una forma de lograr esto es integrando principios de psicología en la IA, lo que puede ayudar a aclarar cómo los modelos de lenguaje toman decisiones. Hallazgos recientes muestran que los modelos de lenguaje pueden desarrollar rasgos de personalidad que se parecen a las características humanas. Este desdibujamiento de líneas entre humanos y máquinas impulsa una investigación más profunda sobre los aspectos psicológicos de estos modelos.

Se han desarrollado varias herramientas para analizar rasgos similares a los humanos en los modelos de lenguaje. El Big Five Inventory es una de estas herramientas utilizada para evaluar rasgos principales de personalidad. Otros estudios han introducido diversas escalas clínicas para evaluar modelos de lenguaje, pero aplicar evaluaciones centradas en el ser humano a modelos de lenguaje presenta desafíos debido a su sensibilidad al contexto y posibles sesgos en las indicaciones.

En nuestro estudio, nos enfocamos en medir rasgos relacionados con la salud mental cuantificando sesgos en las respuestas de los modelos de lenguaje mediante una cuidadosa manipulación del contexto. Esto enfatiza la importancia de diseñar indicaciones NLI adaptadas de cuestionarios psicológicos. Nuestras evaluaciones de validez comprensivas combinan métodos conductuales y basados en datos, dando un paso más allá del trabajo previo.

#Examinando Constructos de Salud Mental

Profundizamos en cómo los modelos de lenguaje exhiben tres constructos importantes relacionados con la salud mental: ansiedad, depresión y Sentido de Coherencia. La ansiedad se caracteriza por una preocupación persistente y excesiva, a menudo acompañada de síntomas físicos y psicológicos. La depresión implica sentimientos continuos de tristeza, desesperanza y falta de interés en actividades placenteras.

Estas condiciones se evalúan comúnmente usando escalas bien establecidas. La investigación muestra que la ansiedad y la depresión están correlacionadas positivamente en los humanos, y observamos tendencias similares en los modelos de lenguaje. El Sentido de Coherencia es un aspecto esencial del bienestar, compuesto por tres elementos: comprensibilidad, manejabilidad y significado.

En nuestros hallazgos, demostramos que un mayor Sentido de Coherencia puede ayudar a reducir los síntomas de ansiedad y depresión en modelos de lenguaje, reflejando lo que se observa en humanos. Nuestro enfoque subraya el valor de usar cuestionarios para evaluar estos modelos de forma integral.

#Usando Inferencia de Lenguaje Natural (NLI)

Las tareas de NLI son herramientas diseñadas para evaluar la comprensión del lenguaje de manera neutral. En tales tareas, el modelo toma dos oraciones-una premisa y una hipótesis-y determina la relación entre ellas, produciendo una distribución de probabilidad sobre las relaciones. Nuestro artículo se centra específicamente en examinar los puntajes de implicación que resultan de estas tareas.

La aplicación de evaluaciones psicológicas existentes a modelos de lenguaje resulta en un marco refinado que llamamos “PALM.” Este marco consiste en cuatro partes clave:

1. Diseño de Indicaciones: Traducir cuestionarios de ciencias sociales en indicaciones NLI.
2. Evaluación: Ajustar un clasificador NLI con un conjunto de datos relevante y analizar el sesgo basado en las respuestas.
3. Validación: Realizar pruebas para asegurar que las respuestas reflejen con precisión los constructos psicológicos pretendidos.
4. Intervención: Ajustar el entrenamiento del modelo con textos relacionados con los constructos psicológicos y re-evaluar para observar cambios.

A través de este marco, mostramos que los modelos de lenguaje exhiben variaciones en ansiedad, depresión y Sentido de Coherencia, consistente con teorías psicológicas establecidas.

#Diseñando Indicaciones NLI

Los ítems de cuestionarios efectivos están diseñados para reflejar las diversas respuestas de la población. De manera similar, creamos indicaciones que permiten que las respuestas difieran, reflejando sesgos individuales. Nuestro enfoque implica identificar términos clave en cada pregunta que indiquen la postura del encuestado.

Cada pregunta incluye términos que representan emociones relacionadas con el constructo que se mide. Seleccionamos cuidadosamente estos términos para asegurar que expresen una posición sobre el tema de la pregunta. Al emplear varios enfoques, permitimos una validación interna de las indicaciones y aseguramos robustez ante la variabilidad lingüística.

También se utilizan escalas de Likert para evaluar la frecuencia o intensidad en las respuestas. Nuestro diseño incorpora múltiples variaciones lingüísticas para cada intensidad, asegurando una evaluación completa mientras permitimos que los modelos proporcionen respuestas variadas.

Las plantillas utilizadas para las indicaciones NLI mantienen el contexto de las preguntas originales mientras estructuran las hipótesis para seguir lógicamente de las premisas. Cada plantilla asegura neutralidad, evitando cualquier sesgo que podría influir en las respuestas del modelo.

Al adjuntar una cabeza de clasificación NLI a varios modelos, podemos evaluar los constructos de salud mental de manera integral. Exploramos varias técnicas de ajuste y presentamos resultados obtenidos de modelos sin congelar pesos, lo que permite evaluaciones más precisas.

#Validando Rasgos Psicológicos

Realizamos cinco técnicas de validación clave para asegurar la precisión de nuestras evaluaciones:

1. Validez de Contenido: Asegurar que el diseño de las indicaciones mantenga la precisión semántica a través de validación por expertos y medidas estadísticas.
2. Consistencia Intra-Pregunta: Medir la correlación entre indicaciones que evalúan constructos similares y asegurar variabilidad entre indicaciones que muestran diferentes posturas.
3. Consistencia Inter-Pregunta: Evaluar la consistencia interna de un conjunto de preguntas que miden el mismo constructo.
4. Validez de Constructo: Confirmar que los constructos evaluados alineen con expectativas teóricas basadas en la psicología humana establecida.
5. Validez de Criterio: Medición de cómo responden los modelos al entrenamiento en textos relacionados con los constructos identificados, evaluando qué tan bien estos modelos se alinean con estándares establecidos.

A través de estas técnicas, establecemos un marco sólido para entender los rasgos psicológicos presentes en los modelos de lenguaje.

#El Rol de los Datos y el Entrenamiento

Nuestra población de estudio consistió en diversos modelos de lenguaje que se ajustan dentro de un marco de computación estándar. Seleccionamos modelos que habían sido ajustados para precisión en la comprensión del lenguaje. Los datos que recopilamos abarcaron una variedad de modelos, permitiéndonos analizar y comparar diferentes rasgos de manera efectiva.

Después de traducir los cuestionarios en indicaciones NLI, validamos la precisión de estas indicaciones mediante pruebas exhaustivas y revisiones de expertos. Todos los cuestionarios exhibieron niveles satisfactorios de validez, indicando que midieron de manera confiable los constructos psicológicos pretendidos.

Al explorar la relación entre ansiedad y depresión en nuestros modelos, identificamos una fuerte correlación positiva. Esta correlación refleja lo que observamos en la psicología humana, indicando que nuestros modelos capturan efectivamente constructos importantes de salud mental.

#Intervenciones y Ajustes

Para mejorar aún más nuestra comprensión, implementamos adaptación de dominio, donde los modelos fueron entrenados en textos relacionados con constructos psicológicos específicos. Este proceso nos permitió observar cambios en las puntuaciones de evaluación de los modelos a lo largo del tiempo.

Descubrimos que los modelos entrenados en textos depresivos mostraron puntuaciones de ansiedad y depresión elevadas mientras revelaban puntuaciones más bajas de Sentido de Coherencia. Por el contrario, cuando se entrenaron en textos positivos, observamos disminuciones en los niveles de ansiedad y depresión, reforzando el impacto del contexto de entrenamiento en el comportamiento del modelo.

Los resultados de nuestras evaluaciones cualitativas destacaron cambios significativos en cómo los modelos respondieron a indicaciones relacionadas con la salud mental, indicando que los ajustes en el entrenamiento pueden tener un efecto notable en su output.

#Conclusión

A través de nuestro extenso trabajo examinando los rasgos psicológicos latentes de los modelos de lenguaje, hemos establecido un marco para la evaluación. Este marco enfatiza la importancia de entender e interpretar los comportamientos de estos modelos dentro de un contexto psicológico.

Al trazar paralelismos entre la psicología humana y las respuestas de los modelos de lenguaje, podemos mejorar las interacciones y la confiabilidad de los sistemas de IA. Además, nuestros hallazgos subrayan el potencial de intervenciones correctivas que pueden mejorar la fiabilidad de los modelos de lenguaje en áreas sensibles e impactantes de la vida.

Nuestra investigación sienta las bases para futuros trabajos en el ámbito de la inteligencia artificial y la psicología, con la esperanza de crear sistemas que reflejen mejor los valores y la comprensión humanos. A través de una evaluación y desarrollo continuos, buscamos construir modelos de lenguaje que no solo funcionen eficazmente, sino que también se alineen estrechamente con los constructos psicológicos que gobiernan el comportamiento humano.