Mejorando la Precisión en Modelos de Lenguaje

Cuando hacemos preguntas complejas, a veces las respuestas que recibimos no cumplen con todos los requisitos de esas preguntas. Los modelos de lenguaje grandes (LLMs) como GPT-3.5, que pueden generar texto parecido al humano, a menudo tienen problemas para dar respuestas completas y precisas. Esto puede llevar a una situación en la que el modelo da una respuesta aparentemente razonable, pero se pierde partes importantes de la pregunta. Este es un gran problema, especialmente cuando los usuarios confían en estos modelos para obtener información precisa.

#El Reto de las Alucinaciones

Un problema con los LLMs es que pueden "alucinar", lo que significa que producen respuestas que suenan verdaderas pero que en realidad son incorrectas. Esto puede engañar a los usuarios haciéndoles creer que las respuestas son confiables, lo que podría llevar a malas decisiones. La razón detrás de esta alucinación a menudo radica en que los modelos no se enfocan en todos los aspectos de la pregunta. Por ejemplo, cuando se les pregunta sobre un autor específico y su obra, el modelo podría acertar con el nombre del autor pero fallar en mencionar otros detalles clave que están en la pregunta.

#Metodología para la Mejora

Para abordar este problema, se ha propuesto un nuevo método llamado "descomposición de Reclamos basada en respuestas". Este método descompone preguntas complejas en declaraciones más simples que pueden ser verificadas como verdaderas o falsas. Al hacer esto, podemos evaluar mejor si la respuesta dada cumple con todos los criterios especificados en la pregunta.

En este enfoque, el modelo genera varios reclamos basados en la suposición de que ha producido una respuesta correcta. Luego, evalúa qué tan bien esos reclamos se sostienen frente a la respuesta dada. El objetivo es identificar qué partes de la pregunta han sido respondidas correctamente y cuáles no.

#Los Pasos Implicados

El primer paso en este proceso implica tomar una pregunta compleja y descomponerla en una serie de reclamos independientes que reflejen los criterios de la pregunta. Cada reclamo se verifica contra la respuesta inicial para ver qué partes se abordan correctamente.

Una vez que se crean los reclamos, el modelo revisa cada reclamo de manera individual. Esto permite una Evaluación más precisa de lo que el modelo acertó y falló. Después de evaluar todos los reclamos, podemos ver la proporción de ellos que el modelo cree que son verdaderos.

#Experimentación y Resultados

Este nuevo método se ha probado con GPT-3.5 usando diferentes conjuntos de preguntas. Estas incluyeron preguntas de trivia estándar y preguntas más complejas que requerían razonamiento de varios pasos. También se creó un conjunto de datos especial llamado ObscureQA, que consiste en preguntas de trivia difíciles que desafían el conocimiento y las habilidades de razonamiento del modelo.

Los resultados mostraron que GPT-3.5 pudo determinar de manera algo precisa si su respuesta cumplía con los criterios establecidos en las preguntas. Hubo una diferencia notable en cuántos reclamos fueron satisfechos por respuestas correctas frente a incorrectas. Esto indica que el modelo tiene cierta conciencia de dónde se queda corto.

#Comprendiendo Errores

Aunque el modelo mostró potencial, también quedó claro que carece de fiabilidad en muchas áreas. Se llevó a cabo un análisis de errores para identificar errores comunes que comete el modelo. Algunas categorías de errores encontradas incluyen:

1. Creencias Inconsistentes: A veces, el modelo daba respuestas contradictorias sobre un hecho. Por ejemplo, podría afirmar incorrectamente la fecha de nacimiento de una persona pero dar la fecha correcta cuando se le pregunta por separado.

2. Preservación de Tiempos Verbales: El modelo a veces fallaba en mantener el tiempo verbal correcto al crear reclamos. Este pequeño cambio puede alterar significativamente el valor de verdad de una declaración.

3. Reclamos Ambiguos: En algunos casos, los reclamos generados eran vagos o abiertos a múltiples interpretaciones, dificultando que el modelo evaluara su veracidad.

4. Problemas de Razonamiento Complejo: Cuando un reclamo requería un pensamiento más profundo, el modelo a veces proporcionaba evaluaciones incorrectas, sin lograr conectar la información correcta.

5. Suposiciones Falsas: Algunos reclamos se basaban en suposiciones incorrectas. El modelo estaría de acuerdo con una afirmación que incluía un premisa falsa a menos que se le pidiera revisar el reclamo de manera más crítica.

Al examinar estos errores, fue posible sugerir formas de mejorar la Precisión del modelo. Por ejemplo, un mejor método de verificación podría involucrar la revisión cruzada de reclamos entre sí o emplear diferentes técnicas de preguntas para aclarar el significado.

#La Importancia de la Evaluación Humana

Para asegurar la efectividad del modelo y de sus respuestas, fue necesario realizar evaluaciones humanas. Las métricas automatizadas utilizadas para evaluar el rendimiento del modelo a menudo no cumplían, especialmente para consultas más matizadas. Los revisores humanos pudieron evaluar mejor la corrección de las respuestas, especialmente cuando las respuestas podrían considerarse correctas en un sentido más amplio, pero no completamente en el contexto específico de la pregunta.

#Direcciones Futuras

Si bien este nuevo método de descomposición de reclamos muestra un gran potencial, no está exento de limitaciones. Se necesita más investigación para explorar su efectividad en otros tipos de preguntas, especialmente aquellas que exigen respuestas más largas o que solo tienen respuestas de sí/no.

Además, el método se probó en un subconjunto más pequeño de datos debido a limitaciones financieras. Sin embargo, los resultados fueron prometedores, y una investigación a mayor escala podría ayudar a refinar aún más el enfoque. Se espera que el conjunto de datos de desafío ObscureQA sea útil para varias evaluaciones en el futuro, permitiendo pruebas robustas de LLMs.

#Ética de la Gestión de Alucinaciones

Asegurar que los LLMs proporcionen información precisa y veraz es crucial. El método de descomposición de reclamos basada en respuestas ofrece una forma de evaluar la calidad de las respuestas del modelo, enfatizando la necesidad de que tales evaluaciones ocurran justo después de que se genere una respuesta. También hay una posibilidad de que este método pueda ser utilizado para mejorar la precisión de los modelos durante la fase de generación de respuestas, en lugar de simplemente evaluarlas después.

Si los LLMs pueden identificar qué criterios de una pregunta no pueden cumplir, podrían responder con un nivel de incertidumbre cuando no pueden proporcionar una respuesta completa. Además, diferentes reclamos pueden tener diferentes niveles de importancia; por lo tanto, podría ser beneficioso clasificar estos reclamos según su relevancia para mejorar la calidad general de la respuesta.

#Conclusión

El enfoque de descomponer preguntas complejas en reclamos más simples ofrece una forma de mejorar cómo los LLMs evalúan sus propias respuestas. Los hallazgos de esta investigación subrayan que, aunque hay notables brechas en la corrección de respuestas proporcionadas por modelos como GPT-3.5, también pueden mostrar un grado de conciencia de sus limitaciones. Métodos mejorados de evaluación y verificación de reclamos tienen el potencial de desarrollar modelos de lenguaje más confiables y veraces en el futuro.