Evaluando la Fiabilidad de los Modelos de Lenguaje Grandes como Bases de Conocimiento

Recientemente, ha habido mucho interés en usar modelos de lenguaje grandes (LLMs) para tareas que requieren un montón de conocimiento. La gente tiene curiosidad por ver si los LLMs pueden actuar como bases de conocimiento (KBs). Sin embargo, cuán confiables son estos LLMs en este papel todavía no se entiende del todo. Aunque algunos estudios sugieren que los LLMs almacenan conocimiento, simplemente tener conocimiento no es suficiente para decir que funcionan bien como KBs.

#Definiendo la Confiabilidad en LLMs

Para determinar si un LLM se puede considerar confiable como KB, necesitamos pensar en lo que hace que una KB sea confiable. Esta investigación se centra en dos puntos principales: la Factualidad y la consistencia. Factualidad significa dar respuestas correctas, mientras que consistencia se refiere a dar respuestas similares cuando se hacen las mismas preguntas.

#Conocimiento Visto vs. No Visto

Hay dos tipos de conocimiento a considerar. El conocimiento visto es lo que el modelo aprendió durante el entrenamiento, mientras que el conocimiento no visto es lo que no ha encontrado antes. Un LLM confiable debería poder manejar bien tanto el conocimiento visto como el no visto.

#Evaluando LLMs

Para evaluar la confiabilidad de varios LLMs, ideamos algunas medidas específicas. Estudiamos una variedad de LLMs populares para ver cómo se desempeñaron al proporcionar respuestas a preguntas. Nuestra evaluación observó diferentes aspectos de los LLMs, como su tamaño y cómo están ajustados.

#El Problema con las Evaluaciones Actuales

Muchas evaluaciones existentes pasan por alto aspectos importantes de lo que significa ser una KB confiable. A menudo asumen que simplemente recordar conocimiento es suficiente. Sin embargo, argumentamos que los LLMs necesitan ser evaluados según criterios que reconozcan su diseño único.

#Criterios Propuestos para la Confiabilidad

Para evaluar mejor los LLMs, sugerimos un marco centrado en los siguientes criterios:

1. Para el Conocimiento Visto: Un LLM confiable debería tener altas tasas de respuestas correctas y bajas tasas de respuestas incorrectas.
2. Para el Conocimiento No Visto: Un LLM confiable debería evitar dar respuestas incorrectas y podría necesitar indicar incertidumbre.

#Metodología

Creamos dos conjuntos de datos para nuestra evaluación: SeenQA y UnseenQA. SeenQA está compuesto por preguntas derivadas de conjuntos de datos bien conocidos, mientras que UnseenQA consiste en preguntas a las que los LLMs entrenados antes de cierta fecha no deberían conocer las respuestas.

#LLMs Evaluados

Evaluamos una variedad de LLMs, agrupándolos por tamaño: pequeño, mediano y grande. Cada modelo fue analizado en función de qué tan bien podía realizar las tareas que le establecimos, enfocándonos particularmente en su capacidad para responder preguntas de manera correcta y consistente.

#Tipos de Respuestas de los LLMs

Los LLMs pueden dar tres tipos de respuestas: correctas, poco informativas o incorrectas. Para nuestra evaluación, examinamos de cerca con qué frecuencia cada modelo producía estos tipos de respuestas.

#Respuestas Correctas

Las respuestas correctas son aquellas que coinciden exactamente con las respuestas esperadas. Utilizamos un método sencillo para evaluar si las respuestas eran correctas.

#Respuestas Poco Informativas

Las respuestas poco informativas incluyen repetir la pregunta, decir que no saben, o no proporcionar información relevante en absoluto. Entender con qué frecuencia los LLMs dan respuestas poco informativas es vital para evaluar su confiabilidad.

#Midiendo la Consistencia

La consistencia es esencial para cualquier KB. Observamos qué tan bien los LLMs mantenían respuestas consistentes cuando se enfrentaban a preguntas similares. Usamos preguntas de opción múltiple para probar esta consistencia.

#Importancia de la Factualidad y la Consistencia

Un buen LLM debería ser confiable en términos de proporcionar información verdadera y mantener consistencia en sus respuestas. Nuestros hallazgos sugieren que muchos LLMs, incluso aquellos que parecen fuertes, tienen problemas con estas dos áreas.

#Resultados y Hallazgos

Después de evaluar 26 LLMs populares, descubrimos que muchos de ellos no eran tan confiables como se esperaba. Incluso los modelos con mejor rendimiento luchaban con la factualidad y la consistencia.

#Modelos de Alto Rendimiento

El modelo conocido como GPT-3.5-turbo mostró algunos de los mejores resultados pero no siempre fue correcto o consistente. Encontramos que afinar o agregar ejemplos no mejoró significativamente su rendimiento en estas áreas.

#Factores que Influencian el Rendimiento

Varios factores afectan qué tan bien rinden los LLMs como KBs. Estos incluyen el tamaño del modelo, el proceso de Ajuste fino y cuántos ejemplos se expusieron a los modelos.

#El Efecto del Tamaño del Modelo

A medida que aumentaba el tamaño de los modelos, su rendimiento en conocimiento visto mejoraba. Sin embargo, los modelos más grandes a menudo se desempeñaban peor en conocimiento no visto. Este patrón plantea preocupaciones sobre qué tan bien pueden adaptarse estos modelos a nueva información.

#Afinando los Modelos

Ajustar finamente los LLMs ayudó a que respondieran mejor al conocimiento no visto. Sin embargo, notamos que a veces los hacía peores manejando el conocimiento visto. Esto muestra que el ajuste fino puede tener efectos tanto positivos como negativos en el rendimiento de los LLM.

#Aprendizaje en Contexto

Usar disparos inciertos en los prompts mejoró el rendimiento de los LLMs en conocimiento no visto. Aún así, la consistencia general de las respuestas no mejoró significativamente, lo que indica un área para investigar más a fondo.

#Conclusión

Nuestra exploración sobre la confiabilidad de los LLMs como bases de conocimiento revela que, aunque muestran potencial, hay brechas significativas en su rendimiento. Para que los LLMs sean considerados KBs confiables, necesitan mejorar tanto en factualidad como en consistencia.

#Direcciones Futuras de Investigación

Encontrar mejores formas de entrenar y ajustar finamente los LLMs será crucial para hacerlos más efectivos en proporcionar respuestas confiables. Estudios adicionales deberían enfocarse en cómo los LLMs pueden manejar mejor el conocimiento no visto mientras mantienen altas tasas de consistencia. Este esfuerzo continuo es esencial para asegurar que los LLMs puedan cumplir el rol de bases de conocimiento confiables en el futuro.