Mejorando el razonamiento de LLM con gráficos de conocimiento

Los modelos de lenguaje grandes (LLMs) han tenido un gran impacto en muchas áreas. Sin embargo, a veces pueden dar respuestas incorrectas, especialmente cuando se necesita un pensamiento profundo. Para solucionar esto, podemos usar gráficos de conocimiento (KGs), que almacenan información de manera clara y organizada. Pero, encontrar la mejor manera de conectar estos KGs con los LLMs aún no se ha explorado del todo.

En este trabajo, sugerimos un método que combina la búsqueda de información y su uso interactivo para ayudar en los pasos de razonamiento basados en KGs. Creamos un módulo llamado Path-RAG para extraer información útil de KGs para el razonamiento de LLMs. Al mezclar las habilidades de razonamiento de los LLMs con las conexiones en los KGs, podemos obtener mejores resultados al encontrar la información correcta.

Además, usamos las habilidades de pensamiento lógico de los LLMs para guiar los pasos de razonamiento de manera clara y repetible. Esta verificación lógica nos dice cuándo dejar de buscar más respuestas, evitando errores y pérdida de tiempo.

Para probar nuestro método, realizamos muchos experimentos y nuestro enfoque funcionó mejor que métodos fuertes existentes en tres pruebas diferentes sin necesidad de entrenamiento extra.

El auge de los modelos de lenguaje grandes ha llamado la atención tanto de investigadores como del público. Estos modelos demuestran habilidades de razonamiento impresionantes, manejando problemas complejos con lógica paso a paso. Sin embargo, estos modelos no siempre son confiables, particularmente en áreas donde la precisión es crucial, como la salud y la investigación científica.

Los gráficos de conocimiento son recursos valiosos que contienen información de alta calidad en un formato estructurado, como tríos que se encuentran en Wikidata o YAGO. Estos gráficos ofrecen conocimientos fiables que pueden mejorar el razonamiento de los LLMs. Cada pieza de conocimiento en un KG se puede verificar por su fuente, lo que ayuda a confirmar su fiabilidad. Esta trazabilidad facilita entender el proceso de razonamiento, mejorando cómo se pueden usar estos modelos de manera efectiva.

A pesar de su potencial, usar KGs con LLMs presenta varios desafíos. Un problema principal es recuperar el conocimiento exacto necesario de los KGs para ayudar al razonamiento. Las soluciones hasta ahora han incluido la recuperación directa, donde las preguntas actúan como consultas para encontrar tríos relacionados en el KG, y el análisis semántico, que traduce preguntas en consultas ejecutables. Sin embargo, el primer método puede tener problemas si algunos tríos no tienen suficiente información. El segundo método enfrenta desafíos si las consultas generadas no son factibles.

Otro desafío es hacer que el modelo de razonamiento use el conocimiento recuperado de manera efectiva. Las soluciones existentes incluyen ajustar los LLMs en estructuras de KG o hacer que el modelo recupere y razone basado en subgráficas en KGs. Sin embargo, el primer enfoque no garantiza que todos los pasos de razonamiento existan en el KG. El segundo enfoque tiene dificultades para decidir cuándo detener el proceso de razonamiento, lo que puede llevar a errores en el razonamiento.

Para abordar estos desafíos, presentamos nuestro método de recuperación-exploración, que recupera y razona a través de subgráficas de manera dinámica. El módulo Path-RAG encuentra conocimientos esenciales de KGs, mientras que nuestro sistema genera palabras clave para asegurar búsquedas exhaustivas y prevenir omisiones de caminos de razonamiento importantes. También usamos razonamiento deductivo para guiar el proceso de toma de decisiones, ayudando a evitar errores y cálculos innecesarios.

Implementamos una búsqueda por haz, una técnica diseñada para pasos de razonamiento dentro de un área de búsqueda controlada. Esto ayuda a mantener el proceso de razonamiento en el camino correcto y lógico, minimizando errores.

Nuestro método incluye contribuciones significativas:

1. Un enfoque único para recuperar y explorar pasos de razonamiento basados en KGs.
2. Señales de Verificación Deductiva para indicar cuándo detener el razonamiento, mejorando la eficiencia.
3. Un proceso de razonamiento combinado que aprovecha las conexiones del KG para una recuperación más efectiva y mantiene la eficiencia.

Muchos experimentos muestran que nuestro método sin entrenamiento requiere menos potencia de computo mientras sigue superando estrategias existentes en tres pruebas.

Nuestro método, ilustrado en las figuras proporcionadas, usa dos módulos principales: Path-RAG y Búsqueda por Haz Guiada por Verificación Deductiva (DVBS). El módulo Path-RAG recupera nodos y relaciones relevantes de KGs, mientras que DVBS ayuda a los LLMs a realizar búsquedas por haz en los candidatos para identificar los mejores caminos de razonamiento.

Path-RAG funciona en tres pasos principales: inicialización, recuperación y construcción de candidatos de pasos de razonamiento. Inicialmente, incrustamos los nodos y bordes usando un modelo de lenguaje preentrenado, almacenando estos en una estructura de vecino más cercano. Luego generamos una lista de palabras clave de la consulta para asegurar una cobertura completa para la posterior toma de decisiones.

Una vez identificados los nodos y bordes potenciales, evaluamos los pasos de razonamiento en contra de estas conexiones en el KG. El sistema de puntuación considera la relevancia inmediata junto con implicaciones a largo plazo, permitiendo un proceso de toma de decisiones más equilibrado.

El módulo DVBS tiene tres pasos principales: planificación, búsqueda por haz y verificación deductiva. La planificación permite a los LLMs esbozar posibles caminos de razonamiento. La búsqueda por haz implica seleccionar los mejores pasos de razonamiento y decidir si continuar explorando o detenerse. La verificación deductiva ayuda a confirmar si un paso de razonamiento sigue lógicamente a pasos anteriores, proporcionando señales claras para detenerse cuando sea necesario.

En la fase experimental, usamos tres conjuntos de datos de referencia: WebQuestionSP, Complex WebQuestions y CR-LT-KGQA. Evaluamos el rendimiento usando métricas de precisión F1, Hits@1 y exactitud en estas pruebas.

Comparamos nuestro método con varios enfoques de referencia. Nuestros resultados muestran que nuestro enfoque superó consistentemente a los demás, incluso al usar modelos fuertes como GPT-4. El rendimiento en el conjunto de datos CR-LT fue particularmente notable, demostrando la adaptabilidad de nuestro método a consultas más complejas.

Un estudio de ablación detallado destacó la importancia de componentes específicos dentro de nuestro método. Eliminar ya sea Path-RAG o la búsqueda por haz en DVBS llevó a caídas notables en el rendimiento, subrayando su importancia en el manejo de tareas de razonamiento complejas.

Para evaluar la robustez, probamos múltiples modelos de incrustación y configuraciones de búsqueda por haz. La integración de modelos avanzados mejoró significativamente el rendimiento general, mientras que búsquedas más amplias y profundas generalmente aumentaron la exactitud hasta cierto punto antes de que se establecieran rendimientos decrecientes.

También verificamos la efectividad de nuestro enfoque de verificación deductiva, que consistentemente entregó caminos de razonamiento más cortos y más cercanos a la verdad básica en comparación con otros métodos. Nuestro análisis de errores mostró que, mientras que algunos caminos generados por métodos de referencia eran inválidos, nuestro enfoque paso a paso mantuvo un mayor ratio de validez.

Para validar la aplicación en el mundo real, presentamos un estudio de caso donde nuestro método capturó eficazmente múltiples descripciones de formas gubernamentales iraníes, superando modelos existentes en detalle y exactitud.

Nuestra investigación destaca la importancia de integrar KGs con LLMs para mejorar el razonamiento, particularmente en escenarios complejos. Mientras que nuestro método propuesto demuestra un mejor rendimiento, todavía es vital abordar los desafíos relacionados con la aplicación en el mundo real y la necesidad de fuentes de conocimiento externo de alta calidad.

En conclusión, nuestro método de recuperación-exploración representa un avance significativo en la mejora del razonamiento de LLMs usando conocimiento estructurado de KGs. La capacidad de guiar el razonamiento y mejorar la recuperación de conocimiento aborda efectivamente limitaciones anteriores, allanando el camino para resultados más fiables y transparentes en diversas aplicaciones. El trabajo futuro se centrará en probar nuestro método en escenarios más diversos y optimizar procesos para reducir aún más las demandas computacionales mientras se mantiene la precisión.