Mejorando la respuesta a preguntas con gráficos de conocimiento incompletos

Los Modelos de Lenguaje Grande (LLMs) han demostrado un rendimiento fuerte en muchas tareas de lenguaje. Sin embargo, a menudo tienen problemas con el conocimiento limitado y a veces pueden generar información incorrecta o engañosa, conocidas como alucinaciones. Para mejorar esto, los investigadores han tratado de combinar LLMs con Grafos de Conocimiento (KGs), que proporcionan información estructurada y fáctica.

La mayoría de los métodos existentes evalúan los LLMs utilizando KGs completos, lo que significa que los hechos necesarios para responder preguntas están completamente cubiertos por el KG. En estos casos, los LLMs actúan principalmente como agentes que recuperan respuestas en lugar de integrar realmente el conocimiento interno y externo. Sin embargo, los KGs del mundo real a menudo están incompletos, lo que plantea desafíos para responder preguntas.

Este artículo presenta un nuevo enfoque para abordar este problema centrándose en la Respuesta a Preguntas en Grafos de Conocimiento Incompletos (IKGQA). En IKGQA, el KG no incluye todos los hechos necesarios relacionados con una pregunta. Para manejar esto, proponemos un método llamado Generar-en-Grafo (GoG) que genera nuevos hechos mientras explora KGs.

#Resumen de IKGQA

IKGQA es diferente de la Respuesta a Preguntas de KG tradicional (KGQA). En KGQA, todos los hechos relevantes están presentes, lo que permite a los modelos encontrar respuestas fácilmente. Sin embargo, en IKGQA, faltan algunos hechos críticos, lo que significa que los modelos deben depender más de su conocimiento interno y habilidades de razonamiento para llenar los vacíos.

Por ejemplo, si una pregunta pregunta sobre la zona horaria de la sede de Apple en Cupertino, un sistema KGQA tradicional podría encontrar la respuesta directamente si el hecho relevante está presente en el KG. En IKGQA, si falta el hecho específico sobre la zona horaria de Cupertino, el modelo debe usar lo que sabe sobre Cupertino y California para inferir la respuesta.

#Método: Generar-en-Grafo (GoG)

Para abordar los desafíos en IKGQA, introducimos GoG, que consta de tres pasos principales: seleccionar, generar y responder.

#Selección

En la fase de selección, los LLMs identifican las relaciones más relevantes para la pregunta actual. Al centrarse en estas relaciones, pueden ampliar la comprensión del KG y reunir más información relacionada.

#Generación

Una vez que se seleccionan las relaciones relevantes, el LLM genera nuevos hechos utilizando su conocimiento interno. Por ejemplo, si sabe que Cupertino está en California y que California tiene una zona horaria de Hora Estándar del Pacífico, puede inferir que Cupertino también comparte esta zona horaria.

#Respuesta

Después de generar los nuevos hechos, el LLM intenta responder la pregunta usando tanto la información recuperada como la generada. Si la respuesta aún no está clara, el modelo puede volver a la selección y repetir los pasos de generación hasta que encuentre una respuesta suficiente.

#Resultados Experimentales

Probamos GoG en dos conjuntos de datos para evaluar su efectividad en responder preguntas bajo condiciones IKG. Los resultados mostraron que GoG superó significativamente muchos métodos anteriores. Mientras que los métodos tradicionales destacaron en escenarios de KG completos, tuvieron grandes problemas en situaciones de IKG.

#Comparación de Rendimiento

En pruebas utilizando KGs completos, varios sistemas tuvieron buen rendimiento, pero su performance cayó drásticamente al enfrentar KGs incompletos. Sin embargo, GoG mantuvo un rendimiento más fuerte incluso con hechos faltantes. Esto resalta la capacidad de GoG para utilizar tanto la información estructurada en KGs como el conocimiento inherente dentro de los LLMs.

#Importancia de IKGQA

Investigar IKGQA es significativo por varias razones:

1. Relevancia en el Mundo Real: Muchos KGs utilizados en la práctica están incompletos, haciendo que IKGQA esté más cerca de los desafíos reales en diversas aplicaciones.
2. Evaluación de la Habilidad de Razonamiento: IKGQA permite una mejor evaluación de las habilidades de razonamiento de los LLMs, ya que deben depender más de su conocimiento en lugar de solo recuperar hechos de un KG.

#Trabajo Relacionado

#Respuesta a Preguntas en KG Incompletos

Varios métodos han examinado anteriormente la respuesta a preguntas utilizando KGs incompletos, enfocándose principalmente en entrenar modelos para predecir respuestas basadas en puntajes de similitud. Sin embargo, estos métodos a menudo no logran integrar efectivamente las capacidades de los LLMs.

#Unificando KGs y LLMs

La investigación ha buscado unificar KGs y LLMs para una KGQA eficaz. Esto se puede dividir en dos categorías: Métodos de Análisis Semántico y Métodos Aumentados por Recuperación.

• Análisis Semántico (SP): Estos métodos traducen preguntas en consultas estructuradas que se pueden ejecutar en un KG. Aunque son efectivos, su éxito depende en gran medida de la calidad de los KGs.
• Aumentado por Recuperación (RA): Estos métodos buscan recuperar información relevante de KGs para ayudar a los LLMs a responder preguntas. Han mostrado promesa en KGQA tradicional, pero a menudo fallan en IKGQA.

#Desafíos en los Enfoques Existentes

Muchos métodos existentes no interactúan de manera efectiva con KGs cuando se enfrentan a la incompletitud. Los métodos SP tradicionales a menudo no se adaptan bien a la falta de información, lo que lleva a un rendimiento deficiente. De manera similar, otros métodos que dependen de la recuperación pueden recuperar información irrelevante o incorrecta, lo que conduce a respuestas incorrectas.

#Conclusión

En este estudio, presentamos GoG, un método diseñado para mejorar la respuesta a preguntas en el contexto de KGs incompletos. Al combinar efectivamente las fortalezas de los LLMs con los KGs, GoG funcionó bien en varios escenarios, demostrando que un KG incompleto aún puede proporcionar información estructurada valiosa para ayudar a responder preguntas complejas.

#Limitaciones y Trabajo Futuro

A pesar de sus fortalezas, GoG tiene limitaciones. Se evaluó principalmente en conjuntos de datos específicos, y puede haber casos en los que los LLMs generen información engañosa. El trabajo futuro explorará mejorar el rendimiento del modelo y aplicarlo a una gama más amplia de dominios y conjuntos de datos.

#Declaración de Ética

Esta investigación utilizó conjuntos de datos disponibles públicamente y no planteó preocupaciones éticas sobre la privacidad de los datos o las anotaciones humanas.

#Prompts Utilizados en GoG

El método GoG incluye prompts específicos que guían las acciones del modelo en la selección, generación y respuesta a preguntas, asegurando que funcione efectivamente dentro de su marco diseñado.

#Estudios de Caso

Para ilustrar la efectividad de GoG, presentamos un estudio de caso que compara GoG con otros métodos. En este escenario, GoG utilizó con éxito información vecina para concluir la ubicación geográfica de las Montañas Apalaches, mientras que otros métodos tuvieron problemas debido a la falta de triples cruciales.

#Agradecimientos

Esta investigación destaca la importancia de abordar las brechas de conocimiento en los sistemas de respuesta a preguntas y abre avenidas para una mayor exploración en la integración de LLMs con KGs incompletos.