Melhorando a Resposta a Perguntas com Grafos de Conhecimento Incompletos

Modelos de Linguagem Grande (LLMs) têm mostrado um desempenho forte em várias tarefas de linguagem. No entanto, eles muitas vezes têm dificuldades com conhecimento limitado e, às vezes, geram informações incorretas ou enganosas, conhecidas como alucinações. Para melhorar isso, pesquisadores tentaram combinar LLMs com Grafos de Conhecimento (KGs), que fornecem informações estruturadas e factuais.

A maioria dos métodos existentes avalia LLMs usando KGs completos, o que significa que os fatos necessários para responder a perguntas estão totalmente cobertos pelo KG. Nesses casos, os LLMs agem mais como agentes que recuperam respostas do que realmente integram conhecimento interno e externo. Contudo, os KGs do mundo real muitas vezes são incompletos, o que traz desafios para responder perguntas.

Este artigo apresenta uma nova abordagem para lidar com esse problema, focando na Resposta a Perguntas com Grafos de Conhecimento Incompletos (IKGQA). No IKGQA, o KG não inclui todos os fatos necessários relacionados a uma pergunta. Para lidar com isso, propomos um método chamado Generate-on-Graph (GoG) que gera novos fatos enquanto explora os KGs.

#Visão Geral do IKGQA

IKGQA é diferente da Resposta a Perguntas com KG tradicional (KGQA). No KGQA, todos os fatos relevantes estão presentes, permitindo que os modelos encontrem respostas facilmente. No entanto, no IKGQA, alguns fatos críticos estão faltando, o que significa que os modelos devem confiar mais em seu conhecimento interno e habilidades de raciocínio para preencher lacunas.

Por exemplo, se uma pergunta pergunta sobre o fuso horário da sede da Apple em Cupertino, um sistema KGQA tradicional pode encontrar a resposta diretamente se o fato relevante estiver presente no KG. No IKGQA, se o fato específico sobre o fuso horário de Cupertino estiver ausente, o modelo deve usar o que sabe sobre Cupertino e Califórnia para inferir a resposta.

#Método: Generate-on-Graph (GoG)

Para enfrentar os desafios no IKGQA, apresentamos o GoG, que consiste em três etapas principais: selecionar, gerar e responder.

#Selecionando

Na fase de seleção, os LLMs identificam os relacionamentos mais relevantes para a pergunta atual. Ao focar nesses relacionamentos, eles podem expandir a compreensão do KG e reunir mais informações relacionadas.

#Gerando

Uma vez que os relacionamentos relevantes são selecionados, o LLM gera novos fatos usando seu conhecimento interno. Por exemplo, se ele sabe que Cupertino está na Califórnia e que a Califórnia tem um fuso horário do Horário Padrão do Pacífico, pode inferir que Cupertino também compartilha esse fuso horário.

#Respondendo

Depois de gerar os novos fatos, o LLM tenta responder à pergunta usando tanto as informações recuperadas quanto as geradas. Se a resposta ainda não estiver clara, o modelo pode voltar e repetir as etapas de seleção e geração até encontrar uma resposta satisfatória.

#Resultados Experimentais

Testamos o GoG em dois conjuntos de dados para avaliar sua eficácia em responder perguntas em condições de IKG. Os resultados mostraram que o GoG superou significativamente muitos métodos anteriores. Enquanto os métodos tradicionais se destacaram em cenários de KG completo, eles tiveram um desempenho muito ruim em situações de IKG.

#Comparação de Desempenho

Em testes usando KGs completos, vários sistemas se saíram bem, mas seu desempenho caiu drasticamente ao enfrentar KGs incompletos. O GoG, no entanto, manteve um desempenho mais forte mesmo com fatos faltando. Isso destaca a capacidade do GoG de utilizar tanto as informações estruturadas nos KGs quanto o conhecimento inerente dos LLMs.

#Importância do IKGQA

Pesquisar IKGQA é significativo por várias razões:

1. Relevância do Mundo Real: Muitos KGs usados na prática são incompletos, tornando o IKGQA mais próximo dos desafios reais enfrentados em várias aplicações.
2. Avaliação das Habilidades de Raciocínio: IKGQA permite uma melhor avaliação das habilidades de raciocínio dos LLMs, já que eles devem depender mais de seu conhecimento ao invés de apenas recuperar fatos de um KG.

#Trabalhos Relacionados

#Resposta a Perguntas com KG Incompleto

Vários métodos já analisaram a resposta a perguntas usando KGs incompletos, focando principalmente em treinar modelos para prever respostas com base em pontuações de similaridade. No entanto, esses métodos muitas vezes falham em integrar efetivamente as capacidades dos LLMs.

#Unificando KGs e LLMs

Pesquisas buscaram unificar KGs e LLMs para uma KGQA eficaz. Isso pode ser dividido em duas categorias: Métodos de Análise Semântica e Métodos Aumentados por Recuperação.

• Análise Semântica (SP): Esses métodos traduzem perguntas em consultas estruturadas que podem ser executadas em um KG. Embora eficazes, seu sucesso depende fortemente da qualidade dos KGs.
• Aumentados por Recuperação (RA): Esses métodos visam recuperar informações relevantes de KGs para ajudar os LLMs a responder perguntas. Eles mostraram potencial na KGQA tradicional, mas muitas vezes falham no IKGQA.

#Desafios nas Abordagens Existentes

Muitos métodos existentes não interagem efetivamente com KGs quando enfrentam incompletude. Métodos SP tradicionais geralmente não se adaptam bem à informação faltante, levando a um desempenho ruim. Da mesma forma, outros métodos que dependem de recuperação podem recuperar informações irrelevantes ou incorretas, levando a respostas erradas.

#Conclusão

Neste estudo, introduzimos o GoG, um método projetado para melhorar a resposta a perguntas no contexto de KGs incompletos. Ao combinar efetivamente as forças dos LLMs com KGs, o GoG se saiu bem em vários cenários, mostrando que um KG incompleto ainda pode fornecer informações estruturadas valiosas para ajudar a responder perguntas complexas.

#Limitações e Trabalhos Futuros

Apesar de suas forças, o GoG tem limitações. Foi avaliado principalmente em conjuntos de dados específicos, e pode haver casos em que os LLMs geram informações enganosas. Trabalhos futuros explorarão o aprimoramento do desempenho do modelo e sua aplicação em uma gama mais ampla de domínios e conjuntos de dados.

#Declaração de Ética

Esta pesquisa utilizou conjuntos de dados disponíveis publicamente e não apresentou preocupações éticas relacionadas à privacidade dos dados ou anotações humanas.

#Prompts Usados no GoG

O método GoG inclui prompts específicos que orientam as ações do modelo na seleção, geração e resposta de perguntas, garantindo que ele opere efetivamente dentro de sua estrutura projetada.

#Estudos de Caso

Para ilustrar a eficácia do GoG, apresentamos um estudo de caso comparando o GoG a outros métodos. Neste cenário, o GoG utilizou com sucesso informações vizinhas para concluir a localização geográfica das Montanhas Apalaches, enquanto outros métodos lutaram devido à falta de triplas cruciais.

#Agradecimentos

Esta pesquisa destaca a importância de abordar lacunas de conhecimento em sistemas de resposta a perguntas e abre caminhos para mais exploração na integração de LLMs com KGs incompletos.