Aprimorando o Raciocínio dos LLMs com Grafos de Conhecimento

Modelos de linguagem grandes (LLMs) tiveram um impacto incrível em várias áreas. Mas, às vezes, eles dão respostas erradas, especialmente quando é necessário pensar a fundo. Pra resolver isso, a gente pode usar Grafos de Conhecimento (KGs), que armazenam informações de um jeito organizado e claro. Mas ainda não exploramos totalmente a melhor forma de conectar esses KGs com os LLMs.

Nesse trabalho, a gente sugere um método que combina a busca de informações e o uso interativo delas pra ajudar nos passos de raciocínio com base em KGs. Criamos um módulo chamado Path-RAG pra puxar pedaços úteis de conhecimento dos KGs pra raciocínio dos LLMs. Misturando as habilidades de raciocínio dos LLMs com as conexões nos KGs, conseguimos resultados melhores na busca pela informação certa.

Além disso, usamos as habilidades de pensamento lógico dos LLMs pra guiar os passos de raciocínio de um jeito claro e repetível. Essa verificação lógica diz pra gente quando parar de procurar mais respostas, evitando erros e perda de tempo.

Pra testar nosso método, fizemos vários experimentos e nossa abordagem se saiu melhor do que métodos fortes que já existem em três testes diferentes, sem precisar de treinamento extra.

O crescimento dos modelos de linguagem grandes chamou a atenção de pesquisadores e do público. Esses modelos mostram habilidades de raciocínio impressionantes, lidando com problemas complexos de forma passo a passo. Mas, eles nem sempre são confiáveis, especialmente em áreas onde a precisão é crucial, como na saúde e na pesquisa científica.

Grafos de conhecimento são recursos valiosos que guardam informações de alta qualidade de uma maneira estruturada, como triplas que a gente encontra no Wikidata ou YAGO. Esses grafos oferecem conhecimento confiável que pode melhorar o raciocínio dos LLMs. Cada pedaço de conhecimento em um KG pode ser conferido quanto à sua origem, o que ajuda a confirmar sua confiabilidade. Essa rastreabilidade facilita entender o processo de raciocínio, melhorando como esses modelos podem ser usados de forma eficaz.

Apesar do potencial, usar KGs com LLMs traz vários desafios. Um problema principal é recuperar o conhecimento exato que a gente precisa dos KGs pra ajudar no raciocínio. As soluções até agora incluem recuperação direta, onde as perguntas atuam como consultas pra achar triplas relacionadas no KG, e análise semântica, que traduz perguntas em consultas executáveis. Mas, o primeiro método pode ter dificuldades se algumas triplas não tiverem informação suficiente. O segundo método enfrenta desafios se as consultas geradas não forem viáveis.

Outro desafio é fazer o modelo de raciocínio usar o conhecimento recuperado de forma eficaz. As soluções existentes incluem ajustar LLMs nas estruturas do KG ou fazer o modelo recuperar e raciocinar com base em subgrafos nos KGs. Mas, a primeira abordagem não garante que todos os passos de raciocínio existam no KG. A segunda abordagem tem dificuldade em decidir quando parar o processo de raciocínio, o que pode levar a erros no raciocínio.

Pra resolver esses desafios, a gente introduz nosso método de recuperação-exploração, que recupera e raciocina através de subgrafos de uma forma de busca dinâmica. O módulo Path-RAG encontra conhecimentos essenciais dos KGs, enquanto nosso sistema gera palavras-chave pra garantir buscas completas e evitar perder caminhos importantes de raciocínio. A gente também usa raciocínio dedutivo pra guiar o processo de tomada de decisão, ajudando a evitar erros e cálculos desnecessários.

Implementamos uma Busca em Feixe, uma técnica desenhada pra passos de raciocínio dentro de uma área de busca controlada. Isso ajuda a manter o processo de raciocínio no caminho certo e lógico, minimizando erros.

Nosso método inclui contribuições significativas:

1. Uma abordagem única pra recuperar e explorar passos de raciocínio baseados em KGs.
2. Sinais de Verificação Dedutiva pra indicar quando parar de raciocinar, melhorando a eficiência.
3. Um processo de raciocínio combinado que aproveita as conexões do KG pra uma recuperação mais eficaz e mantém a eficiência.

Vários experimentos mostram que nosso método livre de treinamento precisa de menos poder computacional enquanto ainda se sai melhor do que estratégias existentes em três testes.

Nosso método, ilustrado nas figuras fornecidas, usa dois módulos principais: Path-RAG e Busca em Feixe Guiada por Verificação Dedutiva (DVBS). O módulo Path-RAG recupera nós e relações relevantes dos KGs, enquanto o DVBS ajuda os LLMs a fazerem busca em feixe nas opções pra identificar os melhores caminhos de raciocínio.

O Path-RAG funciona em três etapas principais: inicialização, recuperação e construção de candidatos a passos de raciocínio. Inicialmente, a gente embede os nós e arestas usando um modelo de linguagem pré-treinado, armazenando isso em uma estrutura de vizinhança mais próxima. Depois, geramos uma lista de palavras-chave a partir da consulta pra garantir uma cobertura abrangente pra decisões futuras.

Assim que os nós e arestas potenciais são identificados, avaliamos os passos de raciocínio em relação a essas conexões no KG. O sistema de pontuação leva em conta a relevância imediata juntamente com implicações a longo prazo, permitindo um processo de tomada de decisão mais equilibrado.

O módulo DVBS tem três etapas principais: planejamento, busca em feixe e verificação dedutiva. O planejamento permite que os LLMs esboçem possíveis caminhos de raciocínio. A busca em feixe envolve selecionar os melhores passos de raciocínio e decidir se vai continuar explorando ou parar. A verificação dedutiva ajuda a confirmar se um passo de raciocínio segue logicamente os passos anteriores, fornecendo sinais claros pra parar quando necessário.

Na fase experimental, usamos três conjuntos de dados de referência: WebQuestionSP, Complex WebQuestions e CR-LT-KGQA. Avaliamos o desempenho usando métricas F1, Hits@1 e precisão nesses testes.

Comparamos nosso método com várias abordagens de base. Nossos resultados mostram que nossa abordagem consistentemente superou as outras, mesmo usando modelos fortes como o GPT-4. O desempenho no conjunto de dados CR-LT foi particularmente notável, demonstrando a adaptabilidade do nosso método a consultas mais complexas.

Um estudo de ablação detalhado destacou a importância de componentes específicos dentro do nosso método. Remover o Path-RAG ou a busca em feixe no DVBS levou a quedas de desempenho visíveis, sublinhando sua importância em lidar com tarefas de raciocínio complexas.

Pra avaliar a robustez, testamos vários modelos de incorporação e configurações de busca em feixe. A integração de modelos avançados melhorou significativamente o desempenho geral, enquanto buscas mais amplas e profundas geralmente aumentaram a precisão até um certo ponto, antes que as retornos decrescentes aparecessem.

A gente também verificou a eficácia da nossa abordagem de verificação dedutiva, que consistentemente forneceu caminhos de raciocínio mais curtos e mais próximos da verdade comparado a outros métodos. Nossa análise de erros mostrou que, enquanto alguns caminhos gerados por métodos de base eram inválidos, nosso método passo a passo manteve uma maior taxa de validade.

Pra validar a aplicação no mundo real, apresentamos um estudo de caso onde nosso método capturou efetivamente várias descrições de formas governamentais iranianas, superando modelos existentes em detalhe e precisão.

Nossa pesquisa ilumina a importância de integrar KGs com LLMs pra melhorar o raciocínio, especialmente em cenários complexos. Embora nosso método proposto demonstre um desempenho melhorado, ainda é vital abordar os desafios relacionados à aplicação no mundo real e a necessidade de fontes de conhecimento externo de alta qualidade.

Em conclusão, nosso método de recuperação-exploração representa um passo significativo pra melhorar o raciocínio de LLMs usando conhecimento estruturado dos KGs. A capacidade de guiar o raciocínio e melhorar a recuperação de conhecimento efetivamente aborda limitações anteriores, abrindo caminho pra resultados mais confiáveis e transparentes em várias aplicações. O trabalho futuro vai se concentrar em testar nosso método em cenários mais diversos e otimizar processos pra reduzir ainda mais as demandas computacionais enquanto mantém a precisão.