Aprendizado Dinâmico de Poucas Amostras para Melhorar KGQA

Modelos de linguagem grandes abrem novas possibilidades para responder perguntas usando Grafos de Conhecimento (KGs). Esses modelos nem sempre são ideais para gerar consultas, levando a esforços que melhoram seu desempenho. Embora alguns métodos tenham trazido resultados positivos através de ajustes finos ou configurações personalizadas, eles ainda enfrentam dificuldades ao lidar com diferentes tipos de dados, especialmente quando os dados não são semelhantes ao que foram treinados.

Este artigo discute um novo método chamado Aprendizado Dinâmico de Poucos Exemplos (DFSL). Essa abordagem usa exemplos de perguntas anteriores para ajudar a gerar respostas melhores, mostrando um desempenho melhor em comparação com métodos existentes.

Com o crescimento da Web Semântica, muito conhecimento estruturado foi criado e armazenado em grandes KGs como Wikidata, DBpedia e FreeBase. Esses KGs organizam quantidades significativas de informação, tornando mais difícil recuperar dados relevantes à medida que crescem. A Resposta a Perguntas de Grafos de Conhecimento (KGQA) ajuda a responder perguntas em linguagem natural levantadas sobre os KGs. Um sistema típico de KGQA tem três partes principais: Ligação de Entidades (EL), Ligação de Relações (RL) e Geração de Consultas (QG).

Começando a partir de uma pergunta em linguagem natural, EL e RL identificam entidades e relações na pergunta. A parte de QG então usa esses dados para criar uma consulta SPARQL que busca a resposta. Este artigo foca no aspecto de QG. Os principais métodos atuais para gerar consultas SPARQL muitas vezes envolvem ajustar modelos de linguagem como o T5 ou criar modelos personalizados que utilizam árvores de dependência. Embora tenham sido bem-sucedidos, esses métodos carecem de flexibilidade e escalabilidade, com ajustes finos muitas vezes sendo caros e ineficazes ao enfrentar diferentes tipos de dados.

Este artigo sugere que um melhor uso dos exemplos existentes em conjuntos de treinamento pode reduzir erros. O DFSL combina busca semântica com exemplos dos dados de treinamento para melhorar a resposta a perguntas. Para avaliar como o DFSL funciona, foram realizados testes em vários conjuntos de dados de referência usando bases de conhecimento populares como DBpedia e Wikidata.

A investigação incluiu quatro conjuntos de dados disponíveis publicamente: QALD-9 (baseado em DBpedia), QALD-9 Plus, QALD-10 e LC-QuAD 2.0 (baseado em Wikidata). O modelo foi testado usando três modelos de linguagem avançados: Mixtral 8x7B, Llama-3 70B e CodeLlama 70B. Os resultados mostraram que o DFSL alcança novas alturas de desempenho em velocidade e eficiência.

Um sistema típico de KGQA requer a identificação de entidades e relações relevantes a partir de uma pergunta antes de gerar uma consulta SPARQL. O estudo introduziu o DFSL como um método que combina busca semântica para puxar dinamicamente exemplos semelhantes dos dados de treinamento, melhorando o prompt usado pelos modelos de linguagem - ajudando-os a criar melhores consultas.

Pesquisas anteriores na geração de consultas KG muitas vezes se basearam em métodos que envolvem a criação de regras ou templates. Essas técnicas mais antigas frequentemente lutam para acompanhar os KGs maiores à medida que crescem, levando a pedidos por avanços que possam enfrentar melhor esses desafios. Desenvolvimentos recentes foram divididos entre métodos focados em recuperação de informações e aqueles que traduzem texto diretamente em consultas SPARQL.

Nos métodos baseados em recuperação de informações, o objetivo é encontrar subgrafos relevantes para uma pergunta dada. Algumas técnicas envolvem métodos mais complexos, incluindo previsão de relações e modelagem estrutural. O surgimento de modelos de linguagem modernos como o GPT também possibilitou novas maneiras de traduzir linguagem natural em consultas SPARQL. No entanto, muitos métodos existentes tendem a produzir erros sistemáticos, como inverter o sujeito e o objeto nas consultas geradas, o que pode levar a respostas incorretas.

O DFSL aproveita o aprendizado em contexto (ICL), onde o raciocínio através de exemplos é uma característica chave. Este método permite que exemplos existentes melhorem o processo de geração de consultas. A ideia é puxar exemplos que correspondam de perto à pergunta atual para melhorar o desempenho. O processo de recuperação é baseado na similaridade de uma pergunta com exemplos armazenados nos dados de treinamento.

O DFSL escolhe dinamicamente demonstrações para melhorar o prompt. O prompt inclui três partes: uma descrição da tarefa, exemplos recuperados e a pergunta de entrada com entidades e relações associadas. Após o modelo de linguagem gerar uma consulta, ela é executada para buscar resultados.

Um desafio na geração de consultas SPARQL inclui determinar sujeitos e objetos nas relações - um processo que os LLMs podem não lidar eficientemente. O DFSL oferece uma solução permitindo a geração de múltiplas consultas SPARQL, retendo todas as hipóteses geradas, aumentando as chances de produzir uma consulta correta e relevante.

Ao executar múltiplas consultas, diferentes respostas podem surgir, necessitando de um método para escolher a melhor. Dois métodos foram projetados para seleção de respostas: Maior Conjunto (LS) e Primeiro Conjunto (FS). O método LS escolhe o maior conjunto de respostas entre todas as respostas geradas, enquanto o FS simplesmente escolhe a primeira consulta que retorna uma resposta.

Nos experimentos, o DFSL mostrou um desempenho melhor em comparação com métodos anteriores em vários conjuntos de dados de referência. Isso incluiu uma avaliação de quantos exemplos deveriam ser recuperados, com descobertas sugerindo que um número maior de exemplos tende a gerar melhores resultados.

O estudo também analisou como o DFSL se saiu em relação a outras abordagens. O DFSL consistentemente superou métodos de aprendizado zero-shot e até muitos modelos de aprendizado few-shot. No entanto, os resultados variaram um pouco em diferentes conjuntos de dados, especialmente com desempenho mais baixo observado quando os dados de treinamento não se alinhavam bem com os dados de teste.

A análise do DFSL em comparação com outros métodos de ponta indicou que o DFSL opera de forma eficaz mesmo sem treinamento adicional em tarefas específicas. Embora tenha mostrado um desempenho forte de maneira geral, ainda há espaço para melhorar o manuseio de casos onde apenas informações parciais estão disponíveis, refletindo um desafio ainda presente na área.

Em resumo, o DFSL é um novo método para Respostas a Perguntas de Grafos de Conhecimento que melhora a capacidade do modelo de linguagem de gerar consultas SPARQL ao fazer uso de exemplos relevantes de forma dinâmica. Ele oferece melhor desempenho em vários benchmarks sem exigir extensos ajustes finos. Trabalhos futuros vão examinar sua aplicação em áreas semelhantes como texto-para-SQL e devem explorar a aplicabilidade do método além dos conjuntos de dados em inglês.

O código para implementar o DFSL será compartilhado publicamente após a aceitação do artigo, permitindo um uso mais amplo e a exploração de suas capacidades. Ao abordar as limitações atuais e investigar variações adicionais, essa abordagem pode levar a uma melhor compreensão e manuseio de grafos de conhecimento na resposta a consultas complexas.