Melhorando a Precisão em Sistemas de Pergunta e Resposta

Sistemas de perguntas e respostas tão populares e poderosos, especialmente aqueles que usam Modelos de Linguagem de Grande Escala (LLMs). Esses sistemas têm como objetivo fornecer respostas precisas às perguntas dos usuários com base nas informações armazenadas em bancos de dados. Uma melhora significativa nesses sistemas vem do uso de Grafos de Conhecimento, que organizam e conectam dados de uma maneira que as máquinas conseguem entender melhor.

#O Desafio de Respostas Precisar

Estudos recentes mostraram que sistemas que usam LLMs combinados com um grafo de conhecimento conseguem dar respostas mais precisas do que aqueles que dependem diretamente de bancos de dados tradicionais. Por exemplo, pesquisas indicaram que usar um grafo de conhecimento aumentou a precisão das respostas de apenas 16% para 54%. Apesar dessa melhoria, ainda há espaço para avançar.

A pergunta central é: como podemos fazer esses sistemas serem ainda melhores em fornecer respostas precisas? Uma observação de trabalhos anteriores sugeriu que os LLMs às vezes produziam Consultas incorretas que se desviavam do caminho certo no grafo de conhecimento. Essa observação levou a uma abordagem em duas partes para melhorar a precisão.

#Duas Abordagens para Melhorar a Precisão

1. Verificação de Consulta Baseada em Ontologia (OBQC): Esse método tem como objetivo identificar erros nas consultas geradas pelo LLM, comparando-as com as regras definidas na ontologia do grafo de conhecimento. A ontologia é como um conjunto de diretrizes que define como diferentes pedaços de dados se relacionam.

2. Reparo do LLM: Se uma consulta for considerada incorreta pelo OBQC, o próximo passo é corrigi-la. Esse processo de reparo usa explicações do primeiro método para ajudar o LLM a criar uma consulta corrigida.

Com esses métodos, a precisão geral dos sistemas melhorou para 72%, com mais 8% das respostas sendo “não sei”, resultando em uma taxa de erro total de 20%. Esses achados apoiam a ideia de que usar conhecimento estruturado, como Ontologias, é vital para melhorar o desempenho de sistemas de perguntas e respostas alimentados por LLM.

#A Importância dos Sistemas Especializados

Os usuários de negócios querem um expert confiável disponível para responder suas perguntas com precisão. Para atender essa demanda, houve uma pesquisa significativa focada em como responder perguntas de fontes de dados estruturadas, como bancos de dados SQL. O crescimento da IA Generativa e dos LLMs enfatiza ainda mais essa necessidade de sistemas confiáveis e precisos.

Combinar LLMs com grafos de conhecimento demonstrou aumentar significativamente a precisão das respostas fornecidas. Na verdade, empresas que usam essa combinação relataram um aumento de três vezes na precisão em comparação com sistemas que não utilizam grafos de conhecimento. À medida que as empresas buscam implementar sistemas eficazes de perguntas e respostas, melhorar a precisão é essencial para a confiança e satisfação do usuário.

#Observando Padrões de Erros

A partir de descobertas anteriores, padrões específicos surgiram sobre como as consultas geradas por LLM podem falhar. Um erro comum é um caminho incorreto, onde a consulta gerada não se alinha com as relações definidas na ontologia. Por exemplo, no setor de seguros, uma relação correta na ontologia pode dizer que uma apólice é vendida por um agente. Se o LLM gera uma consulta que implica o oposto-que um agente é vendido por uma apólice-isso indica uma discrepância com a ontologia.

Uma pergunta exemplo poderia ser: “Retorne todas as apólices que um agente vendeu.” Se a consulta SPARQL resultante não se alinhar com a ontologia, o OBQC pode verificar a validade da consulta aplicando as regras definidas na ontologia.

#Como Funciona a Verificação de Consulta Baseada em Ontologia

O método OBQC envolve várias etapas chave:

• Correspondência de Padrões: Primeiro, o sistema analisa a consulta SPARQL gerada e identifica os Padrões Básicos de Grafo (BGPs) dentro dela. Essa etapa foca em entender as relações definidas na consulta.

• Construção do Grafo: O próximo passo envolve criar um grafo conjuntivo que representa a consulta e a ontologia. Isso permite que o sistema examine o quão bem a consulta se adere às regras da ontologia.

• Regras de Consistência: Finalmente, o OBQC aplica regras lógicas baseadas na ontologia para verificar se a consulta segue as diretrizes estabelecidas. Se alguma discrepância for identificada, o sistema gera explicações sobre por que a consulta não se alinha com a estrutura da ontologia.

#Tipos de Regras no OBQC

Várias regras são utilizadas no processo OBQC:

• Regra de Domínio: Se uma propriedade tem um domínio definido dentro da ontologia, o sujeito de qualquer tripla que use essa propriedade deve pertencer a esse domínio. Essa regra ajuda a garantir que as relações definidas na ontologia sejam respeitadas.

• Regra de Faixa: Semelhante à regra de domínio, se uma propriedade tem uma faixa especificada na ontologia, o objeto da tripla deve ser membro dessa faixa.

• Regra de Duplo Domínio/Faixa: Essa regra verifica conflitos nos requisitos para o domínio e a faixa das propriedades, garantindo que as relações de dados permaneçam consistentes.

• Regra de Propriedade Incorreta: Todas as propriedades incluídas na consulta devem existir na ontologia. Essa regra impede que os usuários consultem com propriedades indefinidas.

#O Papel do Reparo do LLM

Uma vez que o OBQC identifica problemas nas consultas geradas, o próximo passo é repará-las. Isso exige um processo bem pensado onde explicações para os erros são geradas. O LLM então tenta criar uma nova consulta SPARQL corrigida com base no feedback que recebe.

O processo de reparo é um ciclo que continua até a consulta passar na verificação do OBQC ou atingir um limite de três tentativas. Essa abordagem garante que se uma consulta não pode ser reparada efetivamente, o sistema reconhece a incerteza ao invés de fornecer uma resposta potencialmente incorreta.

#Configuração Experimental e Descobertas

Para avaliar a eficácia dos métodos OBQC e Reparo do LLM, foram realizados experimentos baseados em um conjunto de dados de referência. O conjunto de dados consistia em perguntas em linguagem natural relacionadas a um esquema SQL empresarial, juntamente com uma ontologia descrevendo conceitos de negócios no domínio de seguros.

Esse benchmark permitiu uma avaliação detalhada de como o sistema combinado se saiu em relação a vários tipos de perguntas e complexidades de esquema.

Os resultados mostraram melhorias promissoras:

• A precisão geral atingiu 72,55%, com uma redução notável na taxa de erro para cerca de 20%.
• O sistema se saiu bem em diferentes complexidades de perguntas, demonstrando seu potencial para aplicações práticas em cenários do mundo real.

#Reconhecendo Erros Comuns

Como parte da análise experimental, os pesquisadores notaram os vários tipos de erros que ocorreram nas consultas geradas. Os resultados destacaram que 70% dos reparos vieram de verificações relacionadas à ontologia, focando particularmente nas regras de domínio. Em contraste, regras relacionadas à faixa contribuíram com menos de 1% dos reparos.

Esse padrão sugere que muitas imprecisões surgem desde o início das consultas geradas, provavelmente devido à tendência do LLM de interpretar mal as relações entre diferentes pontos de dados. As descobertas apontam para a necessidade de melhorias em como as consultas são geradas e entendidas pelo LLM.

#O Impacto de Respostas Precisar

Ter respostas precisas é crucial para melhorar a experiência do usuário ao interagir com os dados. Os usuários preferem respostas que sejam claras, válidas e compreensíveis. Ao melhorar a precisão, as organizações podem fomentar uma maior confiança nas soluções de IA.

Os métodos OBQC e Reparo do LLM são componentes de um sistema maior que permite aos usuários fazer perguntas complexas e receber respostas coerentes e significativas. Esse progresso em direção a sistemas mais confiáveis é vital para as empresas que buscam aproveitar efetivamente as tecnologias de IA generativa.

#Conclusão: O Caminho à Frente

O estudo afirma a importância de investir em sistemas de conhecimento estruturado, como ontologias e grafos de conhecimento. Esses investimentos não são apenas fundamentais para melhorar a precisão dos sistemas de perguntas e respostas alimentados por LLM, mas também preparam o caminho para aplicações de IA mais confiáveis e eficazes.

O futuro provavelmente verá mais avanços na refinação desses modelos, expandindo o uso de ontologias e desenvolvendo ferramentas que fornecem consistentemente respostas precisas e relevantes. À medida que esses sistemas continuam a evoluir, eles têm um grande potencial para transformar a maneira como as organizações interagem com seus dados, aprimorando, em última análise, os processos de tomada de decisão e os resultados comerciais.

Ao focar na integração de estruturas de dados robustas e processamento inteligente de consultas, as organizações podem garantir que permaneçam na vanguarda das inovações em IA, capazes de atender à crescente demanda por informações precisas e confiáveis.