Melhorando a Resposta a Perguntas Baseadas em Tabelas com Novas Estratégias

A Pergunta e Resposta Baseada em Tabelas (TQA) é um processo onde as perguntas são respondidas usando informações encontradas em tabelas. Tabelas são comuns em muitos documentos, como relatórios financeiros e resumos estatísticos, e saber ler elas é importante. Porém, responder perguntas com base em tabelas pode ser complicado por causa da forma complexa como as tabelas são montadas e da necessidade de um Raciocínio cuidadoso sobre as perguntas feitas.

#O Desafio do TQA

Uma das principais dificuldades do TQA vem da variedade de estruturas de tabelas. Algumas tabelas têm diferentes camadas, como múltiplos cabeçalhos ou dados agrupados, o que dificulta para os computadores, até mesmo os algoritmos mais avançados, extraírem as informações certas. Além disso, as perguntas que as pessoas fazem podem exigir um pensamento profundo e um bom entendimento do contexto, significando que o computador deve analisar várias informações ao mesmo tempo.

Recentemente, Modelos de Linguagem Grande (LLMs) mostraram uma boa capacidade de entender conteúdo e realizar raciocínio. Isso gera esperança para melhorar os processos de TQA. Porém, ao lidar com tabelas mais complicadas, mesmo os LLMs avançados nem sempre dão as melhores respostas. Em muitos casos, esses modelos têm dificuldades porque as tarefas são muito complexas para lidar sem ajuda adicional.

#Abordagens para Enfrentar os Desafios

Para simplificar o processo de TQA, alguns métodos foram desenvolvidos. Essas abordagens focam em dividir tarefas complexas para que o LLM possa gerenciá-las melhor. Isso pode envolver encontrar quais partes da tabela são relevantes para a pergunta e focar nessas áreas. Isso ajuda o modelo a trabalhar com o que precisa sem se perder em detalhes desnecessários.

Mas, enquanto essas estratégias podem ser eficazes, muitas vezes não aproveitam totalmente o raciocínio que ocorre durante o processo de simplificação. Se peças importantes de informação forem deixadas de fora durante essa simplificação, os LLMs podem ter dificuldade em encontrar a resposta correta, já que dependem de dados precisos. Isso mostra a necessidade de um método mais abrangente que combine simplificação com raciocínio.

#Raciocínio Inspirado em Humanos

Ao observar como os humanos abordam tarefas complexas de TQA, fica claro que um processo de raciocínio organizado é essencial. Normalmente, as pessoas seguem um método de duas etapas. Primeiro, analisam a pergunta e entendem o layout da tabela para encontrar informações relevantes. Depois, usam essas informações para chegar a uma resposta, passo a passo. Embora esses passos pareçam separados, eles estão conectados no processo de raciocínio.

Dadas essas observações, os pesquisadores visam melhorar o desempenho do TQA aprimorando como os LLMs raciocinam. Um método sugerido é um processo "Buscar e Resolver" em duas etapas. Na primeira etapa, o modelo busca informações relevantes para a pergunta e gera um caminho lógico que mostra seu raciocínio. Na segunda etapa, esse caminho lógico é usado para responder à pergunta de forma eficaz, garantindo que o modelo não comece a raciocinar do zero novamente.

#O Pipeline Buscar e Resolver

O pipeline Buscar e Resolver inclui duas partes principais que trabalham juntas.

#Etapa 1: Buscar

Na etapa de Buscar, o LLM é direcionado a focar em entender a tabela e analisar a pergunta primeiro. Aqui, o modelo mapeia a estrutura da tabela em um formato de árvore, facilitando a localização de detalhes relevantes. Cada parte da tabela corresponde a um nó específico nessa árvore, permitindo que o modelo acesse as informações necessárias.

Uma vez que a estrutura está definida, o modelo é solicitado a identificar Tuplas, ou pontos de dados relevantes, que ajudarão a responder à pergunta. Ele separa as informações selecionadas em duas partes: o raciocínio que usou para encontrar as informações e os dados realmente relevantes que identificou.

#Etapa 2: Resolver

Nesta etapa de Resolver, o modelo responde à pergunta usando as percepções obtidas na etapa de Buscar. O raciocínio lógico desenvolvido anteriormente é utilizado para guiar o processo de resposta. Ao integrar o raciocínio da primeira etapa, essa abordagem ajuda a melhorar a precisão e coerência da resposta.

As opções para esta etapa podem variar. O modelo pode usar a tabela inteira ou focar em uma seção menor derivada do passo anterior. Ele também pode consultar as tuplas identificadas ou seguir um caminho estruturado para chegar à resposta, aprimorando ainda mais o processo de raciocínio.

#O Prompt Compacto de Resolução de TQA

Outro avanço é a criação de um prompt de resolução de TQA compacto de um único estágio que combina as duas etapas do pipeline Buscar e Resolver. Esse prompt pega toda a tabela e todos os pontos de dados relevantes como entrada e usa exemplos para guiar o raciocínio do modelo. O raciocínio lógico integrado de ambas as etapas forma um caminho abrangente que imita a forma como os humanos resolvem essas tarefas.

Esse novo prompt mostrou resultados que são quase tão eficazes quanto o processo em duas etapas, mas é mais simples de usar. Ao fornecer suporte através de exemplos, ele reforça a capacidade do modelo de lidar com tarefas complexas de TQA de forma eficaz.

#Avaliação Experimental

Para avaliar esses métodos, os pesquisadores conduziram uma série de experimentos usando dois conjuntos de dados diferentes conhecidos por suas perguntas desafiadoras e estruturas de tabela complexas: HiTab e WikiTableQuestions. HiTab consiste em tabelas do mundo real de relatórios, enquanto WikiTableQuestions inclui perguntas sobre tabelas de artigos da Wikipédia.

Em ambos os testes, vários prompts foram testados para ver qual combinação fornecia os melhores resultados. As descobertas indicaram que, quando o modelo raciocinava usando os caminhos lógicos da etapa de Buscar, ele tinha muito mais sucesso em comparação a quando trabalhava apenas com dados brutos. Isso destaca a importância de guiar efetivamente o processo de raciocínio.

#Análise de Tolerância a Erros

Outro aspecto estudado foi como o modelo lidou com erros. Foi descoberto que, se o modelo na primeira etapa cometesse erros ao buscar informações, ter um modelo mais capaz na segunda etapa poderia, às vezes, corrigir esses erros. No entanto, essa correção dependia de se simplificações de tarefas eram usadas.

Os experimentos mostraram que, ao simplificar tarefas, o segundo modelo tinha dificuldades em corrigir os erros da primeira etapa. No entanto, quando nenhuma simplificação foi aplicada, o modelo mais avançado teve um desempenho melhor e corrigiu os erros de forma eficaz.

#Conclusões

Essa pesquisa demonstra uma melhoria significativa em TQA ao utilizar as habilidades de raciocínio dos LLMs. Ao introduzir um pipeline Buscar e Resolver, o processo de raciocínio é estruturado de maneira semelhante a como os humanos abordam tarefas complexas. O prompt compacto de resolução de TQA aprimora ainda mais isso, combinando ambas as etapas de raciocínio em um formato fácil de usar.

No geral, as descobertas indicam que guiar efetivamente o raciocínio dos LLMs pode levar a ganhos substanciais na resolução de tarefas complexas de TQA. O trabalho futuro provavelmente se concentrará em refinar ainda mais esses métodos e explorar suas aplicações em várias áreas. Essa abordagem pode levar a sistemas mais confiáveis e precisos para lidar com consultas baseadas em dados tabulares, facilitando o acesso e a compreensão das informações de forma rápida e eficaz.