Combinando Texto e Informações de Tabelas para Sistemas de QA

A Pergunta e Resposta (QA) é sobre criar sistemas que conseguem responder a perguntas feitas em linguagem do dia a dia. Esses sistemas ajudam os usuários a encontrarem respostas sem precisar conversar com uma pessoa diretamente. Para isso, os sistemas de QA usam conjuntos de dados cheios de perguntas e respostas escritas de um jeito natural.

Na maioria das vezes, esses conjuntos de dados contêm informações em forma de texto. No entanto, outros tipos de dados, como tabelas ou gráficos, também podem fornecer informações úteis. Tabelas são particularmente legais quando lidamos com dados estruturados, que podem ser difíceis de extrair de texto simples. Juntar texto e tabelas pode melhorar muito o desempenho dos sistemas de QA.

#O Desafio de Combinar Textos e Tabelas

Esse artigo analisa perguntas que precisam juntar e combinar informações de tabelas e texto. Um conjunto de dados específico usado para isso é chamado de Open Table-and-Text Question Answering (OTT-QA). Nesse conjunto, as perguntas vêm sem textos adicionais, o que significa que as respostas precisam ser encontradas buscando em várias informações que podem estar em formatos diferentes.

Atualmente, os sistemas de QA usam principalmente duas partes principais: uma parte busca informações relevantes (o retriever) e a outra parte lê e entende essas informações para fornecer uma resposta (o reader). Em conjuntos de dados complexos como o OTT-QA, o processo de recuperação deve ser feito em uma ordem específica, movendo-se de uma informação para outra até encontrar a resposta final.

#Introduzindo Aprendizado por Reforço Profundo

Para lidar com esses desafios, foi proposta uma nova metodologia usando Aprendizado por Reforço Profundo (DRL). Esse método ajuda a decidir quais ações tomar ao tentar reunir informações, como recuperar texto, puxar uma tabela ou gerar uma resposta final. A ideia é deixar um agente de aprendizado descobrir a melhor forma de usar as ferramentas disponíveis de um jeito que faça sentido na situação.

Diferente dos métodos padrão que precisam de dados rotulados, o DRL permite que o agente aprenda com suas ações e os resultados dessas ações. Isso possibilita adaptar e melhorar o desempenho com base na experiência.

#Componentes do Sistema de QA

O sistema proposto consiste em três ações principais:

1. Recuperar Textos: O sistema busca informações textuais relevantes.
2. Recuperar Tabelas: O sistema busca tabelas relevantes.
3. Gerar Resposta: O sistema produz uma resposta com base nas informações coletadas.

Essas ações são realizadas em sequência, permitindo que o sistema ajuste sua estratégia à medida que mais informações se tornam disponíveis. O sistema utiliza um mecanismo de recompensa para guiar o processo de aprendizado. Se a resposta gerada coincide com a resposta correta, o sistema recebe uma recompensa, enquanto respostas incorretas levam a penalidades.

#Limitações e Melhorias Potenciais

A arquitetura proposta pode facilmente crescer e se adaptar. Modelos mais novos podem substituir componentes mais antigos, e recursos adicionais podem ser adicionados. No entanto, o método atual também tem limitações, como não utilizar os melhores caminhos de recuperação, o que poderia otimizar o desempenho.

Além disso, o design permite a incorporação de diferentes tipos de componentes. Por exemplo, modelos de recuperação baseados em gráficos ou múltiplos modelos de leitura podem melhorar ainda mais o sistema. Uma grande vantagem é que o agente de aprendizado pode melhorar com o tempo praticando diferentes tipos de ações e respostas.

#Explorando Conjuntos de Dados Disponíveis

Hoje em dia, existem muitos conjuntos de dados de perguntas e respostas, focando principalmente em perguntas baseadas em texto, como SQuAD, ou perguntas baseadas em tabela, como MIMICSQL. No entanto, há menos recursos disponíveis para conjuntos de dados que requerem tanto textos quanto tabelas.

O conjunto de dados HybridQA foi criado para preencher essa lacuna. Esse conjunto inclui uma mistura de tabelas e trechos de texto, onde responder a uma pergunta muitas vezes exige combinar várias informações. O conjunto de dados OTT-QA se baseia nessa ideia, fornecendo um conjunto de 45.841 pares de perguntas e respostas projetados para perguntas abertas.

#Avaliando o Desempenho

Para avaliar como o sistema se comporta, são usados dois métricas bem conhecidas:

1. Correspondência Exata: Mede a porcentagem de respostas previstas que coincidem exatamente com as corretas.
2. F1-score Macro Médio: Avalia quão bem as respostas previstas se sobrepõem às corretas.

No contexto da avaliação, precisão refere-se a quantas palavras na resposta prevista também estão na resposta correta, enquanto recall analisa todas as palavras na resposta correta para ver quantas foram incluídas na previsão.

#Quebra da Arquitetura do Sistema

A arquitetura do sistema consiste em elementos que trabalham juntos para responder perguntas. Aqui está como eles se encaixam:

#Retriever

O trabalho do retriever é buscar na fonte de informações textos e tabelas relevantes. Duas abordagens comuns são usadas:

• BM25: Esse método foca na correspondência de palavras-chave e prioriza documentos mais curtos que ainda atendem adequadamente à consulta.
• Recuperação de Passagens Densas (DPR): Esse método avançado usa dois modelos para criar representações densas de perguntas e passagens, estimando a similaridade com base no significado, e não apenas em palavras-chave.

#Reader

O reader processa as informações recuperadas pelo retriever e gera a resposta final. Os melhores modelos de reader disponíveis geralmente são baseados em redes transformer. Eles funcionam recebendo tanto perguntas quanto passagens recuperadas, produzindo uma resposta adequada.

#Combinando Componentes

Diversas estratégias foram testadas no conjunto de dados OTT-QA, cada uma alcançando diferentes níveis de eficácia. Uma linha de base estabelecida usa métodos de recuperação de domínio aberto, enquanto outras exploraram várias combinações de recuperação de textos e tabelas, melhorando o processo de geração de respostas.

#O Papel do Aprendizado por Reforço Profundo em QA

Integrar o Aprendizado por Reforço Profundo no processo de QA não é um conceito novo. Várias abordagens anteriores já utilizaram essa tecnologia, focando principalmente na otimização do desempenho do retriever e do reader por meio de treinamento conjunto e usando feedback com base nas respostas recebidas.

Em uma implementação típica, um agente é treinado para tomar decisões sobre recuperar informações adicionais ou gerar uma resposta com base no conhecimento prévio e no contexto. Incorporar feedback humano nesse processo também mostrou potencial, permitindo uma abordagem mais personalizada à interação do usuário.

#Treinando o Sistema

Para treinar o agente DRL proposto, várias perguntas do conjunto de treinamento OTT-QA são selecionadas aleatoriamente para cada episódio. O treinamento ocorre ao longo de um grande número de etapas, permitindo que o agente aprenda e refine seu processo de tomada de decisão.

Dois algoritmos principais são usados para o treinamento:

1. Rede Q Profunda (DQN): Essa abordagem foca em aprender através das ações realizadas no ambiente.
2. Otimização de Política Proximal (PPO): Esse algoritmo equilibra exploração e exploração para melhorar a política do agente na geração de ações.

Várias arquiteturas de rede neural são exploradas durante o treinamento para encontrar a configuração mais eficaz.

#Resultados e Desfechos

Após testes extensivos e avaliação dos agentes treinados, ficou claro que o desempenho variou significativamente dependendo dos métodos utilizados. Em geral, Retrievers focados em texto se saíram melhor do que os focados em tabelas, possivelmente devido à estrutura mais complexa das tabelas e aos desafios que elas apresentam na extração.

Os melhores resultados vieram do uso do BM25 com PPO e uma rede transformer, alcançando um F1-score notável. Isso sugere que adotar uma abordagem sistemática para a recuperação de texto pode trazer resultados melhores. Em contraste, o desempenho do Tri-encoder mostrou que ele teve dificuldades em extrair informações significativas em comparação com métodos de recuperação mais simples.

#Conclusão e Trabalhos Futuros

A pesquisa destaca o potencial de um sistema inovador para lidar com perguntas que requerem informações de texto e tabela. A abordagem DRL proposta oferece uma avenida interessante para explorar como a tomada de decisão sequencial pode melhorar sistemas de QA.

Olhando para frente, combinar as forças de estratégias sequenciais com novos métodos de recuperação pode gerar resultados ainda melhores. Experimentos futuros devem se concentrar em otimizar técnicas de recuperação, integrar vários modelos de aprendizado e refinar o sistema para resultados mais precisos.

Resumindo, embora o desempenho atual mostre espaço para melhorias, a exploração dessa abordagem revela possibilidades promissoras para desenvolvimentos e aprimoramentos futuros na área de perguntas e respostas.