Abordando Perguntas Ambíguas em Modelos de QA

Responder perguntas pode ser complicado às vezes, especialmente quando as perguntas não estão claras ou têm vários significados. Esse problema é conhecido como perguntas ambíguas, e dificulta para programas de computador que foram feitos para responder perguntas. Esses programas, chamados de modelos de Resposta a Perguntas (QA), precisam dar respostas mais longas e detalhadas que podem incluir diferentes pontos de vista. Embora tenha havido melhorias nesses modelos recentemente, ainda tem muitas perguntas que precisamos responder. Por exemplo, queremos saber se aumentar o tamanho dos modelos ou usar diferentes tipos de dados pode melhorar a qualidade das respostas deles. Além disso, queremos descobrir se as maneiras como medimos o desempenho deles são condizentes com o que as pessoas pensam sobre as respostas. Por fim, precisamos ver quão bem esses modelos usam evidências para sustentar suas respostas.

#O Desafio das Perguntas Ambíguas

Perguntas ambíguas podem dificultar a vida dos modelos de QA. Quando enfrentam essas perguntas, os modelos precisam criar respostas que fluam bem e transmitam a informação de forma clara. Esse tipo de resposta é frequentemente chamado de Resposta a Perguntas em Longa Forma (LFQA). Para ajudar a resolver esse problema, pesquisadores criaram um conjunto especial de perguntas chamado de conjunto de dados AmbigQA. Esse conjunto inclui perguntas que podem ser entendidas de várias maneiras, e oferece respostas detalhadas para cada possibilidade. Depois disso, outro conjunto de dados chamado ASQA foi criado, que inclui respostas que cobrem todos os diferentes significados de certas perguntas.

#Problemas com os Modelos Atuais

Recentemente, pesquisadores estudaram uma das maiores coleções de LFQA, conhecida como ELI5. Eles encontraram muitos problemas que dificultam a criação e teste de modelos de QA eficazes. Um dos principais problemas é se os modelos realmente referenciam os documentos de onde puxam informação ao criar respostas. Os pesquisadores também notaram que as maneiras usuais de medir o quão bem esses modelos funcionam nem sempre se alinham com o que as pessoas pensam sobre as respostas.

No nosso trabalho, queremos investigar se o desempenho dos modelos atuais usando o conjunto de dados ASQA é influenciado por alguns desses problemas. Além disso, queremos olhar para as escolhas feitas na construção dos modelos e como elas afetam o desempenho deles.

#Processo de LFQA

#Coleta de Evidências

A primeira parte de criar respostas envolve coletar documentos relevantes que vão ajudar a formar a base das respostas. Quando uma pergunta é feita, usamos um método para puxar os principais documentos que estão relacionados a ela. Para um documento ser visto como útil, ele precisa abordar pelo menos uma parte da pergunta. Para esclarecer qualquer confusão, precisamos de informações suficientes desses documentos para cobrir todas as diferentes maneiras que a pergunta poderia ser entendida.

#Criação da Resposta

Depois de coletar as evidências, o próximo passo é criar uma resposta. Os documentos recuperados são alimentados em um modelo que os resume em uma resposta clara que resolve a ambiguidade da pergunta. Usamos um tipo específico de modelo que pode lidar tanto com a pergunta quanto com as informações coletadas para produzir uma resposta.

#Testando Diferentes Modelos

Acreditamos que modelos mais avançados vão fornecer melhores respostas para perguntas difíceis. Portanto, montamos diferentes cenários de teste para comparar como várias decisões de modelagem afetam os resultados. Por exemplo, em um teste, apenas repetimos a pergunta algumas vezes para ver como isso afeta o comprimento das respostas geradas em resposta, embora essa abordagem não realmente responda à pergunta.

Também passamos por diferentes métodos para recuperar trechos com base em sua relevância para a pergunta. Além disso, olhamos para o tamanho dos modelos para ver se modelos maiores produzem melhores respostas.

#Diferentes Abordagens para Geração de Respostas

1. Closed Book: Nesse método, o modelo usa apenas a própria pergunta para fornecer uma resposta e não tem acesso a documentos recuperados. Isso geralmente leva a um desempenho pior, já que falta o contexto necessário para uma boa resposta.

2. Random Retrieval: Para esse teste, selecionamos documentos aleatoriamente como evidência para ver se o modelo ainda pode fornecer uma resposta razoável.

3. Open Book: Esse é o método mais realista onde o modelo usa os documentos que recuperou para criar contexto para a resposta. Esperamos que usar métodos de recuperação melhores leve a respostas mais completas.

#Abordagem Experimental

Para entender quão bem os sistemas LFQA podem gerar respostas úteis para perguntas ambíguas, precisávamos avaliar nossos modelos em diferentes conjuntos de dados. Usamos o conjunto de dados ASQA, que tem uma ampla gama de perguntas ambíguas emparelhadas com respostas claras. Esse conjunto é crucial para treinar e verificar o desempenho dos nossos modelos. Ele inclui milhares de perguntas, com cada uma emparelhada com várias interpretações e respostas.

Também usamos um conjunto de dados maior chamado ELI5 para ver se um treinamento adicional nele melhoraria o desempenho antes de focar no ASQA. Usando tanto esse conjunto quanto outro do conjunto de dados MS MARCO QA, buscamos melhorar os resultados gerais.

#Modelos para Recuperar Evidências

Testamos tanto métodos tradicionais (como BM25) quanto métodos neurais mais novos (como DPR). Cada modelo recupera trechos que consideraremos ao formar respostas. Queremos ver se a forma como codificamos as perguntas afeta a qualidade dos trechos recuperados.

#Modelagem Generativa

Para criar respostas, usamos modelos populares baseados na arquitetura Transformer, especificamente T5 e BART. Testamos diferentes tamanhos desses modelos para ver se modelos maiores podem criar melhores respostas.

#Medindo Desempenho

Pode ser difícil checar quão bem os modelos generativos se saem em LFQA. Um método comum usado é o chamado Rouge-L, que analisa sequências de palavras entre respostas geradas e respostas de referência. No entanto, alguns estudos mostraram que esse método nem sempre se alinha com as avaliações humanas.

Para resolver isso, desenvolvemos novas métricas que avaliam quão bem o modelo pode desambiguar respostas. Uma dessas métricas considera quantas respostas corretas estão incluídas na saída, enquanto outra verifica quantas respostas podem ser extraídas usando compreensão de texto.

#Avaliando com Pessoas

Para garantir que o desempenho do nosso modelo esteja alinhado com o que os usuários reais esperam, realizamos avaliações onde as pessoas compararam diferentes respostas diretamente. Queríamos saber o que elas achavam da abrangência e fluidez das respostas, além da impressão geral.

#Avaliação de Recuperação Aleatória

Finalmente, checamos se as respostas geradas podiam respaldar os documentos que foram recuperados. Essa avaliação mostrou que, em muitos casos, as respostas tiveram um desempenho melhor quando baseadas em documentos relevantes em vez de aleatórios. Observamos que alguns modelos até se saíram melhor quando se basearam na pergunta em vez das evidências.

#Conclusão

Através dessa pesquisa, descobrimos que, embora o conjunto de dados ASQA seja um bom recurso para criar e testar modelos, ainda existem muitos desafios a serem enfrentados. Aprendemos que modelos maiores geralmente produzem melhores respostas e que usar correspondência semântica para recuperação pode impactar positivamente o desempenho. Embora tenhamos tentado melhorar o desempenho do modelo ajustando-o em conjuntos de dados maiores, descobrimos que isso teve apenas benefícios menores.

Nossas avaliações também mostraram que os modelos dependem muito do contexto fornecido pelos documentos recuperados. O feedback humano confirmou tendências identificadas por meio de métricas automatizadas, destacando a eficácia de nossas abordagens em desambiguar perguntas difíceis.

#Limitações e Direções Futuras

Existem algumas fraquezas importantes no nosso trabalho. Primeiro, enquanto modelos maiores geram melhores respostas, ainda precisamos determinar se há um limite para essa tendência ou se ela continua indefinidamente. Devido a limitações de hardware, não pudemos testar modelos maiores que o BART-large. Em segundo lugar, como responder a perguntas ambíguas muitas vezes requer várias peças de informação, acreditamos que o uso de métodos de recuperação avançados poderia gerar resultados ainda melhores. Neste trabalho, focamos principalmente na factualidade e clareza das respostas.

#Considerações Éticas

Vale a pena notar que, como usamos uma base de conhecimento pública, as respostas geradas podem conter preconceitos refletindo o conteúdo carregado por colaboradores anônimos. Estudos futuros poderiam investigar métodos para detectar desinformação para evitar que preconceitos afetem as respostas geradas.

Todo esse esforço foi apoiado por recursos nacionais, e somos gratos pela orientação recebida durante este projeto.