Apresentando o FanOutQA: Um Novo Conjunto de Dados para Respostas a Perguntas Complexas

Quando as pessoas fazem Perguntas no dia a dia, elas costumam precisar de Respostas que envolvem várias etapas e informações de diversas fontes. Esse tipo de pergunta é chamado de "perguntas fan-out". Elas pedem detalhes sobre vários tópicos e, para responder corretamente, é preciso juntar informações de muitos artigos ou documentos diferentes.

Para avaliar como os grandes modelos de linguagem (LLMs) conseguem responder a essas perguntas complexas, criamos um novo conjunto de dados chamado FanOutQA. Esse conjunto se concentra em perguntas fan-out e inclui pares de perguntas e respostas, junto com explicações detalhadas de como cada pergunta pode ser dividida em partes mais simples. Usamos informações da Wikipedia em inglês como fonte de conhecimento para esse conjunto de dados.

#A Necessidade de Perguntas Fan-Out

Perguntas fan-out são comuns em várias situações. Por exemplo, se alguém está planejando uma viagem, pode querer saber sobre várias atrações turísticas em uma cidade. Ou, se está pesquisando um tema para um trabalho, pode precisar colher informações de múltiplos estudos. Responder a esse tipo de pergunta é complicado porque exige checar várias fontes para encontrar as respostas.

Os conjuntos de dados existentes que testam habilidades de pergunta-resposta geralmente se concentram em quão bem os modelos funcionam com apenas um artigo ou alguns documentos relacionados. Mas muitas perguntas da vida real exigem olhar para muitos documentos diferentes e juntar informações. O FanOutQA busca preencher essa lacuna, oferecendo um conjunto de perguntas que precisam de respostas encontradas através de raciocínio entre múltiplos documentos.

#Estrutura do Conjunto de Dados

O conjunto de dados FanOutQA consiste em vários componentes:

1. Perguntas: As perguntas principais que queremos responder.
2. Respostas: Respostas corretas para essas perguntas.
3. Evidências: Links para páginas relevantes da Wikipedia que fornecem as informações necessárias para responder às perguntas.

Cada pergunta desse conjunto é projetada para exigir informações de pelo menos cinco fontes diferentes. Além disso, dividimos cada pergunta principal em sub-perguntas mais simples. Assim, fica claro quais pedaços de informação precisam ser coletados de cada fonte.

#Gerando o Conjunto de Dados

Para criar o FanOutQA, contamos com a ajuda de estudantes que estudam IA e processamento de linguagem natural. Pedimos a eles que escrevessem perguntas fan-out ligadas a artigos da Wikipedia. Cada pergunta precisava fazer referência a várias fontes para garantir que não pudesse ser respondida sem reunir informações de diferentes artigos.

Durante uma semana, os estudantes produziram várias perguntas, que depois filtramos para garantir alta qualidade. Depois de passar pelo nosso processo de revisão, ficamos com um total de 1.034 perguntas principais e 7.305 sub-perguntas.

#Configurações de Desafio

Criamos três maneiras diferentes de desafiar os modelos de linguagem com o conjunto de dados FanOutQA:

1. Closed Book: Nesse cenário, o modelo só tem acesso à própria pergunta. Ele deve se basear no que aprendeu até agora. Isso testa o conhecimento geral do modelo sem ajuda externa.

2. Open Book: Aqui, o modelo tem acesso à base de conhecimento da Wikipedia. Ele pode procurar artigos para ajudar a responder a pergunta. Esse cenário testa a habilidade do modelo de recuperar informações relevantes e raciocinar com documentos mais longos.

3. Evidência Fornecida: Nesse caso, o modelo recebe a pergunta junto com artigos específicos que contêm as informações necessárias para respondê-la. Isso permite testar a capacidade do modelo de extrair e raciocinar sobre informações dos textos fornecidos.

#Avaliação de Desempenho

Testamos sete LLMs diferentes usando o conjunto de dados FanOutQA: GPT-4, GPT-3.5-turbo, LLaMA 2 e outros. Medimos quão bem cada modelo se saiu nas diferentes configurações.

#Resultados do Closed Book

Na configuração de closed book, os modelos tiveram que se basear apenas no conhecimento codificado em seus sistemas. O desempenho variou, com nenhum dos modelos marcando acima de 50%. Os erros mais comuns envolveram suposições baseadas em informações incorretas.

#Resultados do Open Book

Na configuração de open book, a maioria dos modelos teve um desempenho pior do que na configuração de closed book. Isso foi surpreendente, já que se esperaria que ter mais informações à mão ajudasse. No entanto, muitos modelos falharam em acompanhar a pergunta original enquanto processavam trechos longos recuperados, levando a saídas irrelevantes.

#Resultados com Evidências Fornecidas

Quando os modelos receberam os artigos reais para trabalhar, seu desempenho melhorou significativamente. A capacidade de usar quantidades maiores de texto dentro da janela de contexto fez uma grande diferença. Descobrimos que o desempenho estava fortemente correlacionado com o comprimento máximo de contexto dos modelos.

#Desempenho Humano

Para entender quão bem os humanos poderiam se sair nessas tarefas, pedimos a voluntários que respondessem um conjunto de perguntas do conjunto de dados FanOutQA. Em média, eles marcaram significativamente mais alto do que a maioria dos modelos testados. Isso indicou que ainda há muito o que melhorar nos LLMs em relação à habilidade de responder perguntas complexas e multi-step.

#Desafios com Respostas a Perguntas Fan-Out

Responder a perguntas fan-out não é uma tarefa fácil para os LLMs. Eles precisam dividir consultas complexas em partes menores e mais gerenciáveis, coletar informações de várias fontes e raciocinar sobre essas informações para fornecer uma resposta final correta.

#Importância da Informação de Qualidade

Um ponto chave da nossa pesquisa é que a qualidade e a quantidade de informações disponíveis para um modelo afetam muito seu desempenho. Em configurações onde o comprimento de contexto era maior, os modelos tendiam a se sair melhor porque conseguiam reter mais informações sem perder o fio da meada da pergunta original.

#Trabalho Futuro

Encorajamos outros pesquisadores a usar o conjunto de dados FanOutQA para avaliar novos modelos e técnicas de resposta a perguntas. Esse conjunto de dados ilumina as capacidades e limitações dos LLMs atuais, ao mesmo tempo em que convida a melhorias em suas habilidades de raciocínio e gerenciamento de contexto.

#Considerações Éticas

A criação do FanOutQA levou em conta a ética da coleta de dados e a participação dos envolvidos. Todos os contribuintes foram compensados adequadamente, e suas identidades foram mantidas em sigilo. Além disso, o conjunto de dados utiliza apenas conteúdo de páginas da Wikipedia disponíveis publicamente, garantindo que nenhuma informação privada foi incluída.

#Conclusão

O FanOutQA é um passo em direção a atender a necessidade de uma avaliação eficaz dos modelos de linguagem na resposta a perguntas complexas e multi-step. Ao criar um conjunto de dados focado nessa área, podemos entender melhor os pontos fortes e fracos dos modelos atuais, abrindo caminho para avanços em suas capacidades. Estamos ansiosos para ver como a comunidade de pesquisa interage com o FanOutQA e empurra os limites do que os modelos de linguagem podem realizar no âmbito da resposta a perguntas.