Avançando o Raciocínio Condicional na Análise de Documentos

Na vida real, a mesma pergunta feita por pessoas diferentes pode levar a respostas diferentes. Isso geralmente acontece por causa de circunstâncias únicas que afetam a elegibilidade para coisas como bolsas de estudo. Por exemplo, a elegibilidade de um aluno para uma bolsa pode depender de requisitos específicos relacionados ao seu curso ou programa de graduação.

Pra entender melhor isso, foi criado um projeto chamado ConditionalQA. Ele foi feito pra testar como os modelos conseguem ler documentos e responder perguntas sobre elegibilidade, mesmo quando nem todas as condições estão mencionadas. Porém, ele só focou em um documento por vez. Isso significa que passou batido por casos mais complicados, onde uma pergunta pode exigir raciocínio entre vários documentos. Por exemplo, a pergunta "Qual é o número máximo de bolsas que posso conseguir?" exige um entendimento mais profundo, já que envolve olhar vários documentos e descobrir o melhor resultado possível.

Pra lidar com esses desafios, criamos um novo conjunto de dados. Esse conjunto reflete situações do mundo real e serve como um campo de testes pra raciocínio complexo que envolve otimização. Testamos esse conjunto usando os últimos modelos de linguagem e notamos as limitações deles em lidar com essas tarefas. Acreditamos que esse conjunto vai ajudar a avançar a pesquisa em responder perguntas que envolvem otimizar resultados com condições desconhecidas.

#Perguntas da Vida Real e Relações entre Documentos

Muitas perguntas da vida real dependem de situações geográficas, temporais ou detalhes pessoais. Por exemplo, pense no caso de um aluno do último ano do ensino médio olhando um documento de bolsa de estudos. A resposta pra saber se esse aluno se qualifica pra bolsa depende de condições como se ele pretende se inscrever em uma educação pós-secundária nos Estados Unidos. Se essa condição for atendida, a resposta é "sim"; se não, a resposta é "não." Mesmo que essa condição não esteja diretamente mencionada na pergunta, ela precisa ser satisfeita pra que um "sim" seja válido.

Bolsas de estudo, estágios e benefícios do governo costumam ter condições específicas de elegibilidade que naturalmente levam a perguntas relacionadas. O ConditionalQA examinou como os modelos poderiam responder a perguntas simples de sim/não baseadas em documentos únicos sobre esses benefícios. No entanto, as pessoas também querem fazer perguntas mais amplas sobre como maximizar seus benefícios entre vários documentos.

Por exemplo, os alunos podem querer saber como maximizar as bolsas que podem solicitar pra cobrir a matrícula. Da mesma forma, famílias de baixa renda podem perguntar sobre suas qualificações pra maximizar benefícios sociais como créditos fiscais ou auxílios moradia.

Os conjuntos de dados existentes geralmente se concentram em perguntas de documentos únicos, ignorando a necessidade mais comum de avaliar múltiplos documentos juntos. Isso traz novos desafios que exigem uma compreensão aguçada de como as diferentes condições podem se relacionar entre si.

Os modelos precisam ser capazes de entender os detalhes finos entre vários documentos. Eles não devem apenas entender as condições em cada documento, mas também as relações entre essas condições, já que isso é fundamental pra responder corretamente perguntas de múltiplos documentos.

Relações comuns incluem:

• Conflitantes: Por exemplo, uma bolsa exige que os alunos tenham ou um diploma alto ou honras de primeira classe, o que conflita com a exigência de ainda estar no ensino médio.
• Equivalentes: Uma condição que um aluno "espera se formar no ensino médio" é a mesma que ser um "aluno que está se formando no ensino médio."
• Inclusivas: Uma condição que afirma um plano de buscar um diploma em uma certa área é mais ampla do que um requisito mais específico que a limita a um curso particular.

Trabalhar com essas relações é essencial pra que um modelo obtenha as melhores respostas.

#Raciocínio Condicional em Múltiplos Documentos

Responder perguntas que abrangem múltiplos documentos requer habilidades de raciocínio mais avançadas. Especificamente, os modelos devem considerar condições extras, não mencionadas, pra chegar ao melhor resultado possível. Por exemplo, se um usuário espera conseguir o máximo de bolsas possível, o modelo precisa explorar todas as combinações potenciais de diferentes bolsas e, em seguida, analisar as relações entre as condições.

Os usuários podem ter um cenário onde podem obter bolsas, mas precisam reconhecer condições conflitantes ou relações entre os requisitos descritos nos documentos. Isso pode envolver checar se certas condições podem trabalhar juntas ou estão em conflito, pra, em última análise, determinar o melhor agrupamento de condições que leva a maximizar suas chances de sucesso.

Esse tipo de raciocínio não é necessário para casos mais simples que envolvem apenas documentos únicos. À medida que o número de documentos aumenta, o contexto se torna mais complexo, o que pode confundir um modelo ou deixá-lo subutilizando informações, tornando a compreensão e o raciocínio mais desafiadores.

Pra refletir esses desafios do mundo real, desenvolvemos um conjunto de dados chamado Raciocínio Condicional em Múltiplos Documentos. Nós coletamos documentos principalmente dos domínios de bolsas de estudo e emprego e criamos perguntas que avaliam quão bem os modelos conseguem raciocinar entre diferentes números de documentos.

Nós avaliamos esse conjunto usando os últimos modelos de linguagem e apontamos seus desafios. A maioria dos modelos atingiu cerca de 69% de precisão em respostas curtas, mas apenas cerca de 40% de precisão nas respostas que exigiam entender condições entre documentos. Isso mostra a complexidade da tarefa.

#Descrição da Tarefa

Nessa tarefa, descrevemos entradas e saídas, junto com como avaliar essas saídas.

#Entradas

Um usuário irá inserir:

1. Documentos: Esses contêm descrições das condições necessárias pra alcançar certos resultados. Podem estar relacionadas a bolsas de estudo ou elegibilidade para empregos.

2. Cenário do Usuário: Esse descreve o histórico do usuário e inclui informações que são ou não relevantes pras condições de elegibilidade.

3. Perguntas do Usuário: Três tipos principais de perguntas são consideradas:

   • Q1: Posso receber pelo menos um dos resultados?
   • Q2: Posso receber todos os resultados?
   • Q3: Qual é o número máximo de resultados que posso receber?

#Saídas

As saídas consistem em duas partes:

• Resposta Curta: Para Q1 e Q2, é um simples sim ou não. Pra Q3, é um número representando quantos resultados podem ser possíveis.

• Resposta Condicional: Isso inclui as condições não mencionadas necessárias pra validar a resposta curta. Pode haver vários grupos dessas condições apoiando a resposta curta.

#Métricas de Avaliação

As saídas são avaliadas separadamente:

• Precisão da Resposta Curta: Isso mede com que frequência a resposta curta prevista coincide com a correta.

• Desempenho da Resposta Condicional: Precisão, recall e F1 scores são calculados para respostas condicionais.

Os avaliadores buscam quantos grupos de condições não mencionadas foram identificados corretamente, dando uma ideia da capacidade do modelo de identificar condições de elegibilidade.

#Processo de Coleta de Dados

Coletamos documentos HTML dos domínios de bolsas de estudo e emprego. Esses documentos frequentemente continham condições de elegibilidade que se sobrepunham, como GPA ou experiência.

#Anotações Humanas

Anotadores humanos foram recrutados pra ajudar a rotular os documentos. Eles se concentraram em três tarefas principais:

1. Extraindo Condições: Eles identificaram as frases que descreviam as condições de elegibilidade.

2. Identificando Relações: Eles determinaram como as condições se relacionavam entre si (se estavam em uma relação “e” ou “ou”).

3. Rotulando Relações entre Documentos: Eles categorizaram como as condições em diferentes documentos se relacionavam, marcando-as como conflitantes, equivalentes ou inclusivas.

#Geração de Cenários

Cenários de usuários foram criados com base nas condições extraídas. Isso envolveu amostrar informações relevantes e irrelevantes pra mimetizar o histórico de um usuário.

Os cenários foram checados quanto à consistência lógica, assegurando que apresentassem desafios significativos que exigissem raciocínio com condições e relações não mencionadas.

#Geração de Respostas Corretas

Pra determinar as respostas corretas automaticamente, foi implementado um processo que representava o problema como uma questão lógica, que poderia ser resolvida usando ferramentas existentes. Isso envolveu criar uma expressão conjunta que combinava condições de todos os documentos relevantes ao cenário de um usuário, e então derivar respostas através do raciocínio lógico.

#Explicação de Desempenho

Usando modelos de linguagem, avaliamos como eles se saíram com esse conjunto de dados. A tarefa é difícil, mas fornecer dicas sobre condições melhorou a precisão dos modelos tanto em respostas curtas quanto condicionais. No entanto, mesmo com ajuda, os modelos frequentemente lutavam pra raciocinar efetivamente através das complexidades.

#Análise de Erros

Uma análise dos erros revelou várias questões-chave.

#Análise da Resposta Curta

Os modelos frequentemente cometiam erros comuns:

1. Reagindo Excessivamente a Sinais Negativos: Os modelos às vezes pulavam para conclusões baseadas em detalhes negativos, ignorando outras condições satisfeitas.

2. Interpretação Errada: Os modelos podiam presumir erroneamente que um usuário não atendia a uma condição devido a uma leitura incorreta do histórico deles.

3. Sinais Conflitantes: Os modelos tinham dificuldade em reconhecer condições que estavam em conflito, levando a conclusões de elegibilidade incorretas.

#Análise da Resposta Condicional

Os erros em respostas condicionais frequentemente incluíam:

1. Respostas Incompletas: Os modelos perdiam condições não mencionadas que eram críticas pra validação.

2. Informação Redundante: Às vezes, eles repetiam condições que já estavam satisfeitas.

3. Informação Inconsistente: Os modelos não conseguiam garantir que as respostas permanecessem logicamente consistentes, levando-os a incluir condições irrelevantes.

#Conclusão

Esse estudo destaca a importância do raciocínio condicional em vários domínios, como bolsas de estudo e empregos. Ele mostra como os modelos atuais lutam com perguntas que envolvem múltiplos documentos e a necessidade de soluções que envolvam raciocínio mais profundo.

Esperamos que esse conjunto de dados sirva como um trampolim pra futuras pesquisas explorando raciocínios complexos em diferentes campos.

#Trabalhos Futuros

Embora esse estudo se concentre principalmente em bolsas de estudo e aplicações de emprego, existem muitas outras áreas onde o raciocínio entre múltiplos documentos é essencial. Expandir os domínios e explorar perguntas adicionais continuará a aprimorar nossa compreensão das capacidades dos modelos.

Investigar como o conhecimento externo afeta o raciocínio também pode lançar luz sobre como melhorar esses modelos. Esse trabalho abre portas pra futuros estudos que visam refinar o raciocínio condicional em aprendizado de máquina.