Faire avancer le raisonnement conditionnel dans l'analyse de documents

Dans la vraie vie, la même question posée par différentes personnes peut donner des réponses différentes. Ça vient souvent de circonstances uniques qui influencent l'éligibilité pour des trucs comme des bourses. Par exemple, l'éligibilité d'un étudiant pour une bourse peut dépendre de critères spécifiques liés à son domaine d'études ou à son programme de diplôme.

Pour mieux comprendre ça, un projet appelé ConditionalQA a été créé. Il était conçu pour tester à quel point les modèles peuvent lire des documents et répondre à des questions sur l'éligibilité, même quand toutes les conditions ne sont pas mentionnées. Cependant, il se concentrait uniquement sur un document à la fois. Ça veut dire qu'il passait à côté des cas plus difficiles, où une question pourrait nécessiter de raisonner à travers plusieurs documents. Par exemple, la question "Quel est le nombre maximum de bourses que je peux obtenir ?" nécessite une compréhension plus profonde, car cela implique de regarder plusieurs documents et de déterminer le meilleur résultat possible.

Pour relever ces défis, nous avons créé un nouveau jeu de données. Ce jeu de données reflète des situations réelles et sert de terrain d'essai pour un raisonnement complexe qui implique de l'optimisation. Nous avons testé ce jeu de données avec les derniers modèles de langage et noté leurs limites dans la gestion de ces tâches. Nous croyons que ce jeu de données aidera à faire avancer la recherche sur la réponse à des questions qui impliquent l'optimisation des résultats avec des conditions inconnues.

#Questions de la Vie Réelle et Relations entre Documents

Beaucoup de questions réelles dépendent de situations géographiques, temporelles ou de détails personnels. Par exemple, prenons le cas d'un élève de terminale regardant un document de bourse. La réponse à savoir si cet élève est éligible pour la bourse dépend de conditions comme savoir s'il prévoit de s'inscrire à un établissement d'enseignement supérieur aux États-Unis. Si cette condition est remplie, la réponse est "oui" ; si ce n'est pas le cas, la réponse est "non". Même si cette condition n'est pas directement mentionnée dans la question, elle doit être satisfaite pour qu'un "oui" soit valide.

Les bourses, stages et aides gouvernementales viennent souvent avec des conditions d'éligibilité spécifiques qui naturellement mènent à des questions connexes. ConditionalQA a examiné à quel point les modèles pouvaient répondre à des questions simples de oui/non basées sur des documents uniques concernant ces avantages. Cependant, les gens veulent aussi poser des questions plus larges sur la manière de maximiser leurs avantages à travers plusieurs documents.

Par exemple, les étudiants pourraient vouloir savoir comment maximiser les bourses auxquelles ils peuvent postuler pour couvrir les frais de scolarité. De même, les familles à faible revenu pourraient demander quels sont leurs droits pour maximiser des avantages sociaux comme des crédits d'impôt ou des allocations de logement.

Les jeux de données existants se concentrent principalement sur des questions à document unique, négligeant le besoin plus courant d'évaluer plusieurs documents ensemble. Cela pose de nouveaux défis qui nécessitent une bonne compréhension de la manière dont différentes conditions pourraient être liées les unes aux autres.

Les modèles doivent être capables de saisir les détails fins à travers plusieurs documents. Ils doivent non seulement comprendre les conditions dans chaque document mais aussi les relations entre ces conditions, car c'est la clé pour répondre correctement à des questions multi-documents.

Les relations courantes incluent :

• Conflit : Par exemple, une bourse exige que les étudiants aient soit un diplôme élevé soit des honneurs de première classe, ce qui entre en conflit avec l'exigence d'être encore au lycée.
• Équivalent : Une condition stipulant qu'un étudiant "s'attend à obtenir son diplôme de lycée" est la même que d'être un "élève en terminale".
• Inclusif : Une condition déclarant un plan de poursuivre un diplôme dans un certain domaine est plus large qu'une exigence plus spécifique qui le réduit à un domaine particulier.

Travailler avec ces relations est essentiel pour qu'un modèle tire les meilleures réponses.

#Raisonnement Conditionnel Multi-Documents

Répondre à des questions qui couvrent plusieurs documents nécessite des capacités de raisonnement plus avancées. Spécifiquement, les modèles doivent prendre en compte des conditions supplémentaires, non mentionnées, pour arriver au meilleur résultat possible. Par exemple, si un utilisateur espère obtenir autant de bourses que possible, le modèle doit explorer toutes les combinaisons potentielles de différentes bourses et ensuite analyser les relations entre les conditions.

Les utilisateurs peuvent avoir un scénario où ils peuvent obtenir des bourses mais doivent reconnaître les conditions conflictuelles ou les relations entre les exigences décrites dans les documents. Cela peut impliquer de vérifier si certaines conditions peuvent fonctionner ensemble ou entrer en conflit, pour finalement déterminer le meilleur regroupement de conditions qui maximisent leurs chances de succès.

Ce type de raisonnement n'est pas nécessaire pour des cas plus simples qui n'impliquent que des documents uniques. À mesure que le nombre de documents augmente, le contexte devient plus complexe, ce qui peut induire un modèle en erreur ou le laisser sous-utiliser l'information, rendant la compréhension et le raisonnement plus difficiles.

Pour refléter ces défis de la vie réelle, nous avons développé un jeu de données appelé Raisonnement Conditionnel Multi-Documents. Nous avons rassemblé des documents principalement dans les domaines des bourses et des emplois et créé des questions qui évaluent à quel point les modèles peuvent raisonner à travers différents nombres de documents.

Nous avons évalué ce jeu de données en utilisant les derniers modèles de langage et pointé leurs défis. La plupart des modèles ont atteint environ 69 % de précision pour les réponses courtes, mais seulement environ 40 % de précision pour les réponses nécessitant la compréhension des conditions à travers les documents. Cela montre la complexité de la tâche.

#Description de la Tâche

Dans cette tâche, nous décrivons les entrées et sorties, ainsi que la façon d'évaluer ces sorties.

#Entrées

Un utilisateur va entrer :

1. Documents : Ceux-ci contiennent des descriptions de conditions nécessaires pour atteindre certains résultats. Cela pourrait concerner des bourses ou l'éligibilité à un emploi.

2. Scénario Utilisateur : Cela décrit le background de l'utilisateur et inclut des informations qui sont ou ne sont pas pertinentes pour les conditions d'éligibilité.

3. Questions Utilisateur : Trois types de questions principales sont prises en compte :

   • Q1 : Puis-je recevoir au moins un des résultats ?
   • Q2 : Puis-je recevoir tous les résultats ?
   • Q3 : Quel est le nombre maximum de résultats que je peux recevoir ?

#Sorties

Les sorties se composent de deux parties :

• Réponse courte : Pour Q1 et Q2, c'est un simple oui ou non. Pour Q3, c'est un nombre représentant combien de résultats pourraient être possibles.

• Réponse Conditionnelle : Cela inclut les conditions non mentionnées nécessaires pour valider la réponse courte. Il peut y avoir plusieurs groupes de ces conditions soutenant la réponse courte.

#Métriques d'évaluation

Les sorties sont évaluées séparément :

• Précision de la Réponse Courte : Cela mesure à quelle fréquence la réponse courte prédite correspond à la bonne.

• Performance de la Réponse Conditionnelle : La précision, le rappel et les scores F1 sont calculés pour les réponses conditionnelles.

Les évaluateurs recherchent combien de groupes de conditions non mentionnées ont été correctement identifiés, donnant un aperçu de la capacité du modèle à identifier les conditions d'éligibilité.

#Processus de Collecte de Données

Nous avons collecté des documents HTML provenant des domaines des bourses et des emplois. Ces documents comprenaient souvent des conditions d'éligibilité qui se chevauchent, comme la GPA ou l'expérience.

###Annotations Humaines

Des annotateurs humains ont été recrutés pour aider à labelliser les documents. Ils se sont concentrés sur trois tâches principales :

1. Extraction des Conditions : Ils ont identifié les phrases décrivant les conditions d'éligibilité.

2. Identification des Relations : Ils ont déterminé comment les conditions étaient liées les unes aux autres (qu'elles étaient dans une relation "et" ou "ou").

3. Étiquetage des Relations entre Documents : Ils ont catégorisé comment les conditions dans différents documents se rapportaient les unes aux autres, les marquant comme conflictuelles, équivalentes ou inclusives.

#Génération de Scénarios

Des scénarios utilisateurs ont été élaborés en fonction des conditions extraites. Cela impliquait de sampler à la fois des informations pertinentes et non pertinentes pour imiter le background d'un utilisateur.

Les scénarios ont été vérifiés pour leur cohérence logique, s'assurant qu'ils présentaient des défis significatifs nécessitant un raisonnement avec des conditions et des relations non mentionnées.

#Génération de Réponses Gold

Pour déterminer les bonnes réponses automatiquement, un processus a été mis en place représentant le problème comme un problème logique, qui peut être résolu en utilisant des outils existants. Cela impliquait de créer une expression conjointe qui combinait les conditions de tous les documents pertinents à un scénario utilisateur, puis de dériver les réponses par raisonnement logique.

#Explication de la Performance

En utilisant des modèles de langage, nous avons évalué à quel point ils ont bien performé avec ce jeu de données. La tâche est difficile, mais fournir des indices sur les conditions a amélioré la précision des modèles tant pour les réponses courtes que conditionnelles. Cependant, même avec de l'aide, les modèles ont souvent du mal à raisonner efficacement à travers les complexités.

#Analyse des Erreurs

Une analyse des erreurs a révélé plusieurs problèmes clés.

#Analyse de la Réponse Courte

Les modèles ont souvent fait des erreurs courantes :

1. Réactions Excessives aux Signaux Négatifs : Les modèles sautaient parfois aux conclusions basées sur des détails négatifs, ignorant d'autres conditions satisfaites.

2. Mauvaise Interprétation : Les modèles pouvaient supposer à tort qu'un utilisateur ne remplissait pas une condition en raison d'une mauvaise lecture de son contexte.

3. Signaux Conflictuels : Les modèles ont eu du mal à reconnaître des conditions qui étaient conflictuelles, conduisant à des conclusions incorrectes sur l'éligibilité.

#Analyse de la Réponse Conditionnelle

Les erreurs dans les réponses conditionnelles comprenaient souvent :

1. Réponses Incomplètes : Les modèles manquaient des conditions non mentionnées qui étaient critiques pour la validation.

2. Informations Redondantes : Ils répétaient parfois déjà des conditions satisfaites.

3. Informations Incohérentes : Les modèles échouaient à s'assurer que les réponses restaient logiquement cohérentes, les conduisant à inclure des conditions non pertinentes.

#Conclusion

Cette étude souligne l'importance du raisonnement conditionnel dans divers domaines comme les bourses et les emplois. Elle montre comment les modèles actuels peinent avec des questions impliquant plusieurs documents et le besoin de solutions qui impliquent un raisonnement plus approfondi.

Nous espérons que ce jeu de données servira de tremplin pour des recherches futures explorant le raisonnement complexe dans différents champs.

#Travaux Futurs

Bien que cette étude se concentre principalement sur les bourses et les candidatures à des emplois, il existe de nombreux autres domaines où le raisonnement à travers plusieurs documents est essentiel. Élargir les domaines et explorer d'autres questions continuera à améliorer notre compréhension des capacités des modèles.

Investir sur comment le savoir extérieur affecte le raisonnement pourrait également éclairer des moyens d'améliorer ces modèles. Ce travail ouvre des portes à de futures études visant à affiner le raisonnement conditionnel dans l'apprentissage machine.