Améliorer la résolution de problèmes mathématiques avec des éléments visuels

Les grands modèles de langages (LLMs) sont devenus des outils super importants pour résoudre des problèmes de maths. Ces modèles comprennent et gèrent assez bien les problèmes basés sur du texte. Cependant, beaucoup de modèles de langages multimodaux (MLLMs) qui se concentrent sur les maths traitent surtout de la géométrie, passant à côté de la richesse visuelle qu'on trouve dans d'autres domaines des maths. Cet article discute de la nécessité d'une nouvelle approche qui prenne en compte une plus large gamme d'Informations visuelles pour améliorer la capacité des modèles à résoudre divers problèmes mathématiques.

#Le défi

Les MLLMs mathématiques spécialisés d'aujourd'hui utilisent souvent des ensembles de données limités pour l'entraînement. Ces ensembles proviennent généralement de sources publiques et ne couvrent pas une large variété de problèmes. En conséquence, les modèles galèrent quand ils sont confrontés à des questions complexes, surtout celles qui nécessitent un contexte visuel.

Par exemple, environ 63 % des questions de maths dans l'éducation K12 en Chine impliquent des éléments visuels. Cela souligne le besoin pour les modèles d'utiliser des informations visuelles en plus du texte pour mieux comprendre et résoudre les problèmes.

#La solution

Pour régler ces soucis, on a développé un nouvel ensemble de données pour le fine-tuning et une série de MLLMs mathématiques spécialisés. Cette approche implique un Supervised Fine-Tuning (SFT) sur un ensemble de données diversifié rempli de différents problèmes mathématiques. On a aussi conçu des expériences pour tester comment ces modèles performent avec et sans entrées visuelles.

Notre but est de voir si l'utilisation d'informations visuelles facilite la résolution de problèmes mathématiques. Les résultats de nos tests montrent qu'inclure des images booste significativement la capacité des modèles à résoudre des problèmes difficiles.

#État actuel des MLLMs

Les progrès récents dans les modèles de langage ont montré à quel point ils peuvent être efficaces pour résoudre des problèmes de maths. Des modèles comme GPT-4 et d'autres ont bien performé sur des ensembles de données mathématiques. Cependant, la plupart de ces modèles s'appuient encore beaucoup sur le texte. Cette dépendance limite leur capacité à traiter des problèmes qui nécessitent un contexte visuel.

#Informations visuelles dans les problèmes de maths

Les éléments visuels jouent un rôle crucial dans de nombreuses questions de maths. En réalisant des expériences qui comparent des modèles utilisant des entrées visuelles à ceux qui n'en utilisent pas, on a trouvé que les modèles performent beaucoup mieux quand ils peuvent traiter des images. Les résultats montrent clairement que le contexte visuel est essentiel pour une résolution efficace des problèmes en maths.

#Développement des nouveaux modèles

On a créé un modèle de langage multimodal spécialisé conçu pour intégrer l'information visuelle et l'analyse textuelle. Nos modèles peuvent gérer des problèmes de maths complexes qui incluent des éléments visuels. Dans nos expériences, on a comparé la performance des modèles avec et sans entrées visuelles. Les résultats indiquent clairement qu'inclure des informations visuelles mène à de meilleurs résultats.

#Création d'ensemble de données

Pour améliorer les modèles, on a construit un ensemble de données pour le fine-tuning qui inclut à la fois des données open-source et nos données chinoises spécialement sélectionnées provenant de l'éducation K12. Cet ensemble couvre divers sujets mathématiques comme l'arithmétique, l'algèbre, la géométrie, les statistiques, et plus encore. Il incorpore à la fois des entrées textuelles et visuelles et comprend différents types de questions, garantissant une large gamme de problèmes pour que les modèles puissent résoudre.

Après avoir créé cet ensemble de données, on a affiné nos MLLMs mathématiques sur différents modèles de base pour tester et améliorer leurs compétences en résolution de problèmes.

#Configuration de l'expérience

Pour évaluer nos nouveaux modèles, on a utilisé plusieurs ensembles de données de référence publics ainsi que notre ensemble de données spécialement élaboré. On a comparé nos modèles à d'autres MLLMs bien connus pour voir comment ils performent à résoudre des problèmes de maths, surtout ceux incluant des informations visuelles.

Notre évaluation a utilisé la précision top-1 pour mesurer les performances de nos modèles sur différents ensembles de données. Les résultats ont montré que notre nouvelle approche améliore significativement la capacité des modèles à comprendre et résoudre des questions mathématiques complexes.

#Évaluation des performances

Dans nos tests avec les ensembles de données de référence publics, on a trouvé que nos nouveaux modèles se comportaient remarquablement bien par rapport aux modèles existants. Les résultats ont montré que nos modèles ont atteint des améliorations notables par rapport à leurs modèles de base et ont même surpassé plusieurs modèles mathématiques spécialisés open-source.

Par exemple, sur les tâches de résolution de problèmes de géométrie, nos modèles ont montré des gains d'exactitude substantiels par rapport aux modèles existants, prouvant leur efficacité à gérer des questions mathématiques complexes.

#L'importance des données diversifiées

Nos résultats soulignent l'importance des ensembles de données diversifiés dans l'entraînement des modèles. Les problèmes de haute qualité que nous avons intégrés dans notre ensemble de données, complets avec des solutions étape par étape, ont grandement contribué à l'amélioration des performances de nos modèles. De plus, nos modèles ont pu surpasser même des LLM avancés comme GPT-4V dans des situations difficiles, montrant leur capacité à gérer des problèmes mathématiques complexes.

#Capacités de généralisation

En plus de résoudre des problèmes de maths, on a aussi testé nos modèles sur des tâches de compréhension générale vision-langage. Cette étape était nécessaire pour s'assurer que nos modèles pouvaient interpréter et analyser efficacement des informations dans différents contextes. Les résultats ont indiqué que, même si nos modèles excellaient en raisonnement mathématique, ils maintenaient aussi de solides capacités de généralisation.

#Analyse des erreurs

Pour améliorer encore nos modèles, on a analysé les types d'erreurs qu'ils commettaient. On a identifié plusieurs catégories d'erreurs communes, y compris des erreurs de raisonnement, des erreurs de connaissance, des erreurs de reconnaissance visuelle, et des erreurs de calcul. Comprendre ces erreurs nous aide à identifier les domaines à améliorer.

#Améliorations potentielles

On a reconnu qu'aborder les erreurs de raisonnement et de reconnaissance visuelle améliorerait considérablement les performances globales de nos modèles. En affinant les capacités de traitement du langage naturel de nos modèles et en améliorant la reconnaissance visuelle, on peut travailler vers une meilleure précision dans la résolution de problèmes mathématiques.

#Conclusion

Les avancées que nous avons réalisées dans le développement de MLLMs capables d'intégrer des informations visuelles et textuelles marquent un pas en avant significatif dans la résolution de problèmes de maths. En se concentrant sur des ensembles de données diversifiés et en abordant les lacunes des modèles existants, on a créé une série de modèles qui montrent une compétence bien supérieure pour s'attaquer à des défis mathématiques complexes.

Alors qu’on continue à améliorer ces modèles, notre objectif est d'augmenter encore leurs capacités, en faisant d'eux des outils fiables pour les éducateurs, les étudiants, et tous ceux qui cherchent à résoudre efficacement des problèmes mathématiques.