Présentation de FlowLearn : Un nouveau dataset pour comprendre les diagrammes de flux

Les diagrammes de flux sont des outils visuels qui aident à montrer des idées complexes de manière simple. Cet article présente le dataset FlowLearn, qui contient des diagrammes de flux conçus pour améliorer la compréhension de ces schémas par les ordinateurs. Le dataset se divise en deux parties principales : l'une avec de véritables diagrammes scientifiques et l'autre avec des diagrammes fictifs. La partie scientifique contient 3 858 diagrammes issus d'articles de recherche, et la partie fictive en compte 10 000 créés par un programme spécial.

Chaque diagramme du dataset est accompagné de notes sur ce qui est montré, y compris le texte dans les graphiques et des questions avec réponses y afférant. Même si de grands modèles combinant vision et langage ont bien performé dans d'autres tâches visuelles, leur capacité à comprendre les diagrammes de flux-qui sont importants pour la communication scientifique-n'a pas encore été pleinement testée. Le jeu de test FlowLearn est conçu pour mesurer à quel point ces modèles peuvent comprendre les diagrammes de flux.

Notre étude se penche de près sur plusieurs modèles de pointe, examinant où ils réussissent et où ils peuvent s'améliorer dans ce domaine moins étudié. Par exemple, dans des tâches avec des diagrammes de flux simulés, un modèle, GPT-4V, a réussi à compter correctement le nombre de cases dans 58 % des cas, tandis qu'un autre modèle, Claude, a été le meilleur pour lire le texte dans les diagrammes, atteignant 83 % de précision. Cependant, aucun modèle n’a été le meilleur dans chaque tâche, montrant qu'il y a encore beaucoup de progrès à faire.

Les diagrammes de flux aident à clarifier des processus et des idées complexes dans de nombreux domaines. Ces schémas rendent l'information plus facile à comprendre et à partager. Pour cet article, un diagramme de flux est défini comme un schéma qui montre une série d'étapes en utilisant des symboles standards comme des rectangles pour les actions et des flèches pour indiquer la direction.

Comprendre les diagrammes de flux, surtout dans les domaines de la vision par ordinateur et des modèles linguistiques, reste un nouveau domaine de recherche. Les ressources actuelles incluant des diagrammes de flux scientifiques sont limitées et fournissent souvent seulement des informations de base, rendant difficile l'évaluation complète des performances des modèles. Étant donné la complexité des diagrammes de flux, qui implique la Reconnaissance de texte, l'identification de différentes formes et de leurs connexions, et le suivi des relations entre les éléments, il est clair qu'on a besoin de meilleures ressources.

Notre première exploration de 208 diagrammes de flux d'un autre dataset a montré des résultats décevants lorsque testés avec un modèle de vision-langage, avec un score bas indiquant une mauvaise compréhension. Ce score faible était probablement dû au fait que les légendes fournies avec ces diagrammes étaient trop courtes ou basiques. Avec une longueur de légende moyenne de seulement neuf mots, il est difficile pour les modèles d'apprendre efficacement.

Pour améliorer cette situation, nous introduisons le dataset FlowLearn, qui vise à fournir des informations plus détaillées et utiles pour comprendre les diagrammes de flux. La partie scientifique possède 3 858 diagrammes collectés à partir d'articles de recherche, avec un contexte et un texte plus larges. La partie fictive consiste en 10 000 diagrammes créés à partir d'instructions de code spécifiques.

Cette deuxième partie ajoute de la profondeur en incluant des notes détaillées sur les éléments visuels, permettant une meilleure évaluation des performances des modèles sur des tâches spécifiques. Les deux parties sont également accompagnées de paires question-réponse pour soutenir encore plus l'entraînement et l'évaluation.

En plus de créer un nouveau dataset pour améliorer la compréhension des diagrammes de flux, cet article analyse les performances des modèles à la pointe de la technologie lorsqu'ils interprètent ces diagrammes. Nous avons trouvé des domaines significatifs à améliorer, sans qu'aucun modèle ne brille dans toutes les tâches. Dans les tâches centrées sur les diagrammes fictifs, GPT-4V a encore mené avec 58 % de précision dans le comptage des nœuds, mais différents modèles ont excellé dans différents domaines, soulignant la nécessité de développement supplémentaire.

Le dataset FlowLearn vise à fournir une meilleure base pour la recherche future, en améliorant l'interprétation des données visuelles et le raisonnement automatisé pour les diagrammes de flux. Ce travail est opportun, compte tenu des avancées rapides dans les modèles de langage et de vision.

#Vue d'ensemble du dataset FlowLearn

Le dataset FlowLearn offre deux sections principales : Diagrammes de Flux Scientifiques et Diagrammes de Flux Simulés. Ce dataset inclut diverses tâches utilisées pour évaluer à quel point les modèles comprennent et traitent les diagrammes de flux.

#Dataset de Diagrammes de Flux Scientifiques

Le Dataset de Diagrammes de Flux Scientifiques contient des diagrammes extraits d'une large gamme de papiers scientifiques. Pour créer cette partie, nous avons rassemblé 27 000 articles de recherche d'un dépôt public. À l'aide d'outils logiciels, nous avons extrait les figures et les principales informations.

Nous avons filtré ces figures à l'aide de mots-clés spécifiques souvent associés aux diagrammes de flux, comme "illustration" et "diagramme de flux". Nous avions pour but de capturer des images qui montrent clairement la structure des diagrammes de flux. Cet effort a abouti à une collection de 3 858 diagrammes extraits de 2 674 documents différents.

Chaque diagramme est accompagné d'informations détaillées sur sa source. Cela inclut le titre du papier et le texte qui apparaît dans les diagrammes. Nous avons utilisé un outil de reconnaissance de texte pour annoter tout le texte dans chaque diagramme, ce qui nous a permis d'évaluer diverses tâches liées à la compréhension des diagrammes de flux.

#Diagrammes de Flux Simulés

Les diagrammes de flux fictifs ont été développés pour renforcer la compréhension des diagrammes de flux au-delà de la simple légende. Ces graphiques ont été créés à l'aide d'un outil de codage qui transforme un texte simple en graphiques de diagrammes de flux.

Pour cette partie, nous avons généré 10 000 diagrammes de flux avec des caractéristiques variées, comme le nombre de cases et les types de connexions entre elles. Nous avons également sélectionné au hasard des couleurs pour l'arrière-plan et l'orientation des diagrammes de flux.

Chaque diagramme comprend des images dans des formats d'image standards et un code associé pour une manipulation plus facile. Des annotations détaillées identifient les éléments dans chaque diagramme, permettant une meilleure évaluation de leurs composants.

#Questions-Réponses Visuelles

Pour évaluer comment différents modèles comprennent les diagrammes de flux, nous avons créé des questions sur mesure pour chaque diagramme du dataset. Nous avons veillé à ce que ces questions soient suffisamment détaillées pour aider les modèles à donner des réponses précises.

Les tâches courantes dans les deux parties incluent :

• Reconnaissance de Texte : Demander aux modèles de trouver et de retourner un texte spécifique dans un diagramme de flux.
• Questions Vrai/Faux : Générer des déclarations liées au diagramme de flux et vérifier si les modèles les identifient comme vraies ou fausses.
• Tâches de Description : Inviter les modèles à résumer le contenu du diagramme de flux.

La section des diagrammes de flux simulés comprend également des tâches uniques comme :

• Générer du code décrivant la structure du diagramme de flux.
• Compter le nombre de cases et de flèches dans le diagramme de flux.

#Mise en Place de l'Expérience

Cette section décrit comment nous avons testé divers modèles en utilisant le dataset FlowLearn. Nous voulions voir à quel point ces modèles étaient efficaces pour interpréter les diagrammes de flux des deux parties du dataset.

Nous avons sélectionné les modèles en fonction de leurs classements d'un système d'évaluation bien connu. Nous avons accédé à certains modèles via des interfaces de programmation d'applications (API) et avons également testé plusieurs autres directement. Notre objectif était d'inclure les meilleurs modèles de différentes familles pour fournir une analyse complète.

#Métriques d'Évaluation

Pour mesurer les performances des modèles, nous avons catégorisé les tâches en trois groupes, chacun avec des méthodes d'évaluation spécifiques :

• Tâches de Précision : Celles-ci incluent la reconnaissance de texte et les tâches de comptage, où nous mesurons à quelle fréquence les modèles répondent correctement.
• Tâches de Description : Nous comparons les descriptions générées par les modèles par rapport à des références établies pour voir à quel point elles se rapprochent.
• Tâches de Génération de Code : Ici, nous vérifions si le code généré représente fidèlement la structure du diagramme de flux.

Pour chaque modèle évalué, nous avons calculé divers scores pour présenter un tableau clair de leurs capacités. Ces scores aident à comprendre à quel point chaque modèle performe sur différentes tâches.

#Résultats de l'Expérience

Dans cette section, nous partageons les résultats de nos tests sur les modèles concernant différentes tâches au sein du dataset FlowLearn. Chaque tâche a été conçue pour évaluer différents aspects de la performance des modèles.

#Tâches de Précision

Le premier groupe a examiné à quel point les modèles pouvaient répondre à des questions directes nécessitant des réponses précises. Nous avons fait plusieurs observations :

1. Pas de modèle idéal : Bien que Gemini-Pro-Vision ait généralement mieux performé pour les diagrammes de flux scientifiques, d'autres modèles, y compris GPT-4V, ont également montré de bons résultats dans des domaines spécifiques.
2. Réponses incorrectes : Certains modèles ont eu du mal à fournir des réponses pertinentes pour les questions Vrai/Faux, ce qui indique des problèmes de compréhension.
3. Difficultés de comptage : Les tâches de comptage étaient particulièrement difficiles pour la plupart des modèles, entraînant des scores plus bas dans ce domaine.

#Tâches de Description

Le deuxième ensemble de tâches a examiné comment les modèles pouvaient créer des descriptions des diagrammes de flux. Nous avons constaté que :

1. De nombreux modèles ont bien réussi à fournir des descriptions logiques mais ont souvent fait des erreurs sur les détails.
2. Les modèles performaient généralement mieux lorsqu'il s'agissait de décrire des diagrammes de flux plus simples.
3. Les descriptions plus longues avaient tendance à comporter plus d'erreurs.

#Tâches de Code Mermaid

Le dernier ensemble a évalué la capacité des modèles à transformer des diagrammes de flux en code. Ces tâches ont mis en évidence les défis auxquels les modèles ont été confrontés :

• De nombreux modèles ont eu du mal à produire du code correct.
• Les problèmes d'identification des éléments précis des diagrammes de flux ont conduit à de mauvaises performances.

#Travail Futur

Cette étude a identifié plusieurs domaines à développer pour élargir le dataset FlowLearn et mieux soutenir la recherche future :

1. Améliorations du jeu d'entraînement : Nous devons créer des déclarations Vrai/Faux pour les exemples de formation, pas seulement pour les tests, afin de renforcer l'apprentissage des modèles.
2. Augmenter la taille du dataset : Élaborer la collection de diagrammes de flux scientifiques au-delà de la limite actuelle améliorerait l'entraînement des modèles.
3. Améliorations des descriptions : Extraire plus de texte descriptif des documents pourrait fournir un contexte plus riche pour évaluer les descriptions des modèles.

#Conclusion

En résumé, nous avons introduit et évalué le dataset FlowLearn, qui vise à améliorer la compréhension des diagrammes de flux par les modèles. Nos tests ont couvert diverses tâches, révélant à la fois des forces et des faiblesses dans les performances des modèles. Alors que les modèles ont montré des promesses dans des tâches basiques comme la lecture de texte, ils ont peiné avec des exigences plus complexes telles que la génération de code.

Ce travail souligne un écart significatif dans les ressources actuelles destinées à la compréhension des diagrammes de flux. En fournissant des annotations détaillées pour les diagrammes de flux et en défiant les modèles de mieux les comprendre, nous espérons contribuer à des outils précieux pour la recherche et le développement futurs en raisonnement visuel et compréhension.