Présentation de SRFUND : un nouveau jeu de données pour une meilleure compréhension des formulaires

Identifier et organiser le texte dans les formulaires est super important pour automatiser le traitement des documents. C’est surtout vrai pour comprendre les formulaires. Des jeux de données comme FUNSD et XFUND ont été utiles pour classifier les Entités et prédire les relations, mais ils se concentrent principalement sur les Annotations locales et au niveau des entités. Ça peut limiter notre capacité à comprendre pleinement la structure complexe des documents. Pour résoudre ce problème, un nouveau jeu de données appelé SRFUND a été introduit. Il est conçu comme une référence pour comprendre les formulaires avec une structure hiérarchique plus détaillée.

#C'est quoi SRFUND ?

SRFUND a été créé pour améliorer notre compréhension des formulaires en incluant des capacités multi-tâches. Ce jeu de données offre des annotations détaillées en plus des jeux de données FUNSD et XFUND. Il consiste en cinq tâches essentielles pour traiter les formulaires :

1. Fusionner les mots en lignes de texte.
2. Fusionner les lignes de texte en entités.
3. Classer les catégories d'entités.
4. Localiser les tableaux d'articles.
5. Récupérer la structure hiérarchique du document complet basé sur les entités.

Le jeu de données SRFUND a affiné les annotations pour combler les lacunes des jeux de données originaux. Il comprend huit langues : anglais, chinois, japonais, allemand, français, espagnol, italien et portugais. Cette diversité en fait une ressource précieuse pour comprendre les formulaires dans différentes langues.

#Le besoin d'une meilleure compréhension des formulaires

Chaque année, des gens et des entreprises dans le monde entier soumettent des milliards de déclarations fiscales et distribuent des centaines de milliers de colis, souvent accompagnés de factures et de bons de livraison. Ces formulaires varient en format mais servent d'outils essentiels pour échanger des informations et des biens à l'échelle mondiale. Numériser ces formulaires en texte structuré peut faire gagner de la place de stockage et faciliter le partage d'informations.

Avec la croissance de la technologie de traitement des documents, d’énormes progrès ont été réalisés dans ce domaine. Cependant, de nombreux jeux de données existants ne tiennent pas compte de la structure globale et hiérarchique des documents, ce qui limite leur efficacité pour comprendre les formulaires.

#L'approche multi-granularité

SRFUND adopte une approche multi-granularité pour les annotations, permettant une compréhension plus complète des structures de documents. Il est crucial d'avoir des annotations précises à divers niveaux, comme les mots, les lignes et les entités, pour saisir l'ensemble du sens du document.

Dans ce jeu de données, chaque image de formulaire est soigneusement annotée pour identifier les emplacements et le texte de chaque mot, ligne de texte et entité. Les entités sont divisées en quatre catégories : En-tête, Question, Réponse et Autre. De plus, les dépendances hiérarchiques entre les entités sont marquées, ce qui permet aux chercheurs de reconstruire efficacement la structure globale du formulaire.

#Annotations raffinées pour de meilleures données

Le jeu de données SRFUND corrige non seulement les erreurs trouvées dans les jeux de données précédents mais ajoute aussi des informations manquantes. Le processus de construction de ce jeu de données a impliqué plusieurs étapes :

1. Ajuster les boîtes englobantes de mots inexactes.
2. Fusionner des mots consécutifs en lignes de texte et les annoter en conséquence.
3. Annoter les entités avec des boîtes englobantes si elles s’étendent sur plusieurs lignes.
4. Catégoriser correctement les entités en fonction de leurs rôles dans les formulaires.
5. Identifier et marquer l'emplacement des tableaux d'articles dans les formulaires.

Ces annotations détaillées permettent à SRFUND de soutenir un éventail plus large de tâches, le distinguant des jeux de données antérieurs.

#Analyse complète du jeu de données

Le jeu de données SRFUND se compose de 1 592 images de formulaires, réparties également sur huit langues. Avec un total de 96 824 entités, 112 662 lignes de texte et 529 711 mots, le jeu de données est robuste et diversifié. Comme il couvre plusieurs langues, il répond au besoin de comprendre les formulaires à l'échelle mondiale.

De plus, le jeu de données construit soigneusement les relations entre les entités, créant une compréhension plus profonde de leurs rôles et interactions. SRFUND est le premier jeu de données à soutenir la récupération de la structure à un niveau global, en faisant une ressource innovante dans le domaine.

#Tests expérimentaux

Pour évaluer le jeu de données SRFUND, des expériences étendues ont été réalisées en utilisant divers modèles. Les modèles ont été divisés en trois catégories : uniquement vision, uniquement texte et multimodal. Chaque modèle a été testé sur les cinq tâches décrites plus tôt.

#Tâche 1 : Fusion de mot à ligne de texte

Cette tâche consiste à agréger des mots en lignes de texte. Les modèles uniquement vision ont rencontré des défis car ils se sont uniquement basés sur des indices visuels, tandis que les modèles uniquement texte ont eu des difficultés à cause du manque d'informations spatiales. Les modèles multimodaux, qui combinent des données visuelles et textuelles, ont beaucoup mieux performé.

#Tâche 2 : Fusion de ligne de texte à entité

La fusion des lignes de texte en entités repose fortement sur la compréhension du sens des mots. Ici, les modèles uniquement texte ont surpassé les modèles uniquement vision grâce à leur capacité à saisir les relations sémantiques entre les lignes.

#Tâche 3 : Classification des catégories d'entités

Dans cette tâche, les modèles classifient différents types d'entités dans les formulaires. Les modèles visuels pouvaient apprendre à partir des informations de mise en page pour aider à cette tâche. Les performances ont montré que les styles visuels pouvaient effectivement aider à identifier différents types d'entités.

#Tâche 4 : Localisation des tableaux d'articles

Localiser les tableaux d'articles dans les formulaires est assez difficile, car toutes les entités doivent être incluses pour réussir. Cette tâche variait en difficulté selon les langues, soulignant l'importance d'utiliser les bons modèles en fonction des caractéristiques spécifiques de chaque langue.

#Tâche 5 : Récupération de la structure hiérarchique

Récupérer la structure hiérarchique d'un document est essentiel pour une compréhension complète. Les modèles multimodaux ont montré des résultats prometteurs dans ce domaine, bénéficiant d'une base de données d'informations plus large.

#Conclusions générales

Les résultats des cinq tâches ont montré que les modèles reposant sur une seule modalité d'entrée ont eu des performances moins bonnes par rapport aux modèles multimodaux. Aucune approche unique n'a été supérieure pour tous les types de tâches, indiquant le besoin de stratégies sur mesure basées sur les exigences spécifiques de chaque tâche et de chaque langue. Cette constatation met en avant la complexité impliquée dans la compréhension des formulaires et suggère qu'une approche plus nuancée devrait être adoptée.

#Contributions de SRFUND

L'introduction de SRFUND apporte deux contributions significatives au domaine de la compréhension des formulaires :

1. Il établit une référence multilingue et multi-tâches complète pour la compréhension des formulaires, avec un accent sur la récupération de la structure hiérarchique.
2. Il présente de nouveaux défis et opportunités pour les chercheurs cherchant à mieux comprendre les structures complexes des formulaires.

#Directions futures

Le jeu de données SRFUND a le potentiel de servir de fondation pour des recherches continues dans le traitement des documents. Alors que le monde continue de numériser les informations, le besoin d'outils et de méthodes efficaces pour comprendre les formulaires ne fera que croître. SRFUND vise à soutenir cette nécessité en fournissant un jeu de données riche et diversifié.

Au fur et à mesure que les chercheurs explorent et développent de meilleures techniques pour comprendre les formulaires, des jeux de données comme SRFUND seront cruciaux pour guider ces avancées. L'avenir du traitement des documents s'annonce prometteur alors que plus d'attention est accordée aux détails complexes des structures de formulaires à travers diverses langues et mises en page.

#Conclusion

En conclusion, le jeu de données SRFUND représente une avancée significative dans la compréhension des formulaires. En s'attaquant aux limitations des jeux de données existants et en introduisant une approche multilayer pour les annotations, il offre une ressource précieuse pour les chercheurs et les praticiens. Avec son soutien diversifié aux langues et ses capacités complètes de récupération de structure, SRFUND est prêt à jouer un rôle vital dans le domaine en évolution du traitement des documents.

Alors que l'utilisation des formulaires continue d'être une partie essentielle de l'échange d'informations à l'échelle mondiale, les progrès des technologies de traitement soutenus par des jeux de données comme SRFUND contribueront grandement à l'efficacité et à la précision de la compréhension des formulaires. Les recherches en cours découlant de SRFUND ouvriront probablement la voie à d'autres innovations visant à simplifier les complexités associées au traitement des formulaires dans un monde multilingue.