Améliorer l'extraction d'infos avec la technique de ciblage des prompts

Les progrès récents dans les grands modèles de vision et de langage ont changé notre façon d'extraire des infos des documents. Ces modèles ont amélioré la manière dont les entreprises et les industries créent des systèmes pour répondre à des questions basées sur des images de documents. Ils sont vraiment bons pour transformer des images en texte et donner des réponses précises. Par contre, il y a des défis quand on essaie d'utiliser ces modèles pour créer des systèmes de conversation efficaces. Les méthodes de demande habituelles qui marchent pour les modèles de langage standards ne s'adaptent souvent pas bien à ces modèles de langage visuel. Les réponses aux demandes générales peuvent être floues et manquer de détails importants par rapport au contenu réel du document. Il faut une approche plus ciblée pour obtenir des réponses spécifiques et précises du modèle.

#Technique de Demande Ciblée

Une méthode proposée s'appelle "Demande Ciblée." Cette technique se concentre sur le fait de guider le modèle vers des parties spécifiques d'une image de document, ce qui lui permet de générer des réponses qui concernent seulement ces sections. Le papier discute de comment cette méthode peut améliorer l'extraction d'infos à partir d'images de documents.

#Importance de l'Extraction d'Infos

L'extraction d'infos à partir de grands documents et rapports grâce à des modèles de langage avancés a vraiment amélioré la manière dont le savoir est partagé et accessible. Beaucoup de domaines envisagent d'utiliser ces modèles pour leurs applications, ce qui mène au développement de systèmes alimentés par l'IA qui facilitent l'accès à l'information pour les utilisateurs.

Ces modèles sont bons pour apprendre des infos factuelles. Par contre, ils ont du mal à utiliser efficacement ce savoir. Pour surmonter ces limites, des pipelines RAG ont été introduits. Ces pipelines combinent une base de connaissances avec le modèle, ce qui élargit sa mémoire et les informations dont il peut tirer parti sans dépendre uniquement de sa capacité à apprendre.

Les systèmes RAG sont conçus pour trouver rapidement des informations pertinentes basées sur des requêtes utilisateur. Ils utilisent des bases de données vectorielles, qui stockent des données sous forme d'embeddings vectoriels. Le processus commence avec un encodeur qui transforme les données textuelles en ces formats vectoriels. Un récupérateur va ensuite chercher les parties pertinentes dans le magasin vectoriel pour aider le modèle de langage à générer des réponses aux requêtes.

#Pipelines RAG et Leur Fonction

L’efficacité des systèmes RAG dépend de la manière dont les données sont traitées et organisées dans les bases de données vectorielles. Pour gérer de grands documents, c'est crucial que l'extracteur de données fonctionne bien. La précision avec laquelle le système peut extraire des infos des documents influence la qualité des réponses fournies par le modèle de langage. Plus les informations extraites sont proches de ce qui est dans les documents, meilleures seront les réponses.

Les outils de parsing de documents standards fonctionnent bien pour les documents où le texte est tapé. Cependant, des défis apparaissent lorsqu'il s'agit d'extraire des infos à partir de documents basés sur des images, où le texte est intégré dans des images. La Reconnaissance Optique de Caractères (OCR) peut convertir des images scannées en texte numérique mais elle a souvent du mal à distinguer des caractères similaires, ce qui entraîne une perte d'infos.

Les documents complexes avec du texte intriqué sont difficiles à interpréter. C’est là que les systèmes multimodaux brillent, car ils font un meilleur travail d'extraction d'infos. Bien que les modèles de langage visuel soient supérieurs, il y a encore des problèmes pour leur donner des instructions précises afin d'obtenir les infos dont on a besoin. Les demandes générales peuvent aider à obtenir un résumé de l'image, mais échouent souvent à fournir des réponses complètes et détaillées.

#Le Problème avec la Demande Générale

Quand on utilise des demandes générales, les réponses tendent à être larges et englobent la signification générale de l'image du document. Si l'intention est de saisir juste l'idée principale, une demande de description générale suffit. Cependant, quand les utilisateurs cherchent des réponses détaillées, la sortie générée manque souvent d'infos spécifiques, ce qui crée des écarts entre la réponse du modèle et le contenu original.

Le schéma de génération de réponses vagues est courant dans la majorité des documents utilisés lors des expériences. Les résultats fusionnent souvent tous les détails en un seul bloc de texte, ce qui n'aide pas les utilisateurs qui recherchent des infos spécifiques.

#Avantages de la Demande Ciblée

La demande ciblée aborde le problème de l'extraction d'infos spécifiques. En dirigeant le modèle à se concentrer sur une zone particulière de l'image du document, les réponses peuvent être plus précises. Cette méthode permet au modèle de répondre à des questions basées sur des parties identifiées du document, plutôt que de résumer toute l'image.

Avec des questions ciblées visant des segments distincts d'images de documents, comme des tableaux ou des diagrammes, les réponses deviennent plus claires et plus précises. La qualité de l'image joue un rôle significatif ; les images haute résolution donnent généralement de meilleurs résultats que celles de moindre qualité.

Des expériences sur différents types de documents, y compris des tableaux, des infographies et de longues sections de texte, ont montré que les modèles fonctionnaient exceptionnellement bien quand on posait des questions spécifiques adaptées aux besoins. La technique de demande ciblée a montré un grand potentiel pour rendre le processus d'extraction d'infos plus précis et gérable.

#Conception Expérimentale

Le processus commence avec une image et une demande qui guide le modèle pour générer du texte à partir de l'image du document. Un ensemble de données d'images de documents open-source est utilisé pour l'expérimentation. Le but n'est pas de faire un benchmark du système mais de démontrer une méthode efficace pour diriger le modèle dans l'extraction d'infos.

Le modèle choisi, Phi-3-vision-instruct, est un modèle multimodal qui traite à la fois des images et des demandes textuelles, générant des sorties textuelles. Il se compose de deux composants principaux : l'Encodeur d'image et le décodeur transformateur. L'encodeur d'image, CLIP ViT-L/14, traite le contenu visuel de l'image d'entrée, et le décodeur transformateur, Phi-3-mini-128k-instruct, génère du texte basé sur les entrées visuelles et textuelles combinées.

L'ensemble de données pour l'expérience se compose d'environ 1900 lignes d'images, de demandes et de métadonnées associées. Un sous-ensemble d'images de haute qualité a été soigneusement sélectionné pour assurer la clarté et la résolution, et ces images sont associées à des demandes spécifiques qui ciblent certaines informations.

#Processus d'Extraction d'Infos

La fonction d'extraction commence avec le modèle et le processeur initialisés avec l'image et la demande. Le processeur gère le traitement de l'image et la tokenisation, tandis que le modèle génère des réponses. L'extraction fonctionne en boucle sur les images sélectionnées et évalue les résultats basés sur les requêtes des utilisateurs.

La demande d'entrée combine à la fois la requête de l'utilisateur et la demande du système, s'assurant qu'elle est au bon format pour la fonction d'extraction. L'expérience se concentre spécifiquement sur des images de documents qui comprennent des tableaux et des rapports avec des graphiques. En raison d'images en double, seules quelques unes sont utilisées pour les tests.

#Le Rôle de la Demande Générale

La demande générale est une méthode utilisée pour guider un modèle pré-entraîné à réaliser de nouvelles tâches en fournissant des instructions claires. Pour des réponses à des questions ciblées ou l'extraction de données, la demande doit être ajustée pour la partie spécifique du document dont l'information est nécessaire.

Quand des demandes générales sont utilisées, les réponses générées couvrent le sens global de l'image. Si l'objectif est de comprendre l'idée générale, une description générale suffit pour le contexte. Cependant, des descriptions détaillées aboutissent souvent à des infos incomplètes, mettant en évidence la différence entre le contenu généré et le document original.

#L'Efficacité de la Demande Ciblée

La demande ciblée améliore significativement l'extraction d'infos ciblées. En direction explicite du modèle pour décrire certaines parties d'un document, on peut obtenir de meilleures performances. Cette approche ciblée permet d'extraire des réponses précises sans contenu inutile.

Les questions ciblées visent des régions spécifiques dans l'image du document, comme des graphiques ou des segments de tableau. Cela produit des réponses plus claires et plus précises, alignées avec les réponses attendues. Les résultats dépendent aussi de la qualité de l'image : une meilleure résolution conduit à de meilleurs résultats.

Quand différents types de documents ont été testés, y compris des diagrammes et des tableaux, les modèles ont montré un succès remarquable lorsqu'on leur posait des questions spécifiques. Se concentrer sur une zone désignée d'une image et extraire des infos uniquement de cette section améliore grandement la performance et la précision du modèle.

#Conclusion et Travaux Futurs

La méthode de demande ciblée permet un meilleur contrôle sur les réponses générées par le modèle de langage visuel, Phi-3-vision-instruct. Même si les résultats ne sont pas toujours parfaits, ils représentent une amélioration significative lors de l'extraction d'infos à partir de sections spécifiques d'images.

Il y a encore des possibilités d'améliorer les réponses du modèle et d'augmenter la précision, mais cela nécessite des tests et une évaluation supplémentaires avec des ensembles de données plus complexes. Les travaux futurs visent à élargir l'ensemble de données et à continuer les expériences pour évaluer la performance et la précision de cette méthode sur des documents de plus en plus complexes.