Évaluer les capacités des LLM avec des données structurées

Les grands modèles de langage (LLMs) comme GPT-3.5 et GPT-4 deviennent super populaires pour gérer des tâches liées au traitement du langage naturel. Ces modèles peuvent faire plein de trucs, ce qui les rend utiles dans plein de domaines. Mais il reste encore des doutes sur leur capacité à comprendre les données structurées, comme les tableaux. Les données structurées, c'est de l'info organisée qui facilite le traitement par les ordinateurs. Dans cet article, on va explorer comment les LLMs gèrent les tableaux, leurs points forts et les zones où ils peuvent galérer.

#Qu'est-ce que des tableaux structurés ?

Les tableaux structurés sont une manière d'organiser l'info, souvent trouvée dans des bases de données ou des feuilles de calcul. Chaque tableau est composé de lignes et de colonnes. Les lignes représentent des entrées spécifiques, tandis que les colonnes contiennent différentes catégories d'infos, comme des noms, des dates ou des chiffres. Ce format aide à organiser les données efficacement pour un accès et une analyse faciles.

Les tableaux peuvent prendre différentes formes, allant de listes simples à des arrangements plus complexes avec des cellules fusionnées, où deux cellules adjacentes sont combinées. Cette flexibilité peut poser des défis uniques. Par exemple, parfois les tableaux contiennent des données trop compactes qui peuvent embrouiller les LLMs qui essaient de les interpréter.

#Évaluer les LLMs sur les données de tableau

Pour déterminer à quel point les LLMs comprennent bien les tableaux, les chercheurs créent des benchmarks. Ces benchmarks aident à mesurer la capacité du modèle à gérer différentes tâches impliquant des données structurées. Un benchmark pourrait inclure des tâches comme compter le nombre de lignes et de colonnes, récupérer des valeurs spécifiques de cellules ou identifier des cellules fusionnées.

Dans notre étude, on a conçu un benchmark pour évaluer les capacités de compréhension structurelle (SUC) des LLMs. Notre benchmark comprenait plusieurs tâches spécifiques pour voir à quel point ces modèles peuvent comprendre les structures de tableau. On a ensuite testé ces tâches sur des LLMs populaires comme GPT-3.5 et GPT-4, notant que leur performance variait en fonction des choix d'entrée.

#Différentes tâches pour l'évaluation

#1. Partitionnement de tableau

Cette tâche aide à évaluer si un LLM peut déterminer où commence et où finit un tableau lorsqu'il apparaît avec d'autres textes. Par exemple, dans un paragraphe contenant à la fois une description et un tableau, le LLM doit correctement identifier les limites du tableau.

#2. Détection de taille de tableau

Ici, le LLM doit compter le nombre de lignes et de colonnes dans un tableau. Cette tâche qui semble simple révèle beaucoup sur la façon dont le modèle traite les informations structurelles.

#3. Détection de cellules fusionnées

Cette tâche vérifie si le LLM peut identifier des cellules dans un tableau qui ont été fusionnées. Les cellules fusionnées peuvent rendre difficile la compréhension de la structure globale du tableau, donc cette tâche est vitale.

#4. Recherche de cellule

Pour cette tâche, le LLM doit localiser la valeur d'une cellule spécifique dans le tableau. Si plusieurs cellules ont la même valeur, le modèle doit retourner leurs positions.

#5. Récupération de colonne et de ligne

Dans ces tâches, le LLM doit lister toutes les valeurs dans une colonne ou une ligne spécifique. Par exemple, si on donne un nom de colonne, le modèle doit retourner toutes les valeurs qui se trouvent sous cette colonne. De même, pour un index de ligne donné, le modèle doit retourner toutes les valeurs correspondantes.

#Méthodologie

Pour analyser comment les LLMs ont performé sur les tâches de benchmark, on a utilisé divers designs d'entrée. On s'est spécialement concentré sur la façon dont le format des tableaux influençait la performance du modèle.

Différents formats de stockage de tableaux, comme CSV, JSON ou HTML, présentent tous des défis uniques. Par exemple, un fichier CSV sépare les valeurs par des virgules, tandis que HTML utilise des balises pour structurer le contenu. On voulait voir si les LLMs pouvaient analyser correctement ces différents formats et lequel fonctionnait le mieux.

#Auto-prompting augmenté

Une méthode qu'on a explorée s'appelle le self-augmented prompting. Cette technique consiste à utiliser les connaissances internes du modèle pour améliorer ses réponses. En encourageant le LLM à d'abord générer des infos intermédiaires sur le tableau avant de répondre aux questions, on a constaté qu'il pouvait améliorer ses réponses de manière efficace.

En pratique, cela signifie prompt le modèle deux fois : le premier prompt demande des valeurs clés ou des plages dans le tableau, tandis que le second combine cette connaissance avec la tâche principale de fournir une réponse. Cette méthode aide à débloquer les capacités du modèle et le rend mieux structuré pour répondre aux questions.

#Résultats

Nos découvertes ont révélé plusieurs points clés sur la performance des LLMs sur les tâches tabulaires :

1. Une compréhension de base existe : Les LLMs ont certaines capacités fondamentales pour comprendre les structures de tableau, mais ce n'est pas parfait. Par exemple, ils galèrent avec des tâches simples, comme compter le nombre de lignes.

2. Importance du design d'entrée : Le choix du design d'entrée influence énormément la capacité du modèle à comprendre les données structurées. Différentes combinaisons de formats et de prompts ont montré des différences notables en performance.

3. Le self-augmented prompting est efficace : L'introduction du self-augmented prompting a systématiquement conduit à de meilleurs résultats. En exploitant leurs connaissances internes, les LLMs pouvaient générer des réponses plus précises comparé à l'utilisation de prompts standards seuls.

#Métriques de performance

La performance des LLMs a été mesurée en termes de précision sur diverses tâches. Par exemple, en utilisant le langage de balisage HTML avec des explications appropriées et des prompts de rôle, les modèles ont atteint la plus haute précision. En revanche, l'utilisation de formats plus simples comme le texte brut a conduit à de moins bons résultats.

Intéressant, les LLMs ont performé beaucoup mieux dans des réglages "one-shot" que dans des scénarios "zero-shot". Dans le prompting one-shot, le modèle avait accès à un seul exemple pour le contexte, ce qui a aidé à améliorer la précision de manière spectaculaire.

#Défis et limitations

Malgré le potentiel des LLMs, certains défis demeurent :

• Structures complexes : La variabilité des structures de tableau signifie que les modèles peuvent bien performer sur des ensembles de données simples mais galérer avec des formats plus complexes.

• Récupération de connaissances : La capacité des LLMs à récupérer des infos pertinentes avec précision à partir de tableaux dépend beaucoup de leur compréhension de la structure. Si le modèle interprète mal la façon dont les données sont disposées, il peut donner des réponses incorrectes.

• Données d'entraînement : L'efficacité des LLMs est aussi liée à la qualité et à la diversité de leurs données d'entraînement. Si un modèle n'a pas été exposé à certains formats de tableau pendant son entraînement, il peut ne pas bien performer sur des tâches les impliquant.

#Directions futures

L'exploration des capacités des LLMs avec des données structurées est un effort continu. Les futures recherches peuvent se concentrer sur l'amélioration de la façon dont ces modèles interprètent divers formats de données et traitent des structures plus complexes.

De plus, améliorer les méthodes d'entraînement pour inclure des exemples plus divers peut aider à équiper les LLMs avec les connaissances dont ils ont besoin pour mieux performer sur des tâches tabulaires. Explorer de meilleurs designs d'entrée et méthodes de prompting peut donner des idées sur l'optimisation de la performance des LLMs.

#Conclusion

En gros, les grands modèles de langage montrent de la promesse pour gérer des données structurées, en particulier avec les tableaux, mais il y a encore du chemin à faire. En utilisant divers benchmarks et en testant différents designs d'entrée, les chercheurs peuvent obtenir des insights sur l'optimisation des capacités de ces modèles. L'utilisation du self-augmented prompting a montré un potentiel significatif pour améliorer la compréhension des tableaux, marquant un pas en avant dans l'exploration continue de la façon dont les LLMs peuvent mieux comprendre les données structurées.

Avec la recherche et le développement en cours, il y a de l'espoir pour des LLMs plus efficaces et fiables qui peuvent s'attaquer à un large éventail de tâches impliquant des données structurées.