LLMs et l'effet fan : une nouvelle perspective

Des études récentes sur l'intelligence artificielle, surtout celles qui concernent les grands modèles de langage (LLMs), commencent à montrer des ressemblances entre la façon dont ces modèles traitent l'information et la façon dont les humains pensent. Les chercheurs se sont intéressés à un truc appelé l'"effet de fan", un concept qu'on a trouvé à la base en science cognitive humaine. Cet effet fait référence à la manière dont notre mémoire et notre reconnaissance des concepts peuvent être influencées par le nombre d'éléments liés que nous avons appris. Plus on apprend sur un groupe lié d'éléments, plus ça peut prendre du temps pour les reconnaître ou se souvenir d'eux. Cet article explore si les LLMs, comme certains programmes d'IA avancés, présentent ce même comportement, en se concentrant particulièrement sur la façon dont l'Incertitude dans leurs prévisions pourrait changer.

#L'effet de fan chez les humains

L'effet de fan a été découvert par un psychologue qui a étudié la rapidité avec laquelle les gens pouvaient reconnaître des concepts quand on leur posait des questions. Quand les gens connaissent beaucoup d'éléments liés, leurs temps de réponse pour des tâches de reconnaissance peuvent ralentir, surtout s'ils sont questionnés sur un élément qui partage des caractéristiques avec beaucoup d'autres qu'ils ont déjà appris. Cet effet peut varier selon la façon dont les concepts sont présentés, par exemple à travers différents types d'objets ou en utilisant des images par rapport à du texte.

Une manière dont les chercheurs ont étudié l'effet de fan est d'examiner comment il varie selon différents contextes. Par exemple, quand les gens reconnaissent une personne associée à plusieurs endroits, leur temps de réponse est affecté différemment que quand plusieurs personnes sont reliées à un seul endroit. Des preuves suggèrent aussi que la façon dont l'information est présentée peut changer la force de l'effet de fan.

#IA et comportements cognitifs similaires à ceux des humains

Certaines zones de recherche en IA se concentrent explicitement sur la compréhension de la façon dont fonctionne la pensée humaine. D'autres, comme l'interaction humain-machine et la robotique, comptent sur la compréhension du comportement humain sans l'étudier directement. Si les LLMs peuvent imiter les processus de pensée humaine, ils pourraient être super utiles dans des applications conçues pour interagir avec les gens.

Les LLMs traitent l'information très différemment des humains. Ils utilisent des formules mathématiques et des réseaux qui ne ressemblent pas du tout au cerveau humain. Cependant, des études montrent que quand ils sont formés sur des données linguistiques humaines, ces modèles peuvent apprendre à refléter certains comportements cognitifs similaires à ceux des humains.

Comprendre ces comportements peut aider les chercheurs à appliquer les LLMs dans des cas concrets où ils interagissent avec les gens. Quand l'IA montre des traits humains, ça peut rendre la coopération entre humains et machines beaucoup plus fluide. Cependant, s'il y a de grandes différences dans la façon dont ils pensent, ça peut mener à des malentendus ou des erreurs.

#Recherche actuelle sur les LLMs et l'effet de fan

Cet article passe en revue diverses études qui ont examiné les LLMs pour voir s'ils montrent aussi des signes de l'effet de fan. Les chercheurs ont évalué plusieurs modèles populaires pour déterminer s'ils démontrent ce comportement, y compris en vérifiant si leur capacité de rappel est influencée par la Typicité des éléments appris pendant la formation. Les résultats ont indiqué :

1. Certains LLMs montrent un effet de fan basé sur la typicité des éléments.
2. Certains modèles ont présenté un effet de fan selon la fréquence d'apparition de certains éléments dans un contexte.
3. Quand l'incertitude dans les prévisions des modèles était supprimée, l'effet de fan a disparu.

Ces résultats suggèrent que certains modèles avancés se comportent de manière similaire aux humains en ce qui concerne la façon dont ils se rappellent des informations.

#Comprendre la typicité et son lien avec l'effet de fan

La typicité est un autre concept de la science cognitive, qui peut être expliqué comme notre tendance à reconnaître ou à rappeler plus rapidement des exemples plus communs d'une catégorie que des exemples moins communs. Par exemple, quand on demande si un rouge-gorge est un oiseau, une personne répondra probablement plus vite que si on lui demande si un pingouin est un oiseau, car les rouge-gorges sont des représentants plus typiques de la catégorie des oiseaux.

Le lien entre la typicité et l'effet de fan indique que les deux peuvent provenir du même processus cognitif sous-jacent. Autrement dit, l'effet de fan pourrait être un cas particulier de typicité, où la façon dont les humains reconnaissent et catégorisent l'information est modifiée selon combien d'éléments liés ils connaissent déjà.

#Réaliser des expériences pour évaluer les LLMs

Dans leur recherche, l'équipe a utilisé deux séries d'expériences pour déterminer si les LLMs montrent un effet de fan. La première expérience visait à voir si les prédictions faites par les modèles concernant la présence ou l'absence d'un élément pouvaient être influencées par la typicité de l'élément. La deuxième expérience se concentrait sur des scénarios en contexte où les éléments avaient été définis uniquement par leurs caractéristiques, pour voir si l'effet de fan apparaissait selon ce contexte plutôt que les données d'entraînement.

Les expériences ont montré que quand les LLMs étaient présentés avec une liste d'éléments, les modèles avaient tendance à prédire l'absence ou la présence selon la typicité des éléments. Dans les cas où l'incertitude a été supprimée, l'effet de fan a été perturbé, indiquant une influence claire de l'incertitude sur la façon dont ces modèles traitaient l'information.

#Résultats et comparaisons

Les chercheurs ont trouvé que certains LLMs comme Mistral et SOLAR montraient de forts comportements similaires à ceux des humains dans leurs réponses aux effets de fan. Ils ont comparé la performance de ces modèles à d'autres comme RoBERTa et GPT-2, notant que ce dernier ne montrait pas d'effets de fan significatifs.

Fait intéressant, les expériences ont aussi révélé que lorsque des éléments typiques étaient interrogés, les modèles montraient un comportement différent par rapport à quand des éléments moins typiques étaient présentés. Dans le cas de Mistral, des corrélations plus fortes ont été notées entre la typicité et les évaluations de probabilité des modèles, tandis que SOLAR a montré un schéma quelque peu différent.

Une découverte notable était que l'effet de fan était plus prononcé dans des contextes incertains, particulièrement quand il s'agissait d'évaluer des éléments supposés absents. Cela s'aligne avec le comportement humain, suggérant que la façon dont les gens gèrent l'incertitude pourrait être similaire à la manière dont les LLMs fonctionnent.

#Prochaines étapes pour la recherche

Il y a beaucoup de directions potentielles pour les recherches futures. Une suggestion serait de créer des listes d'éléments plus longues pour induire davantage d'incertitude et évaluer comment cela affecte les effets de fan des modèles. Ça pourrait aussi être bénéfique d'utiliser des identifiants plus uniques pour les éléments afin de renforcer les résultats autour des effets de fan différentiels.

Les chercheurs soulignent l'importance de simuler le temps entre l'apprentissage et la récupération que les humains vivent. De futures expériences pourraient explorer comment les LLMs réagissent à des degrés variables d'incertitude d'une manière qui imite la rétention de mémoire humaine dans le temps.

#Conclusion

Cette recherche marque une étape importante dans l'évaluation des LLMs pour des comportements cognitifs qui ressemblent à des processus humains. Les résultats indiquent que des modèles avancés comme Mistral et SOLAR ont appris à montrer des effets de fan basés sur l'information sur laquelle ils ont été formés. Cela ouvre de nouvelles possibilités tant pour le développement de l'IA que pour la compréhension de la cognition humaine.

En évaluant comment les LLMs peuvent montrer des traits similaires à ceux des humains, les chercheurs pourraient obtenir de meilleures idées sur la technologie et le comportement cognitif humain. À mesure que l'IA continue de se développer, cette connaissance pourrait mener à une collaboration plus efficace entre machines et gens dans diverses applications.