Est-ce que les machines peuvent résoudre des analogies comme les gosses ?

Quand tu penses aux gamins qui résolvent des énigmes comme "corps : pieds :: table : ?", tu te demandes peut-être si les machines, comme les grands modèles de langage (LLM), peuvent faire la même chose. Les enfants apprennent dès leur jeune âge à prendre ce qu'ils savent d'un exemple et à l'appliquer à un autre. Ils voient des motifs et peuvent résoudre des analogies, reliant des points qui laissent parfois même les adultes perplexes. Des études récentes suggèrent que, bien que les LLM puissent s'attaquer à certains problèmes d'analogie, ils ont du mal à généraliser leurs compétences en résolution de problèmes dans différents contextes aussi bien que les enfants.

#Qu'est-ce que le Raisonnement analogique ?

Le raisonnement analogique, c'est quand tu utilises ce que tu sais déjà sur une chose pour comprendre une autre situation. Par exemple, si tu sais qu'un corps a des pieds, tu peux comprendre qu'une table a des jambes. C'est une compétence fondamentale qui aide les humains à apprendre et à penser de manière créative. Les adultes dépassent souvent les enfants dans ces tâches, mais étonnamment, les gamins peuvent résoudre des analogies simples dès l'âge de trois ou quatre ans. Ils peuvent passer d'un type d'analogie à un autre assez facilement, ce qui n'est pas particulièrement le point fort des LLM, comme le montre la recherche récente.

#L'Étude

Dans notre étude, on voulait voir si les LLM pouvaient généraliser leurs compétences en résolution d'analogie de la même manière que les enfants et les adultes. On a demandé à des enfants, des adultes et des LLM de travailler sur des analogies de chaînes de lettres. Ces analogies sont basées sur le latin, le grec, et même une liste de symboles inventés pour tester comment les humains et les machines transfèrent leurs connaissances à de nouveaux contextes.

#Analogies de Chaînes de Lettres

La tâche d'analogie de chaînes de lettres fonctionne comme ça : si tu as "abc" qui change en "abd," à quoi devrait ressembler "pqr" ? Des changements similaires doivent être effectués pour résoudre le puzzle. Ce type de tâche est simple et repose sur des transformations de lettres de base que les humains réussissent généralement, car ils peuvent facilement identifier et appliquer des motifs.

#Qui a Participé ?

On a eu 42 enfants âgés de 7 à 9 ans, 62 adultes, et on a testé quatre LLM différents. Tous les participants ont eu le même ensemble de tâches sur trois types d'alphabets : latin, grec, et symboles.

#Comment Tout le Monde a Performé ?

#Adultes et Enfants vs. LLM

On s'attendait à ce que les adultes et les enfants gèrent l'alphabet latin sans problème, et on pensait que les LLM suivraient le rythme des adultes. Bien que de nombreux LLM aient bien performé avec l'alphabet latin, ils ont eu du mal avec l'alphabet grec, et leur performance a chuté de manière significative avec la liste de symboles. Cela a montré une différence clé : alors que les adultes et les enfants s'adaptaient bien, les LLM avaient du mal à s'adapter quand les choses devenaient moins familières.

#Résultats Globaux

En comparant les Performances à travers les différents alphabets, les enfants et les adultes ont montré des résultats similaires, performants de manière cohérente. Cependant, les LLM ont eu plus de difficultés. Il était clair que leur capacité à saisir des règles et à les appliquer de manière flexible manquait quand ils faisaient face à des changements dans les types de lettres ou de symboles.

#Pourquoi les LLM ne Peuvent-ils Pas Généraliser Comme les Enfants ?

#Les Parties Difficiles

Pour comprendre pourquoi les LLM avaient du mal à généraliser, on a examiné de près les tâches. Il s'est avéré que les règles plus complexes, comme reconnaître l'ordre des lettres, étaient les plus difficiles à suivre pour les LLM. Ils faisaient beaucoup mieux avec des tâches plus simples, mais ils avaient du mal avec des éléments nécessitant une compréhension plus nuancée des motifs.

#Vérification des Règles

On a essayé une version plus simple de la tâche, en se concentrant uniquement sur des règles spécifiques comme "la lettre suivante" ou "la lettre précédente." Les LLM ont réussi à bien répondre à ces questions dans une liste simple, mais quand on est revenu à des analogies nécessitant de mélanger et d'associer ces règles, ils ont de nouveau échoué. Cela suggère que les LLM excellent dans l'identification des motifs quand les conditions sont favorables, mais ne traduisent pas cette capacité à des tâches plus abstraites.

#Quelles Erreurs Ont-ils Fait ?

En analysant les erreurs faites par les enfants, les adultes et les LLM, on a vu des différences claires. Les enfants s'écartaient parfois des bonnes réponses, tandis que les LLM suivaient souvent un schéma plus prévisible d'erreurs. Fait intéressant, les LLM comptaient souvent sur une interprétation "littérale" des règles, tandis que les humains ne le faisaient pas. Cela montre qu'ils appliquent les règles apprises de manière rigide, ce qui peut limiter leur flexibilité.

#Conclusion

En résumé, bien que les LLM puissent résoudre des analogies simples de chaînes de lettres, leur capacité à généraliser à travers différents contextes n'est pas au même niveau que celle des enfants. Cela met en lumière une limitation dans leurs capacités de raisonnement par rapport aux humains. La capacité de s'adapter et d'appliquer des connaissances à de nouvelles situations semble être une caractéristique unique aux humains, indiquant qu'il reste encore du chemin avant que les machines ne puissent penser comme nous. Donc la prochaine fois que tu vois un enfant résoudre une énigme, rappelle-toi que leur cerveau fait quelque chose que les machines essaient encore de rattraper !