Les bizarreries des modèles de langue : erreurs et pistes de réflexion

Les grands modèles de langage (LLMs) sont des outils qui peuvent produire du texte en se basant sur des modèles appris à partir d'un tas de données. Mais que se passe-t-il quand ils se trompent ? On découvre qu'ils peuvent être assez fous dans leurs réponses. Cet article plonge dans le monde des LLMs pour examiner les façons étranges et parfois drôles dont ils se plantent.

#Évaluation des LLMs

On teste souvent les LLMs avec des questions à choix multiple. Pensez à un quiz où les modèles doivent choisir la bonne réponse. Quand on pose plusieurs fois la même question à ces modèles, ils ne donnent pas toujours la bonne réponse. Parfois, ils essaient de deviner parmi toutes les options, et d'autres fois, ils semblent s'accrocher à un seul choix erroné comme si c'était leur nouvelle garniture préférée de pizza.

Imaginez demander à un modèle de quelle couleur est le ciel. S'il est au top, il devrait surtout choisir "bleu". Mais s’il a une mauvaise journée, il pourrait dire "vert" ou "pois chiche".

#Remettre en question les réponses

Pour plonger plus profondément dans la manière dont les LLMs se plantent, regardons quelques tests réels avec un dataset appelé NeoSQuAD. Dans cette étude, on a pris neuf questions au hasard de ce dataset et on a demandé à un modèle, qu'on appellera Modèle A, d'y répondre. On a posé les questions 1 200 fois chacune, espérant voir quelles réponses il aimait le plus.

Surprise, certaines questions ont poussé Modèle A à choisir la même mauvaise réponse environ 99 % du temps ! Si c'était une personne, on pourrait dire qu'elle est figée dans ses manies. Du coup, on ne peut pas juste mettre toutes les erreurs sur le dos de données mal entraînées ; parfois, les modèles se comportent de manière bizarre.

#Choisir sans contexte

Mais ce qui est encore plus fou ? On peut demander à Modèle A de choisir une réponse sans lui donner de contexte ou de question du tout. Il choisit quand même ses favoris de manière non aléatoire. Certaines questions le poussent à choisir avec assurance, tandis que d'autres le font changer d'avis comme un gosse dans un magasin de bonbons.

On s'est demandé si d'autres modèles se comportaient comme Modèle A. Du coup, on a regardé sept modèles différents répondre à la même question. Les résultats ont montré que certains modèles aimaient la même mauvaise réponse autant que Modèle A. C’est comme un groupe d'amis qui s'accordent tous à dire qu'un film nul est le meilleur de tous les temps.

#Comprendre les erreurs

Quand on regarde comment les LLMs répondent aux tests à choix multiple, il devient clair que leurs mauvaises réponses sont plus révélatrices qu'on ne le pense. En adoptant une vue plus large, on peut voir des schémas dans la façon dont les modèles se font poser les mauvaises questions ensemble.

Par exemple, une évaluation appelée MMLU-Pro a plus de 12 000 questions. En voyant comment différents modèles répondent faussement, on peut mesurer à quel point ils sont réellement similaires. On pourrait penser que les différents modèles agiraient différemment, mais les données montrent qu'ils se plantent souvent de la même façon. Ça pourrait mener à une situation où combiner les modèles n'apporte pas une meilleure réponse-comme essayer de rendre un projet de groupe plus intelligent mais tout le monde finit juste confus.

#Regroupement de modèles

Après avoir analysé toutes ces réponses, on a pu regrouper les modèles selon leurs bourdes. Certains modèles se sont accrochés comme une famille bizarroïde, tandis que d'autres ont pris des chemins séparés. Par exemple, les modèles propriétaires, ceux qu'il faut payer, se comportaient souvent différemment des modèles open-source. C’est comme voir une différence entre la malbouffe et la gastronomie-les deux te remplissent, mais l'un a du style tandis que l'autre est... eh bien, un peu gras.

#Erreurs universelles

Maintenant, parlons de ce qu'on appelle "les erreurs universelles". Ce sont des questions qui laissent presque tous les modèles en galère. Sur toutes les questions dans MMLU-Pro, il y en a environ 160 que les 37 modèles se plantent. Du coup, on a demandé : est-ce qu'ils choisissent tous la même mauvaise réponse ?

C’est marrant parce que si on pense qu'ils devraient juste deviner aléatoirement et éparpiller leurs réponses, il y a une chance qu'ils tombent sur la même mauvaise réponse-comme tout le monde dans un jeu de trivia répondant "C" parce qu'ils pensent que c'est une lettre porte-bonheur.

Mais surprise ! On a découvert qu'ils tombent parfois d'accord sur la même mauvaise réponse. Cependant, c'est souvent parce que la question était mal conçue, pas parce qu'ils sont tous malins. C'est pas ironique, ça ?

#Dernières pensées sur les LLMs

Alors, qu'est-ce qu'on a appris de cette exploration dans les esprits des LLMs ? Ils ont un talent pour nous surprendre, parfois de bonnes manières et d'autres fois... eh bien, disons qu'ils ont leurs mauvais jours. Quand les modèles se plantent, ils le font souvent selon des schémas plus similaires qu'on ne s'y attendrait.

C'est presque comme s'ils avaient leurs petites manies et préférences. Si tu cherches des réponses précises, connaître ces schémas va t'aider. Mais si tu veux rigoler, demande-leur simplement de quelle couleur est le ciel !

Au final, les LLMs sont plus que de simples outils pour générer du texte. Ils reflètent les bizarreries et les défauts des données qu'ils apprennent. Qu'ils nous mènent à une grande réponse ou à une erreur hilarante, ils gardent les choses intéressantes. Et souviens-toi, la prochaine fois que tu poseras une question à ton modèle, il pourrait te surprendre avec sa réponse-qu'elle soit juste ou complètement à côté de la plaque.