Que signifie "Taxi"?

Table des matières

Taxi est un nouvel outil conçu pour vérifier à quel point les modèles de langage, comme les chatbots, comprennent et gardent les infos cohérentes. Quand les gens apprennent quelque chose de nouveau, ils le relient souvent à des trucs qu'ils savent déjà. Par exemple, si quelqu'un apprend qu'un korat est un chat, il sait aussi que c'est un mammifère et qu'il a des griffes.

Cet outil, appelé Taxi, se concentre sur le fait que, quand un modèle de langage est mis à jour avec de nouveaux faits, ces faits s'intègrent correctement avec ce qu'il sait déjà. Il évalue l'efficacité de ces mises à jour en posant plein de questions au format QCM.

Taxi comprend 11 120 questions liées à 976 changements sur divers thèmes, comme les types d'animaux et leurs caractéristiques. Les objectifs principaux sont de voir si les modèles peuvent garder les infos cohérentes après avoir été mis à jour.

Les premiers résultats montrent que même si les modèles peuvent garder une certaine cohérence, ils ne font pas aussi bien que les humains. En plus, les modèles réussissent mieux à maintenir la cohérence quand ils traitent de sujets moins courants.