Évaluer la perception des couleurs dans les modèles de langage

Les grands modèles de langage, comme le General Pre-trained Transformer (GPT), ont montré des compétences impressionnantes dans diverses tâches. Mais on n'est pas encore sûr de leur capacité à refléter fidèlement comment les humains perçoivent le monde. Des études passées ont examiné à quel point les réponses humaines s'alignent avec celles de ces modèles, trouvant un niveau d'accord pas mal. Pourtant, juste mesurer cet accord ne donne pas une image complète de la façon dont ces modèles s'alignent sur la compréhension humaine.

Pour approfondir, on a utilisé une méthode qui ne dépend pas d'étiquettes prédéfinies, en se concentrant sur la perception des Couleurs. On a comparé les préférences de couleurs des personnes à vision normale avec celles de deux modèles GPT-GPT-3.5 et GPT-4-en utilisant une sélection de 93 couleurs. Nos résultats suggèrent que la façon dont les humains perçoivent les couleurs s'aligne bien avec GPT-4, tandis que l'alignement avec GPT-3.5 est plus faible. Ça nous aide à voir à quel point ces modèles avancés peuvent saisir la perception humaine.

#Contexte

#Grands Modèles de Langage

Les avancées récentes dans les modèles de langage ont abouti à des outils capables de produire des réponses semblables à celles des humains face à divers prompts. La série GPT, par OpenAI, a attiré beaucoup d'attention, surtout grâce à sa capacité à communiquer comme une personne. Ces modèles ont montré des performances remarquables dans des tâches impliquant la compréhension et la génération de texte.

Mais une question clé demeure : à quel point ces modèles peuvent-ils refléter fidèlement les perceptions humaines ? Des recherches précédentes ont examiné la similitude entre les jugements humains et les réponses générées par les modèles GPT à travers différents sens, y compris la couleur et le son. Ce travail antérieur a montré une corrélation élevée, surtout avec les jugements de couleur, mais manquait d'une analyse structurelle approfondie pour comprendre la profondeur de cette similitude.

#Limites des Études Précédentes

Calculer simplement la corrélation ne montre pas toute la nature de la relation entre la perception humaine et les réponses des modèles. Par exemple, de hauts chiffres de corrélation peuvent indiquer que deux groupes s'accordent généralement, mais ne clarifient pas s'ils partagent des structures de compréhension plus profondes. Les méthodes passées s'appuyaient souvent sur des étiquettes prédéfinies, rendant difficile la détection de différences plus subtiles.

De plus, des valeurs de corrélation élevées ne déterminent pas si seuls des modèles complexes comme GPT atteignent ces résultats. Si des modèles plus simples, comme les espaces de couleur RGB ou LAB, produisent également de fortes corrélations avec les réponses humaines, la signification de la corrélation GPT-humain diminue.

#Notre Approche

Pour aborder ces limites, on a utilisé une nouvelle méthode computationnelle se concentrant sur l'évaluation des structures derrière les similitudes plutôt que sur des chiffres de corrélation bruts. Cette approche non supervisée analyse comment les couleurs sont perçues par les humains et les modèles de langage sans avoir besoin d'étiquettes correspondantes.

#Conception de l'Étude

Dans notre étude, on a recueilli des réponses de participants humains et les a comparées à celles produites par GPT-3.5 et GPT-4. On a spécifiquement choisi d'examiner les similitudes dans les perceptions des couleurs par une méthode permettant d'identifier des motifs correspondants sans directives prédéfinies. Cela impliquait de recueillir des données de personnes ayant une vision des couleurs normale et de celles ayant des déficiences de vision des couleurs.

Notre objectif était d'obtenir une compréhension plus claire de la façon dont les modèles reflètent la perception des couleurs humaines, que ce soit à un niveau basique ou de manière plus détaillée.

#Collecte des Réponses Humaines

On a recruté des participants via une plateforme en ligne. Notre étude a inclus 426 personnes ayant une vision des couleurs normale et 207 avec des déficiences de vision des couleurs. Chaque participant a jugé la similitude entre différentes paires de couleurs, fournissant des informations précieuses sur leur perception des relations de couleur.

L'expérience a été conçue pour garantir la qualité des données, en utilisant des vérifications d'attention et en exigeant que les participants répondent de manière cohérente à travers les essais. En contrôlant soigneusement qui participait, on visait à collecter des données de haute qualité pouvant être robustement comparées aux réponses des modèles.

#Collecte des Réponses des Modèles de Langage

On a utilisé les deux modèles GPT pour générer leurs perceptions de la similarité des couleurs. Chaque modèle a été invité à évaluer des paires de couleurs en utilisant une échelle spécifique. Les modèles GPT, incapables de traiter des entrées visuelles, se sont basés sur des descriptions textuelles des couleurs représentées par des codes HEX.

Grâce à des essais répétés, on a collecté des réponses qui nous permettraient de créer des matrices de similarité pour l'analyse. Cela nous permettrait de comparer comment les deux modèles classent les similarités entre les couleurs par rapport aux réponses des participants humains.

#Modèles d'Espace de Couleur

Pour contrôler la possibilité que les modèles GPT s'appuyaient sur des modèles d'espace de couleur établis pour générer leurs réponses, on a aussi créé des matrices de similarité basées sur les modèles RGB et LAB. Le modèle RGB mesure les différences de couleur en fonction de la distance dans un espace tridimensionnel, tandis que le modèle LAB utilise une formule spécifique pour calculer les différences de couleur.

Inclure ces modèles était essentiel pour s'assurer que les similitudes trouvées entre les réponses humaines et les modèles GPT n'étaient pas simplement un reflet des théories de couleur établies, mais indiquaient plutôt un alignement plus profond.

#Analyse des Structures de Similarité

#Analyse de Similarité Représentationnelle

Pour commencer à évaluer la similarité entre les matrices créées à partir des réponses humaines et GPT, on a effectué une analyse statistique en utilisant des corrélations de Spearman. Cette méthode nous a permis de déterminer à quel point les réponses des différents groupes correspondaient.

On a prêté une attention particulière aux connexions entre les groupes humains neurotypiques en couleur et les modèles GPT, ainsi qu'aux modèles d'espace de couleur. On a constaté que GPT-4 montrait la corrélation la plus élevée avec les réponses humaines, suggérant un alignement plus étroit dans la perception des couleurs.

#Alignement Non Supervisé

En plus de l'analyse de corrélation traditionnelle, on a utilisé une méthode d'alignement non supervisé. Cela a créé une opportunité pour une comparaison plus approfondie sans avoir recours à des étiquettes prédéfinies. En utilisant une technique connue sous le nom de transport optimal Gromov-Wasserstein, on a pu identifier des plans de transport qui alignaient les deux structures de similarité sans correspondances présumées.

Cette méthode non supervisée a révélé des similitudes structurelles et des différences complexes qui n'étaient pas évidentes dans les analyses de corrélation précédentes. Elle a mis en évidence comment les structures de similarité de couleur de GPT-4 étaient plus étroitement alignées avec les perceptions humaines que celles des modèles d'espace de couleur.

#Résultats

#Corrélations Entre les Groupes

À travers notre analyse, on a observé des corrélations notables entre les matrices de similarité dérivées des réponses humaines et des modèles. Les réponses du modèle GPT-4 ont montré une correspondance étroite avec celles des individus humains neurotypiques en couleur. Cette découverte laisse entendre que la représentation de la couleur par GPT-4 n'est pas seulement statistiquement similaire à la perception humaine, mais aussi significativement pertinente.

En revanche, GPT-3.5 a affiché un alignement plus faible avec les réponses humaines, indiquant une compréhension plus limitée de la similarité des couleurs. Les modèles RGB et LAB, bien qu'affichant une certaine corrélation, ne s'alignaient pas aussi étroitement avec les jugements humains, suggérant que les espaces de couleur établis peuvent ne pas capturer adéquatement les nuances de la perception humaine.

#Précision de l'Alignement Non Supervisé

Les taux d'appariement élevés atteints grâce à notre méthode d'alignement non supervisé ont encore mis en avant l'efficacité de cette approche. GPT-4 a démontré une précision d'alignement nettement meilleure avec les réponses humaines que GPT-3.5 ou les modèles d'espace de couleur. Cela soutient l'idée que GPT-4 a développé une compréhension plus avancée de la similarité des couleurs, reflétant étroitement les perceptions humaines.

#Représentations Visuelles

Pour visualiser ces résultats, on a créé des embeddings tridimensionnels des données de similarité des couleurs. Cela a permis une comparaison directe de la manière dont les couleurs se regroupent en fonction des réponses humaines par rapport à celles générées par les modèles GPT. L'alignement visuel a montré que les motifs de similarité pour GPT-4 correspondaient étroitement à ceux des participants humains, tandis que les modèles d'espace de couleur ne s'alignaient pas aussi bien.

#Discussion

#Implications des Résultats

Notre étude éclaire la capacité des grands modèles de langage à refléter la perception humaine, en particulier en ce qui concerne la couleur. Le fort alignement observé avec GPT-4 indique que ces modèles peuvent comprendre et reproduire efficacement des aspects de la perception colorée humaine.

Cette capacité offre un aperçu de la manière dont l'intelligence artificielle peut être utilisée dans des applications créatives et pratiques qui reposent sur la compréhension des expériences humaines. Cela ouvre également des pistes pour de futures recherches sur la manière dont ces modèles pourraient évoluer pour saisir d'autres modalités sensorielles.

#Directions Futures

Bien que notre focus ait été sur la similarité des couleurs, des recherches futures pourraient s'élargir pour inclure d'autres sens et des tâches plus larges afin de gagner une compréhension globale de la manière dont les modèles de langage comme GPT s'inscrivent dans la cognition humaine. Explorer comment ces modèles traitent les entrées visuelles en plus du texte pourrait également fournir des informations précieuses sur leur performance.

De plus, extraire et analyser directement les représentations internes des couleurs au sein de GPT-4 pourrait offrir des informations plus profondes sur sa compréhension des perceptions colorées.

#Conclusion

En résumé, notre recherche démontre que les grands modèles de langage, en particulier GPT-4, peuvent exhiber une capacité remarquable à imiter la perception des couleurs humaines. Grâce à l'utilisation de méthodes d'alignement non supervisées, on a identifié des correspondances structurelles nuancées que des analyses de corrélation traditionnelles négligeaient.

Ces résultats contribuent non seulement à notre compréhension des capacités de l'intelligence artificielle, mais encouragent également une exploration future de la relation entre la cognition humaine et les modèles d'apprentissage machine, posant les bases d'études plus complètes à travers diverses expériences sensorielles.