Examiner l'agentivité dans les modèles de langage

Les récentes améliorations des grands modèles de langage (LMs) ont conduit à des études sur leur performance dans différentes tâches linguistiques. Cependant, il n'y a pas beaucoup de recherches sur la façon dont ces modèles comprennent les liens entre les significations des mots et les structures de phrases plus larges, ce qui est important en syntaxe (la structure des phrases) et en sémantique (le sens des phrases). Cette étude se concentre sur un aspect spécifique du sens appelé "agentivité", qui examine le rôle d'un nom dans une action, spécifiquement s'il agit (agent) ou est agi (patient).

Pour enquêter là-dessus, un nouveau jeu de données de test a été créé en utilisant un groupe de verbes anglais pouvant être utilisés de deux manières : comme verbes Transitifs (qui nécessitent un objet) et comme verbes intransitifs (qui n'en nécessitent pas). L'objectif était de voir si les modèles de langage peuvent reconnaître l'agentivité en fonction du contexte et du rôle des noms dans les phrases.

#Le Rôle de l'Agentivité

L'agentivité fait référence au rôle des noms dans un événement. En anglais, certains verbes peuvent décrire à la fois un agent (quelqu'un qui fait quelque chose) et un patient (quelque chose qui reçoit une action). Par exemple, dans la phrase "Cet auteur écrit facilement", "auteur" est l'agent car il réalise l'action. En revanche, dans la phrase "Ce passage s'écrit facilement", "passage" est un patient car il n'est que le résultat de l'action. Ces distinctions sont importantes pour comprendre comment les phrases sont construites et comment nous transmettons le sens.

C'est intéressant de noter que, même si ces noms peuvent avoir des structures similaires, ils peuvent impliquer des significations différentes selon le nom utilisé. Les humains peuvent intuitivement comprendre ces rôles grâce à leur connaissance des significations des mots, mais est-ce que les modèles de langage peuvent faire de même ?

#Tests pour les Modèles de Langage

Pour répondre à ces questions, trois expériences ont été mises en place, chacune abordant différents aspects de l'agentivité et la capacité des modèles de langage à identifier ces rôles dans les phrases.

#Expérience 1 : Agentivité en Isolation

La première expérience a examiné si les modèles de langage pouvaient identifier si un nom est plus susceptible d'être un agent ou un patient sans contexte de phrase. Par exemple, pour les noms "auteur" et "passage", le modèle devait reconnaître que "auteur" est généralement un agent tandis que "passage" est un patient.

En comparant les prédictions du modèle avec les jugements humains sur ces noms, les chercheurs ont voulu voir dans quelle mesure le modèle comprenait l'agentivité par lui-même.

#Expérience 2 : Désambiguïsation de l'Agentivité

Dans la deuxième expérience, l'accent a été mis sur la capacité des modèles de langage à déterminer les rôles d'agent ou de patient pour les noms placés dans des phrases où le sens pouvait être ambigu. Par exemple, le modèle peut-il dire si le nom en position de sujet agit ou reçoit une action dans une phrase comme "Cet auteur écrit facilement" par rapport à "Ce passage s'écrit facilement" ?

Ici, le but était de tester si les modèles pouvaient appliquer leur compréhension de l'agentivité en fonction de la signification intrinsèque du nom et de sa position dans une phrase.

#Expérience 3 : Agentivité dans les Phrases Transitives

La troisième expérience a exploré à quel point les modèles de langage pouvaient identifier les rôles d'agent et de patient dans des phrases avec des structures syntaxiques claires. Dans ces phrases transitives, le modèle devait reconnaître que le sujet est toujours l'agent, et l'objet est toujours le patient.

Cette structure permet une correspondance directe entre la syntaxe et la sémantique, aidant à voir si la compréhension du modèle est cohérente à travers différents contextes.

#Collecte de Données et Méthodologie

Pour réaliser ces expériences, un ensemble de données de verbes et de leurs combinaisons de noms potentielles a été créé. Au total, 233 noms uniques ont été utilisés avec divers adverbes pour donner du contexte à chaque phrase. Les verbes sélectionnés étaient éventuellement transitifs, ce qui signifie qu'ils pouvaient agir comme transitifs ou intransitifs, permettant un examen plus clair de l'agentivité.

Des annotateurs humains ont été impliqués pour déterminer à quel point chaque nom est "agentif". Ils ont noté les noms en fonction de leur probabilité d'être des Agents ou des Patients. Ce processus a abouti à un ensemble de valeurs normalisées servant de base de comparaison avec les prédictions des modèles de langage.

#Résultats et Analyse

#Performance à Travers les Modèles

Les modèles de langage testés comprenaient différentes versions de GPT et BLOOM. Notamment, une version de GPT appelée "text-davinci-003" a obtenu de bien meilleurs résultats que les autres dans les trois expériences. Les résultats ont montré de fortes corrélations entre les prédictions du modèle et les jugements humains, indiquant que "text-davinci-003" avait une compréhension nuancée de l'agentivité.

#Expérience 1 : Efficacité de la Reconnaissance d'Agentivité

Dans la première expérience, les comparaisons des prédictions du modèle de langage ont indiqué qu'il pouvait généralement identifier quels noms étaient plus susceptibles d'agir comme agents ou patients. Le succès du modèle a été mesuré par rapport aux jugements humains, révélant qu'il a bien performé, en particulier avec les noms que les humains jugeaient avoir des rôles d'agent plus forts.

#Expérience 2 : Compréhension Contextuelle

Dans la deuxième expérience, les résultats ont montré que le modèle pouvait souvent désambiguïser les rôles d'agent et de patient lorsque les noms étaient placés dans un contexte. "Text-davinci-003" a montré une forte capacité à reconnaître le rôle du nom en fonction de sa signification, s'alignant bien avec les évaluations humaines. Cela a démontré une bonne compréhension de la connexion entre le sens des mots et la structure des phrases.

#Expérience 3 : Fiabilité dans les Contextes Transitifs

La dernière expérience a confirmé que "text-davinci-003" identifiait correctement les rôles d'agent et de patient dans des phrases transitives avec une grande précision. Le modèle était cohérent à travers différentes configurations des mêmes phrases, montrant qu'il comprenait les règles structurelles régissant l'agentivité dans les constructions transitives.

#Implications pour les Modèles de Langage

Les résultats de ces expériences soulèvent des questions sur les capacités des modèles de langage à comprendre des caractéristiques linguistiques complexes. Les résultats suggèrent que ces modèles, en particulier "text-davinci-003", ont une capacité considérable à saisir les nuances de sens dans le langage, notamment en ce qui concerne les rôles dans les actions.

Cette capacité ouvre des possibilités d'utilisation des modèles de langage dans des applications pratiques telles que le traitement du langage, la traduction, et même la recherche linguistique. Ils peuvent servir d'outils précieux pour analyser des textes, aider dans les tâches d'annotation et éclairer des théories sur le langage.

#Conclusion

En résumé, l'étude a souligné l'importance de comprendre comment les modèles de langage traitent l'agentivité et les relations entre les mots et les structures de phrases. Elle a démontré que des modèles comme "text-davinci-003" non seulement excellent dans des tâches linguistiques traditionnelles, mais montrent également un potentiel dans la compréhension des complexités du langage, comme les rôles d'agents et de patients.

Au fur et à mesure que les modèles de langage continuent d'évoluer, leur potentiel à aider dans la recherche linguistique et diverses applications en communication reste significatif. Les travaux futurs pourraient se concentrer sur l'élargissement de ces découvertes à d'autres langues et à des phénomènes linguistiques plus complexes, améliorant la capacité de ces modèles à s'engager avec les subtilités du langage humain.