Apprentissage des normes sociales par les machines

Dans les sociétés humaines, les gens suivent des règles et des Normes pour travailler ensemble. Ça les aide à vivre et à coopérer efficacement. La grande question est : comment on pourrait créer des Machines qui apprennent à suivre ces règles et à bosser avec les humains ? L'idée, c'est que si les machines savent qu'il y a des règles communes que la plupart des gens suivent, même si elles ne connaissent pas les détails, elles peuvent Apprendre quelles sont ces règles en observant.

Quand de nouvelles machines rejoignent un groupe, elles peuvent capter les règles existantes en regardant comment les autres agissent. Même si chacun commence avec des idées différentes sur les règles, elles peuvent quand même trouver un terrain d'entente. C'est super important parce que ça maintient l'ordre et aide tout le monde à agir de manière coopérative. Quand les machines apprennent ces règles et normes, elles peuvent devenir de meilleurs partenaires pour les humains.

#Le Problème de l'Apprentissage des Normes

Pour que les machines se comportent bien dans la société, il faut réfléchir à comment elles apprennent les normes sociales. Ces normes sont souvent des règles non dites qui guident le comportement. Les gens apprennent ces normes avec le temps et l'expérience. C'est un défi pour les machines, qui ont besoin d'une méthode systématique pour apprendre ces règles sans autorité centrale.

Un bon modèle d'apprentissage des normes devrait prendre en compte que les normes sont partagées par tout le monde mais apprises individuellement. Ça permet aux machines de s'adapter rapidement à de nouvelles situations sans avoir besoin d'ordres directs.

#Notre Approche de l'Apprentissage des Normes

Notre approche utilise une méthode appelée apprentissage bayésien, qui aide les machines à comprendre et à apprendre les normes sociales. On s'appuie sur des idées sur comment les humains travaillent ensemble et on suppose que les machines peuvent aussi supposer qu'il y a des règles partagées quand elles interagissent.

En observant quand d'autres enfreignent ou suivent les règles, les machines peuvent collecter des données et inférer quelles pourraient être les règles. Elles peuvent le faire en regardant les actions des autres machines et en mettant à jour leurs croyances sur ce qui est considéré comme un comportement acceptable ou inacceptable.

Une fois qu'une machine comprend les règles, elle peut choisir de les suivre soit parce qu'elle le veut, soit parce que ça a du sens pour ses objectifs. Quand beaucoup de machines commencent à suivre les mêmes règles, ça crée un système où ces règles sont renforcées et plus susceptibles de persister. Ce processus signifie que les nouvelles machines peuvent rapidement apprendre quelles sont les règles existantes.

#Comprendre les Normes dans les Systèmes Multi-agents

On introduit une nouvelle façon d'étudier comment les machines peuvent apprendre les normes en utilisant des systèmes multi-agents. Dans ces systèmes, plusieurs machines interagissent au fil du temps et doivent prendre des décisions en fonction de leur environnement. On se concentre sur comment elles peuvent apprendre à suivre les règles.

Chaque machine agit en fonction de ses objectifs tout en considérant les normes qu'elle pense que les autres suivent. Ce modèle aide les machines à apprendre à travailler ensemble, à maintenir leur compréhension des règles, et à converger autour de normes partagées même si elles commencent avec des croyances différentes.

#Comment les Machines Apprennent les Normes

Le processus d'apprentissage pour les machines est décomposé en plusieurs étapes. D'abord, les machines observent les actions des autres. Ça les aide à voir ce qui est considéré comme une norme. Les machines ont aussi besoin d'un moyen de représenter ces normes et de décider si elles s'y conforment en fonction de ce qu'elles ont appris.

Les machines peuvent avoir deux façons de planifier leurs actions : se concentrer sur les récompenses ou sur les Obligations. En mode axé sur les récompenses, les machines visent à obtenir le maximum de récompenses pour leurs actions tout en respectant les interdictions présentes. En mode axé sur les obligations, les machines prévoient de remplir certaines responsabilités qui peuvent durer dans le temps.

En alternant entre ces modes de planification, les machines peuvent naviguer efficacement dans des situations où elles doivent équilibrer leurs objectifs personnels avec les règles qu'elles ont apprises.

#Cadre pour l'Apprentissage des Normes

On introduit un cadre appelé Jeux de Markov Augmentés par les Normes (NMG) pour formaliser comment les machines peuvent apprendre les normes de manière systématique. Dans ce cadre, les machines prennent des actions dans des environnements spécifiques où leurs actions peuvent changer l'état de cet environnement au fil du temps.

Dans les NMG, chaque machine a ses propres objectifs mais doit aussi considérer les normes qui régissent leurs interactions. Ça veut dire que chaque machine utilise ses croyances sur les normes pour prendre des décisions. En prêtant attention à la fréquence à laquelle elles violent ces normes, les machines peuvent ajuster leur comportement pour mieux correspondre aux attentes des autres.

Le cadre NMG nous permet de modéliser comment les normes peuvent guider l'apprentissage et les processus de prise de décision des machines au fil du temps. Les machines peuvent utiliser ce cadre pour comprendre comment leurs actions sont influencées par des normes partagées et des désirs individuels.

#Représenter les Normes Sociales

Pour s'assurer que les machines peuvent apprendre efficacement les normes, on définit comment ces normes devraient être représentées. Les normes peuvent être considérées comme des règles qui interdisent certaines actions ou exigent certains comportements. Par exemple, une norme pourrait dire : "Ne prends pas de pommes s'il y en a trop peu à partager." Ou, "Si tu vois une rivière sale, tu es obligé de la nettoyer."

Ces normes peuvent être exprimées de manière structurée, permettant aux machines de les comprendre et de les mettre en œuvre. En représentant les normes dans un format logique, les machines peuvent apprendre quand les appliquer dans diverses situations.

#Planification pour se Conformer aux Normes

Une fois que les machines comprennent les normes, elles ont besoin d'un moyen de planifier leurs actions en conséquence. On décrit comment les machines peuvent planifier leurs actions sur la base des normes qu'elles ont apprises. Cela implique de décider quand maximiser les récompenses et quand remplir des obligations, en s'assurant qu'elles restent en ligne avec les règles.

L'interaction entre la planification axée sur les récompenses et celle axée sur les obligations permet aux machines d'agir efficacement tout en respectant les normes sociales qu'elles ont apprises.

#Apprentissage par Observation

Une méthode essentielle pour que les machines apprennent les normes est d'observer le comportement des autres. En regardant passivement les actions de machines expérimentées, elles peuvent commencer à déduire ce qui est considéré comme un comportement approprié. Ce processus s'appelle l'apprentissage passif des normes.

On a mené des expériences pour étudier à quelle vitesse et avec quelle efficacité les machines peuvent apprendre les normes simplement en observant les autres. Les résultats ont montré que les machines expérimentées enseignent efficacement aux nouvelles machines sur les normes, leur permettant de comprendre rapidement.

#Le Rôle des Normes Sociales dans la Coopération

Les normes jouent un rôle vital dans la création d'un environnement coopératif. Nos expériences ont démontré que lorsque les normes sociales sont en place, cela permet aux machines de travailler ensemble avec succès. En suivant les normes partagées, les machines peuvent obtenir de meilleurs résultats globaux et améliorer le bien-être collectif.

Cependant, toutes les normes ne mènent pas nécessairement à des résultats positifs. Certaines normes peuvent entraver la coopération, tandis que d'autres l'améliorent considérablement. Cela nécessite une considération attentive des normes qui sont bénéfiques et celles qui pourraient nécessiter des ajustements.

#Transmission des Normes à Travers les Générations

À mesure que les machines interagissent dans le temps, il est essentiel qu'elles maintiennent un ensemble stable de normes, surtout quand de nouvelles machines rejoignent le groupe. Ce concept est connu sous le nom de transmission intergénérationnelle des normes.

Nos études ont indiqué que lorsque les machines apprennent de leurs prédécesseurs, les normes peuvent être transmises avec succès. Un nombre suffisant de machines expérimentées est nécessaire pour aider les nouvelles machines à comprendre ces normes. S'il n'y a pas assez de machines expérimentées pour guider les nouvelles, les normes peuvent dériver ou être complètement perdues.

#L'Émergence des Normes

Le processus par lequel les normes émergent est complexe mais vital pour le comportement coopératif entre machines. Contrairement aux approches précédentes qui reposaient sur des punitions pour la conformité, notre modèle s'est concentré sur comment les machines peuvent adopter des normes partagées sans communication explicite.

À travers des interactions répétées et l'apprentissage par observation, les machines peuvent commencer à converger autour de croyances partagées sur les normes qui existent. Cette compréhension partagée peut favoriser une meilleure coopération et augmenter la stabilité du système normatif.

#Discussion

Construire des machines qui apprennent et se conforment aux normes sociales présente divers défis et opportunités. Notre travail montre comment les machines peuvent rapidement apprendre les normes par observation et les maintenir à travers une compréhension partagée. Le cadre que nous avons créé explique non seulement des aspects significatifs du comportement humain, mais fournit aussi un moyen pour les systèmes autonomes de mieux fonctionner dans la société.

#Directions Futures

Il reste encore de nombreuses questions à explorer dans l'apprentissage et la conformité des normes. Certains domaines d'investigation futurs incluent le rôle des punitions dans l'application des normes et comment les machines peuvent adapter les normes lorsque les circonstances changent.

Combiner différentes approches d'apprentissage, comme les méthodes basées sur des modèles et celles sans modèle, pourrait fournir de nouvelles perspectives sur la façon dont les machines peuvent apprendre et appliquer les normes efficacement.

De plus, comprendre comment représenter les normes de manière à encourager la flexibilité et l'adaptation peut conduire à des agents plus capables et normatifs. Cela pourrait inclure la possibilité pour les machines de raisonner sur les normes et quand les appliquer ou les adapter, un peu comme les humains le font.

En conclusion, notre recherche souligne l'importance de créer des machines qui non seulement adhèrent aux normes mais aussi les comprennent comme partie intégrante d'un tissu social. Cela pourrait finalement conduire à des systèmes autonomes plus responsables, coopératifs et efficaces.