Las máquinas aprenden normas sociales

En las sociedades humanas, la gente sigue reglas y Normas para trabajar juntos. Esto les ayuda a vivir y cooperar de manera efectiva. La gran pregunta es: ¿cómo podemos crear Máquinas que aprendan a seguir estas reglas y trabajar con las personas? La idea es que si las máquinas saben que hay reglas comunes que la mayoría de la gente sigue, incluso si no conocen los detalles, pueden aprender cuáles son esas reglas a través de la observación.

Cuando nuevas máquinas entran en un grupo, pueden descubrir las reglas existentes al observar cómo actúan los demás. Incluso si todos tienen ideas diferentes sobre las reglas al principio, todavía pueden encontrar un terreno común. Esto es crucial porque mantiene el orden y ayuda a todos en el grupo a actuar de manera cooperativa. Cuando las máquinas aprenden estas reglas y normas, pueden convertirse en mejores compañeros para los humanos.

#El Problema del Aprendizaje de Normas

Para hacer que las máquinas se comporten bien en la sociedad, necesitamos pensar en cómo aprenden las normas sociales. Estas normas son a menudo reglas no dichas que guían el comportamiento. La gente aprende estas normas con el tiempo y a través de la experiencia. Esto presenta un desafío para las máquinas, que necesitan una manera sistemática de aprender estas reglas sin una autoridad central.

Un modelo sólido de aprendizaje de normas debe tener en cuenta que las normas son compartidas por todos pero aprendidas individualmente. Esto permite a las máquinas adaptarse rápidamente a nuevas situaciones sin necesitar órdenes directas.

#Nuestro Enfoque para el Aprendizaje de Normas

Nuestro enfoque utiliza un método llamado aprendizaje bayesiano, que ayuda a las máquinas a entender y aprender sobre las normas sociales. Nos basamos en ideas sobre cómo los humanos trabajan juntos y asumimos que las máquinas también pueden suponer que hay reglas compartidas cuando interactúan entre sí.

Al observar cuándo otros rompen o siguen reglas, las máquinas pueden recopilar datos e inferir cuáles podrían ser las reglas. Pueden hacer esto mirando las acciones de otras máquinas y actualizando sus creencias sobre lo que se considera comportamiento aceptable o inaceptable.

Una vez que una máquina entiende las reglas, puede decidir seguirlas ya sea porque quiere o porque tiene sentido para sus objetivos. Cuando muchas máquinas comienzan a seguir las mismas reglas, se crea un sistema donde esas reglas se refuerzan y son más propensas a permanecer. Este proceso significa que las nuevas máquinas pueden aprender rápidamente cuáles son las reglas existentes.

#Entendiendo las Normas en Sistemas Multiagente

Introducimos una nueva forma de estudiar cómo las máquinas pueden aprender normas utilizando sistemas multiagente. En estos sistemas, muchas máquinas interactúan con el tiempo y tienen que tomar decisiones basadas en su entorno. Nos enfocamos en cómo pueden aprender a seguir reglas.

Cada máquina actúa según sus objetivos mientras también considera las normas que cree que otros están siguiendo. Este modelo ayuda a las máquinas a aprender cómo trabajar juntas, mantener su comprensión de las reglas y converger en torno a normas compartidas, incluso si comienzan con creencias diferentes.

#Cómo Aprenden las Máquinas Normas

El proceso de aprendizaje para las máquinas se descompone en una serie de pasos. Primero, las máquinas observan las acciones de los demás. Esto les ayuda a ver qué se considera una norma. Las máquinas también necesitan una forma de representar estas normas y decidir si cumplen con ellas según lo que aprendieron.

Las máquinas pueden tener dos formas de planificar sus acciones: centrándose en recompensas o centrándose en Obligaciones. En el modo centrado en recompensas, las máquinas buscan obtener la mayor cantidad de recompensas por sus acciones mientras observan las prohibiciones que están presentes. En el modo centrado en obligaciones, las máquinas planean cumplir ciertas responsabilidades que pueden extenderse con el tiempo.

Al alternar entre estos modos de planificación, las máquinas pueden navegar eficazmente en situaciones en las que necesitan equilibrar sus objetivos personales con las reglas que han aprendido.

#Marco para Aprender Normas

Introducimos un marco llamado Juegos de Markov Aumentados por Normas (NMGs) para formalizar cómo las máquinas pueden aprender normas de manera sistemática. En este marco, las máquinas toman acciones en entornos específicos donde sus acciones pueden cambiar el estado de ese entorno con el tiempo.

En NMGs, cada máquina tiene sus propios objetivos, pero también debe considerar las normas que rigen sus interacciones. Esto significa que cada máquina usa sus creencias sobre las normas para tomar decisiones. Al prestar atención a cuán a menudo violan estas normas, las máquinas pueden ajustar su comportamiento para alinearse mejor con las expectativas de los demás.

El marco NMG nos permite modelar cómo las normas pueden guiar el aprendizaje y los procesos de toma de decisiones de las máquinas a lo largo del tiempo. Las máquinas pueden usar este marco para entender cómo sus acciones se ven influenciadas por normas compartidas y deseos individuales.

#Representando Normas Sociales

Para asegurar que las máquinas puedan aprender normas de manera efectiva, definimos cómo deben representarse estas normas. Las normas pueden considerarse como reglas que prohíben ciertas acciones o requieren ciertos comportamientos. Por ejemplo, una norma podría decir: "No tomes manzanas si hay muy pocas para compartir". O, "Si ves un río sucio, tienes el deber de limpiarlo".

Estas normas pueden expresarse de manera estructurada, permitiendo que las máquinas las entiendan e implementen. Al representar las normas en un formato lógico, las máquinas pueden aprender cuándo aplicarlas en diversas situaciones.

#Planificando Para Cumplir con Normas

Una vez que las máquinas entienden las normas, necesitan una manera de planificar sus acciones en consecuencia. Describimos cómo las máquinas pueden planificar sus acciones basándose en las normas que han aprendido. Esto implica decidir cuándo maximizar recompensas y cuándo cumplir obligaciones, asegurándose de que se mantengan alineadas con las reglas.

La interacción entre la planificación orientada a recompensas y la planificación orientada a obligaciones permite que las máquinas actúen de manera efectiva mientras se adhieren a las normas sociales que han aprendido.

#Aprendiendo a Través de la Observación

Un método crítico para que las máquinas aprendan normas es a través de la observación del comportamiento de otros. Al observar pasivamente las acciones de máquinas experimentadas, pueden empezar a inferir qué se considera un comportamiento apropiado. Este proceso se llama aprendizaje pasivo de normas.

Llevamos a cabo experimentos para estudiar qué tan rápido y efectivamente pueden aprender las máquinas normas simplemente observando a los demás. Los resultados mostraron que las máquinas experimentadas enseñan a las máquinas nuevas sobre normas de manera eficiente, permitiéndoles aprender rápidamente.

#El Papel de las Normas Sociales en la Cooperación

Las normas juegan un papel vital en la creación de un entorno cooperativo. Nuestros experimentos demostraron que cuando las normas sociales están presentes, permite que las máquinas trabajen juntas con éxito. Al seguir las normas compartidas, las máquinas pueden lograr mejores resultados generales y mejorar el bienestar colectivo.

Sin embargo, no todas las normas necesariamente llevan a resultados positivos. Algunas normas podrían obstaculizar la cooperación, mientras que otras la benefician significativamente. Esto requiere considerar cuidadosamente cuáles normas son beneficiosas y cuáles pueden necesitar ajustes.

#Transmisión de Normas a Través de Generaciones

A medida que las máquinas interactúan con el tiempo, es esencial que mantengan un conjunto estable de normas, especialmente cuando nuevas máquinas se unen al grupo. Este concepto se conoce como transmisión intergeneracional de normas.

Nuestros estudios indicaron que cuando las máquinas aprenden de sus predecesoras, las normas pueden transmitirse con éxito. Se necesita un número suficiente de máquinas experimentadas para ayudar a las máquinas nuevas a entender estas normas. Si no hay suficientes máquinas experimentadas para guiar a los recién llegados, las normas pueden desviarse o perderse por completo.

#La Emergencia de Normas

El proceso por el cual emergen las normas es complejo pero vital para el comportamiento cooperativo entre máquinas. A diferencia de enfoques anteriores que dependían del castigo para el cumplimiento, nuestro modelo se centró en cómo las máquinas pueden adoptar normas compartidas sin comunicación explícita.

A través de interacciones repetidas y aprendizaje observacional, las máquinas pueden comenzar a converger en creencias compartidas sobre qué normas existen. Esta comprensión compartida puede fomentar una mejor cooperación y aumentar la estabilidad del sistema normativo.

#Discusión

Construir máquinas que aprendan y cumplan con normas sociales presenta diversos desafíos y oportunidades. Nuestro trabajo muestra cómo las máquinas pueden aprender rápidamente normas a través de la observación y mantenerlas a través de la comprensión compartida. El marco que creamos no solo explica aspectos significativos del comportamiento humano, sino que también proporciona una forma para que los sistemas autónomos funcionen mejor en la sociedad.

#Direcciones Futuras

Aún hay muchas preguntas por explorar dentro del aprendizaje y cumplimiento de normas. Algunas áreas futuras de investigación incluyen el papel de los castigos en la aplicación de normas y cómo las máquinas pueden adaptar normas cuando cambian las circunstancias.

Combinar diferentes enfoques de aprendizaje, como métodos basados en modelos y métodos libres de modelos, puede proporcionar nuevos conocimientos sobre cómo las máquinas pueden aprender y aplicar normas de manera efectiva.

Además, entender cómo representar normas de maneras que fomenten la flexibilidad y adaptación puede llevar a agentes más capaces y normativos. Esto podría incluir permitir que las máquinas razonen sobre las normas y cuándo aplicarlas o adaptarlas, similar a cómo lo hacen los humanos.

En conclusión, nuestra investigación enfatiza la importancia de crear máquinas que no solo se adhieran a normas, sino que también las entiendan como parte de un tejido social. Esto podría llevar, en última instancia, a sistemas autónomos más responsables, cooperativos y efectivos.