IA Aprendiendo de los Procesos de Memoria Humana

Los humanos solo pueden ver una pequeña parte de su entorno, pero aun así podemos tomar decisiones complejas gracias a nuestra memoria a largo plazo. Esta investigación se centra en cómo la inteligencia artificial (IA) puede aprender de sus experiencias pasadas y usar esa información para tomar decisiones, incluso cuando no tiene todos los detalles.

Creamos un entorno especial llamado Proceso de Decisión de Markov Parcialmente Observable (POMDP). En este entorno, un agente de IA tiene que responder preguntas mientras se mueve a través de un laberinto. El laberinto está construido sobre un gráfico de conocimiento (KG), que es una forma de organizar información que tanto las personas como las computadoras pueden entender. Usando KGs, podemos ver fácilmente lo que la IA recuerda y lo que olvida.

Entrenamos diferentes tipos de agentes de IA con varios sistemas de memoria para ver cómo su gestión de memoria se compara con la gestión de memoria en humanos. El objetivo es descubrir cómo la IA puede recordar mejor la información para resolver problemas.

#Cómo los humanos usan la memoria

Los humanos dependen de la memoria a largo plazo para navegar y tomar decisiones. Por ejemplo, cuando exploramos una ciudad familiar, recordamos el diseño y los puntos de referencia de nuestros recuerdos. Esta habilidad para recordar nos ayuda a tomar decisiones, incluso si no podemos ver todo lo que nos rodea. Cuando respondemos preguntas, recurrimos a nuestra memoria a largo plazo para encontrar hechos y conceptos relevantes.

A pesar de numerosos estudios, aún no entendemos completamente cómo funciona la memoria a largo plazo. Los investigadores han identificado cómo codificamos, almacenamos y recuperamos recuerdos, pero las reglas exactas que rigen estos procesos aún no están claras. Comprender la gestión de la memoria es importante no solo para la ciencia cognitiva, sino también para crear mejores sistemas de IA. Al aprender cómo los humanos gestionan sus recuerdos, podemos diseñar IA que imite estos procesos.

#El propósito de esta investigación

Nuestra investigación tiene como objetivo crear un entorno donde podamos estudiar estrategias de gestión de memoria en IA, conectando los procesos cognitivos humanos con los sistemas de IA. Las principales contribuciones de nuestro trabajo incluyen:

1. Diseño de un entorno basado en gráficos de conocimiento: Creamos un entorno compatible con plataformas existentes donde un agente tiene que responder preguntas mientras navega a través de un laberinto. Este entorno se puede ajustar a varios niveles de dificultad.

2. Comparación de sistemas de memoria: Comparamos diferentes sistemas de memoria en agentes de IA y discutimos cómo se relacionan con la gestión de memoria humana.

3. Encontrando una política óptima de gestión de memoria: Descubrimos que los agentes más efectivos eran aquellos que aprendieron a gestionar su memoria, permitiéndoles capturar la información más relevante.

#Memoria similar a la humana en máquinas

Los avances recientes en ciencia cognitiva e IA han llevado a la creación de máquinas que pueden usar sistemas de memoria similares a la memoria humana. Algunos estudios han demostrado que cuando la IA incorpora ambos tipos de memoria-semántica (conocimiento general) y episódica (experiencias específicas)-rinde mejor que la IA que solo usa un tipo.

La Memoria episódica nos permite recordar eventos específicos relacionados con tiempos y lugares, mientras que la Memoria semántica implica conocimiento general sin contexto específico. Por ejemplo, saber que París es la capital de Francia es memoria semántica, mientras que recordar un viaje a la Torre Eiffel es memoria episódica.

Para hacer que la memoria funcione en una máquina, los investigadores utilizaron un método que agrega detalles extra a los registros de memoria. Esta adición ayuda a distinguir entre memorias episódicas y semánticas. Los gráficos de conocimiento son útiles aquí, ya que ayudan a organizar la información de una manera que tanto las personas como las máquinas pueden entender.

#Aprendizaje por refuerzo y POMDP

El aprendizaje por refuerzo (RL) es una estrategia utilizada cuando no se puede supervisar cada acción, que es a menudo el caso en la gestión de memoria. Resolver un problema de RL se formula como un Proceso de Decisión de Markov (MDP) o un MDP Parcialmente Observable (POMDP), que tienen en cuenta la observabilidad parcial.

En nuestra configuración de POMDP, un agente interactúa con el entorno a lo largo del tiempo, pero solo puede ver una parte de él. El agente elige acciones basándose en información incompleta y actualiza sus creencias sobre el entorno a medida que recibe nuevas observaciones. El objetivo es elegir políticas que maximicen las recompensas a lo largo del tiempo.

Los estados de creencia son importantes en los POMDP, representando las creencias del agente sobre el entorno. El agente mantiene un estado de creencia que se actualiza a medida que se toman acciones y se reciben nuevas observaciones. Sin embargo, mantener estos estados de creencia es computacionalmente intenso, ya que requiere seguir las probabilidades sobre una gran variedad de posibles estados.

Para aliviar esta carga, podemos usar observaciones pasadas como una estimación aproximada del estado actual. Este enfoque evita la necesidad de constantes actualizaciones al estado de creencia.

#El entorno de las habitaciones

Creamos el Entorno de las Habitaciones para probar agentes de IA con memoria a largo plazo. Este entorno consiste en varias habitaciones, cada una llena de diferentes objetos. Algunos objetos están fijos en su lugar, mientras que otros se mueven según ciertas reglas. El agente navega a través de estas habitaciones de acuerdo con su política de exploración, que lo guía hacia información valiosa mientras responde preguntas.

En este contexto, los gráficos de conocimiento representan los estados ocultos de las habitaciones, mostrando dónde están ubicados los objetos. El agente solo puede ver una habitación a la vez, así que depende de su memoria de observaciones anteriores.

Los gráficos de conocimiento dinámicos permiten capturar cambios a lo largo del tiempo, ya que proporcionan información sobre movimientos y relaciones entre objetos. El agente solo puede observar parte de este gráfico, lo que significa que debe confiar en lo que recuerda para tomar buenas decisiones.

#Objetivos de aprendizaje para agentes de IA

Nuestro agente base utiliza observaciones pasadas para estimar el estado actual. Responde preguntas utilizando la información más reciente disponible. Sin embargo, introdujimos otro agente, llamado HumemAI, que tiene un sistema de gestión de memoria más complejo que separa las memorias a corto y largo plazo.

HumemAI procesa la situación actual en memoria a corto plazo y decide si conservar, convertir o olvidar esta información. Puede transferir memorias a corto plazo a memorias episódicas (experiencias específicas) o semánticas (conocimiento general). Además, se aplica un factor de decaimiento exponencial para mantener las memorias relevantes a lo largo del tiempo.

El proceso de entrenamiento para HumemAI está estructurado en dos fases. Primero, nos enfocamos en aprender cómo gestionar memorias. Una vez que la gestión de memoria está optimizada, trabajamos en mejorar la política de exploración que utiliza la memoria aprendida para la navegación.

#Algoritmo de aprendizaje

Para nuestros agentes, utilizamos un algoritmo de RL basado en valores para hacer el aprendizaje eficiente. Elegimos un método específico que evita sobreestimar los valores de acción-estado y ayuda a generalizar el aprendizaje a través de varias acciones. El enfoque implica minimizar la diferencia entre las recompensas predichas y las experiencias reales.

El proceso de aprendizaje está diseñado para permitir que ambos tipos de agentes se adapten y mejoren. HumemAI aprende dos políticas, una para la gestión de la memoria y otra para la exploración, mientras que el agente base tiene un diseño más simple sin necesidad de varios tipos de memoria.

#Experimentación y resultados

En nuestros experimentos, evaluamos cómo diferentes tamaños de memorias afectaban el rendimiento. Creamos variaciones de HumemAI para probar solo memoria episódica y solo memoria semántica, lo que nos permitió ver cómo cada tipo contribuía al éxito general.

Ambos agentes pasaron por un entrenamiento con un número fijo de episodios. Los agentes HumemAI superaron constantemente a sus contrapartes base, especialmente aquellos que utilizaban ambos tipos de memoria. Curiosamente, tener histories de observación más largas para los agentes base no condujo automáticamente a mejores resultados.

También notamos diferencias en la eficiencia del entrenamiento, con HumemAI requiriendo menos tiempo para alcanzar niveles de rendimiento fuertes en comparación con los agentes base más simples.

#Conclusión

Esta investigación ilustra una nueva forma de abordar la toma de decisiones en IA utilizando sistemas de memoria similares a los humanos. El Entorno de las Habitaciones nos permitió estudiar cómo los agentes utilizan la memoria a largo plazo mientras navegan y responden preguntas basadas en observaciones limitadas.

La investigación futura podría explorar cómo mejorar la gestión de memoria y las políticas de exploración aprendidas juntas o experimentar con el uso de diferentes tipos de modelos para mejorar aún más el rendimiento. En general, nuestros hallazgos destacan el potencial de incorporar procesos de memoria similares a los humanos en sistemas de IA para mejorar sus habilidades de resolución de problemas.