Combinando Modelos de Lenguaje con Planificación Heurística

Los Modelos de Lenguaje Grande (LLMs) han demostrado que son buenos para planificar porque saben mucho sobre el mundo. Sin embargo, sigue siendo complicado crear planes que funcionen bien en la vida real y que no tarden demasiado. Los métodos de planificación heurística han estado por ahí un tiempo y utilizan un enfoque metódico con reglas para crear mejores planes. Este documento discute una nueva forma de combinar LLMs con planificación heurística para crear planes que sean tanto viables como eficientes.

#El Desafío de Planificar

Planificar implica averiguar una serie de acciones para alcanzar un objetivo específico. Los LLMs generalmente generan planes largos basados en sus datos de entrenamiento, que incluyen conocimientos comunes sobre el mundo. Por ejemplo, pueden entender que los huevos deben ir en el refrigerador. Sin embargo, aunque planificar en lenguaje natural es flexible, a menudo lleva a planes inviables. Por ejemplo, un LLM puede sugerir agarrar leche de una puerta del refrigerador cerrada, lo cual no es posible.

Una forma de abordar esto es a través de métodos como SayCan, que intenta determinar si una acción se puede realizar en la situación actual. Sin embargo, todavía hay problemas con la duración y eficiencia de los planes generados.

#Métodos de Planificación Tradicional

La planificación tradicional utiliza modelos específicos que definen los pasos y reglas para alcanzar objetivos. Estos modelos explican lo que debe suceder antes y después de cada acción. Los planificadores, como Fast Downward, utilizan estos modelos para asegurarse de que los planes sean tanto viables como eficientes. Sin embargo, crear estos modelos puede ser complicado, especialmente en situaciones complejas donde la información es incompleta.

#Combinando LLMs y Planificación Clásica

Usar LLMs junto con métodos de planificación clásica podría conducir a mejores resultados. La idea es tomar la capacidad generativa de los LLMs y combinarla con el enfoque estructurado de los sistemas de planificación tradicionales. Aquí van las ideas principales:

1. Enmarcando la Planificación con LLMs: Presentaremos la planificación con LLMs dentro del contexto de la planificación tradicional, creando una nueva forma de pensar sobre estos modelos.

2. Viabilidad y Eficiencia: Incluir reglas para asegurarnos de que los planes generados no sean solo ideas, sino que realmente se puedan ejecutar en situaciones reales.

3. Búsqueda Heurística: Incorporaremos un método de búsqueda de las mejores secuencias de acciones para asegurar que las sugerencias hechas por los LLMs sean prácticas.

#Trabajo Relacionado

Hay muchos estudios que han investigado la planificación con LLMs. Algunos modelos han intentado mejorar cómo se eligen las acciones utilizando mecanismos de retroalimentación específicos. Sin embargo, muchos de estos planes no funcionan bien porque se enfocan solo en acciones inmediatas sin considerar cómo se relacionan con el objetivo final.

Algunos sistemas utilizan modelos preentrenados para guiar acciones, mientras que otros dependen de una mezcla de tipos de entrada, incluidos formatos de planificación tradicionales. Aunque estos métodos tienen sus beneficios, a menudo aún enfrentan dificultades, especialmente en situaciones donde la planificación necesita adaptarse a entornos nuevos y poco claros.

#El Marco de Planificación Propuesto

Nuestro enfoque introduce un marco para mezclar LLMs y planificación heurística. Establecemos nuestro problema usando un marco que considera varios estados y acciones. Aquí, definimos los estados no solo por las observaciones más recientes, sino por toda la historia de actividades. Nuestro objetivo es encontrar una secuencia de acciones que transite efectivamente del estado actual al objetivo deseado.

#Planificación de Búsqueda Heurística

Cuando las situaciones son complicadas y el número de acciones posibles es grande, los métodos de búsqueda heurística pueden ayudar. Guían la búsqueda estimando los mejores próximos pasos basados en los costos acumulados y las observaciones anteriores.

Nuestro proceso de planificación incluye algunos pasos clave:

1. Generando Acciones: El modelo creará varias acciones candidatas basadas en el estado actual.

2. Evaluando Acciones: Luego usamos un modelo para evaluar si estas acciones son viables en el contexto actual.

3. Puntuando Acciones: Finalmente, puntuamos las acciones según su rendimiento esperado, ayudando a elegir los mejores caminos a seguir.

#Entrenando los Modelos

Para entrenar nuestros modelos de manera efectiva, usamos acciones de expertos pasadas como ejemplos. Esto ayuda a los modelos a aprender de trayectorias exitosas y entender qué acciones conducen a resultados positivos.

#Modelo Can

Entrenamos el modelo Can para reconocer qué acciones son Factibles en cualquier situación dada. Aprende de experiencias pasadas, enfocándose en identificar las acciones correctas basándose en lo que es posible.

#Modelo Pay

El modelo Pay está entrenado para evaluar acciones según sus posibles resultados. Asigna valores a las acciones según lo efectivas que probablemente sean para lograr objetivos.

#Configuración Experimental y Resultados

Realizamos experimentos en varios entornos para evaluar la efectividad de nuestro enfoque. Analizamos tareas comunes en entornos simulados, midiendo el éxito de planificación y la eficiencia de los planes generados.

#Métricas de Evaluación

1. Éxito en la Planificación: Comprobamos si los planes generados pudieron lograr sus objetivos de manera efectiva.

2. Costo-Efectividad: Revisamos cómo el costo de los planes se comparó con los planes de expertos para asegurarnos de que no solo estábamos cumpliendo objetivos, sino que también lo hacíamos de manera eficiente.

#Entornos

Probamos nuestro método en tres entornos clave:

1. Ravens: Este entorno consiste en tareas en mesa con una variedad de complejidad.

2. BabyAI: Un setup basado en una cuadrícula que permite a los agentes recoger objetos y navegar por habitaciones.

3. VirtualHome: Esto simula actividades diarias del hogar, requiriendo una gama de interacciones con diferentes objetos.

#Hallazgos

A través de nuestros experimentos, encontramos que nuestro enfoque combinado de usar LLMs y planificación heurística mejoró significativamente los resultados de planificación.

#Éxito General y Eficiencia

En general, nuestros modelos mostraron mejores tasas de éxito en lograr tareas que los métodos tradicionales. Los planes generados no solo eran más viables, sino que también tendían a ser más cortos y eficientes en comparación con los generados por marcos existentes.

#Limitaciones y Desafíos

Aunque nuestro enfoque mostró potencial, hay algunas limitaciones, como la necesidad de datos de expertos para ayudar a entrenar los modelos y su dependencia de experiencias anteriores que pueden no generalizarse bien a nuevas situaciones.

#Direcciones Futuros

Creemos que hay varias formas de avanzar para mejorar nuestros sistemas de planificación aún más. Aprovechar modelos de LLM más avanzados podría ayudar a abordar algunos de los problemas actuales. Además, explorar métodos de aprendizaje por refuerzo podría resultar beneficioso para una mejor adaptabilidad a nuevos entornos.

#Conclusión

En resumen, nuestra investigación combina las fortalezas de los Modelos de Lenguaje Grandes con métodos de planificación heurística tradicionales, creando una metodología de planificación más efectiva. Nuestro enfoque demuestra mejoras significativas en la generación de planes viables y eficientes, allanando el camino para sistemas de planificación más avanzados en el futuro.