Optimizando Hiparparametros y Recompensas Juntos en RL

En los últimos años, el aprendizaje por refuerzo profundo (RL) ha avanzado significativamente. Sin embargo, encontrar la configuración adecuada para los Hiperparámetros y las Funciones de Recompensa sigue siendo un desafío para los expertos. Estas configuraciones son cruciales para el rendimiento de un algoritmo. La mayoría de la investigación en este ámbito se ha centrado en pruebas conocidas, donde ya se dispone de algún conocimiento sobre configuraciones útiles. Pero cuando se trata de nuevas aplicaciones del mundo real, las tareas pueden ser complejas y puede que no haya ninguna información sobre hiperparámetros y recompensas efectivos. Esto significa que deben definirse desde cero.

Algunos estudios han investigado cómo ajustar automáticamente solo los hiperparámetros o las funciones de recompensa. Sin embargo, hemos descubierto que las configuraciones para los hiperparámetros a menudo dependen de las funciones de recompensa y que lo contrario también es cierto. Por lo tanto, es necesario considerar ambos juntos para optimizarlos de manera efectiva.

Proponemos un método para optimizar los hiperparámetros y las funciones de recompensa al mismo tiempo. Además, utilizaremos una penalización de varianza para hacer que las políticas aprendidas sean más estables. Realizamos varias pruebas utilizando dos algoritmos populares, Proximal Policy Optimization (PPO) y Soft Actor-Critic (SAC), en cuatro entornos. Nuestros hallazgos indican que combinar la optimización de ambos, hiperparámetros y funciones de recompensa, conduce a un mejor rendimiento en la mitad de los entornos probados, mientras que el rendimiento se mantiene competitivo en los demás, con solo un ligero aumento en el costo computacional. Esto sugiere que la optimización combinada es una buena práctica.

#Antecedentes sobre el Aprendizaje por Refuerzo

En el aprendizaje por refuerzo, un agente aprende a alcanzar un objetivo específico interactuando con su entorno. El entorno se describe a menudo como un Proceso de Decisión de Markov (MDP), que consta de diferentes estados, acciones, recompensas y probabilidades. El objetivo del agente es encontrar las mejores acciones posibles para tomar en diferentes estados para maximizar sus recompensas con el tiempo.

Obtener las recompensas y configuraciones adecuadas puede impactar significativamente en la rapidez con que el agente aprende y en su rendimiento. En la práctica, definir recompensas únicamente en función del objetivo final suele no ser suficiente. A menudo es necesario incluir recompensas adicionales más pequeñas por alcanzar objetivos menores en el camino. Este proceso de ajustar las señales de recompensa se conoce como modelado de recompensas. El éxito de una tarea de RL puede depender en gran medida de la calidad de las recompensas.

Por otro lado, ajustar los hiperparámetros, como las tasas de aprendizaje y los factores de descuento, también es crucial. Una buena afinación de hiperparámetros depende de contar con señales de recompensa efectivas, mientras que un buen modelado de recompensas requiere hiperparámetros bien seleccionados. Esta dependencia mutua se vuelve especialmente significativa al aplicar RL a nuevos escenarios donde no hay configuraciones predefinidas.

#Aprendizaje por Refuerzo Automático (AutoRL)

En el campo del AutoRL, se han desarrollado varias técnicas para automatizar la optimización de hiperparámetros y recompensas. Sin embargo, estos métodos suelen abordar cada componente por separado, ignorando su interdependencia. A menudo requieren configuraciones de alto rendimiento preexistentes para el otro componente.

A nuestro conocimiento, nuestro trabajo es el primero en examinar de manera exhaustiva los beneficios de optimizar conjuntamente tanto los hiperparámetros como las formas de recompensa en múltiples entornos. Probamos esta optimización conjunta utilizando dos algoritmos de RL bien conocidos: Proximal Policy Optimization (PPO) y Soft Actor-Critic (SAC). Nuestros experimentos involucraron varios entornos, incluidos Gymnasium LunarLander, Google Brax Ant y Humanoid, y Robosuite Wipe. El entorno Wipe es una tarea basada en robótica que involucra interacciones ricas en contacto y que no ha sido ampliamente estudiada antes.

Para garantizar resultados robustos, comparamos nuestros resultados de optimización conjunta con puntos de referencia establecidos de estudios previos, centrándonos en la optimización individual de hiperparámetros y recompensas. Para nuestros experimentos, aplicamos DEHB, un algoritmo de vanguardia para optimizar hiperparámetros, que ha demostrado un rendimiento superior en tareas de RL pasadas.

#Importancia de la Optimización Conjunta

Durante nuestros experimentos, nuestro objetivo fue demostrar que optimizar juntos los hiperparámetros y las formas de recompensa es beneficioso. Encontramos que el rendimiento de parámetros específicos podía cambiar drásticamente dependiendo de las configuraciones de otras variables. Por ejemplo, algunos hiperparámetros mostraron fuertes dependencias en ciertos pesos de recompensa. Esto sugiere que optimizar uno sin el otro podría llevar a un rendimiento inferior.

En nuestras pruebas, buscamos refinar las configuraciones para ambos tipos de parámetros a través de un proceso de optimización de dos niveles. El nivel externo implicaba seleccionar los parámetros de hiper- y recompensa para el algoritmo de RL, mientras que el nivel interno se centraba en entrenar al agente utilizando estas configuraciones. Al evaluar el rendimiento del agente durante el proceso de entrenamiento, buscábamos determinar las próximas configuraciones para la optimización.

#Configuración Experimental

En nuestros experimentos, entrenamos agentes utilizando PPO y SAC en cuatro entornos diferentes, cada uno con un objetivo de tarea único. Por ejemplo, en LunarLander, el objetivo es minimizar el tiempo de aterrizaje, mientras que en los entornos Ant y Humanoid, el enfoque está en maximizar la distancia recorrida. El entorno Wipe implica usar un brazo robótico para limpiar una mesa.

Elegimos estos entornos porque presentan estructuras de recompensa complejas y problemas desafiantes de optimización de hiperparámetros. Notablemente, las tareas de Humanoid y Wipe son particularmente difíciles de resolver.

Para el entrenamiento, aplicamos las implementaciones de Jax PPO y SAC de stable-baselines para LunarLander y Wipe, mientras que se utilizaron las versiones de GPU de Google Brax para Ant y Humanoid. Los detalles de nuestra implementación están disponibles en un repositorio de código suplementario.

#Análisis de Interdependencias

Para comprender mejor la relación entre hiperparámetros específicos y pesos de recompensa, realizamos un análisis detallado mientras entrenábamos PPO en LunarLander. Examinamos diferentes combinaciones de hiperparámetros y parámetros de recompensa para ver cómo se afectaban entre sí y el rendimiento general.

En nuestro análisis, nos centramos en varios hiperparámetros como el factor de descuento, la tasa de aprendizaje y la estimación de ventaja general. Para los parámetros de recompensa, probamos diferentes pesos relacionados con la distancia y la velocidad. Nuestros hallazgos mostraron interdependencias notables entre los hiperparámetros y las estructuras de recompensa, ilustrando que ajustar uno a menudo requería ajustes en el otro.

#Rendimiento de la Optimización Conjunta

Evaluamos el rendimiento de nuestra optimización conjunta en comparación con estrategias de optimización individuales. Nuestro objetivo era ver si optimizar conjuntamente los hiperparámetros y los parámetros de recompensa podía conducir a un mejor rendimiento general. Los experimentos de optimización involucraron el uso de DEHB y enfoques de búsqueda aleatoria.

Nuestros resultados mostraron consistentemente que la optimización conjunta igualaba o superaba el rendimiento de la optimización individual. Las mejoras significativas fueron particularmente evidentes en los entornos más complejos como Humanoid y Wipe, mientras que entornos más simples como Ant y LunarLander no vieron ganancias sustanciales de la optimización conjunta.

Incluso en los casos en que la optimización conjunta no superó a los métodos individuales, ofreció la ventaja de eliminar la necesidad de ajustes manuales. Además, las políticas resultantes de nuestra optimización conjunta tendían a ser más robustas, lo que conducía a mejores puntajes promedio en ensayos repetidos.

#Conclusión

Este trabajo demuestra la importancia de optimizar conjuntamente los hiperparámetros y las funciones de recompensa en tareas de aprendizaje por refuerzo. Nuestros hallazgos destacan las interdependencias entre ambos y enfatizan la necesidad de tratarlos como componentes interconectados en lugar de tareas aisladas. La optimización conjunta no solo mejora el rendimiento, sino que también proporciona una mayor estabilidad a las políticas aprendidas.

De cara al futuro, hay varias áreas potenciales para más investigación, como experimentar con diferentes combinaciones de funciones de recompensa y explorar aspectos adicionales de la estructura de recompensa. Nuestros resultados indican que este enfoque es viable y beneficioso, lo que hace un caso convincente para adoptar prácticas de optimización combinada en el campo del aprendizaje por refuerzo.

En conclusión, el enfoque conjunto que proponemos puede servir como una herramienta valiosa para los practicantes, permitiendo un aprendizaje más eficiente y efectivo en varios entornos complejos. Al optimizar juntos, los investigadores pueden lograr mejores resultados con menos ajustes manuales y mejorar la estabilidad de sus agentes, avanzando así las capacidades de los sistemas de inteligencia artificial.