Otimizando Hiperparâmetros e Recompensas Juntos em RL

Nos últimos anos, o aprendizado por reforço profundo (RL) fez grandes avanços. No entanto, encontrar as configurações certas para Hiperparâmetros e Funções de Recompensa ainda é difícil para os especialistas. Essas configurações são cruciais para o desempenho de um algoritmo. A maior parte da pesquisa nesta área se concentrou em testes conhecidos, onde já existe um conhecimento sobre configurações úteis. Mas quando se trata de novas aplicações do mundo real, as tarefas podem ser complexas e pode não haver informações sobre hiperparâmetros e recompensas eficazes. Isso significa que eles precisam ser definidos do zero.

Alguns estudos analisaram como ajustar automaticamente hiperparâmetros ou funções de recompensa isoladamente. No entanto, descobrimos que as configurações para hiperparâmetros muitas vezes dependem das funções de recompensa, e o oposto também é verdadeiro. Portanto, é necessário considerar ambos juntos para otimizá-los de forma eficaz.

Propomos um método para otimizar hiperparâmetros e funções de recompensa ao mesmo tempo. Além disso, utilizaremos uma penalidade de variância para tornar as políticas aprendidas mais estáveis. Realizamos diversos testes usando dois algoritmos populares, Proximal Policy Optimization (PPO) e Soft Actor-Critic (SAC), em quatro ambientes. Nossos achados indicam que a combinação da otimização de ambos os hiperparâmetros e funções de recompensa leva a um melhor desempenho em metade dos ambientes testados, enquanto o desempenho permanece competitivo nos outros, com apenas um ligeiro aumento no custo computacional. Isso aponta que a otimização combinada é uma boa prática.

#Contexto sobre Aprendizado por Reforço

No aprendizado por reforço, um agente aprende a atingir um objetivo específico interagindo com seu ambiente. O ambiente é frequentemente descrito como um Processo de Decisão de Markov (MDP), consistindo em diferentes estados, ações, recompensas e probabilidades. O agente busca encontrar as melhores ações possíveis a serem tomadas em diferentes estados para maximizar suas recompensas ao longo do tempo.

Conseguir as recompensas e configurações certas pode impactar significativamente a velocidade com que o agente aprende e quão bem ele se desempenha. Na prática, definir recompensas apenas com base no objetivo final geralmente não é suficiente. Muitas vezes, é necessário incluir recompensas adicionais menores para alcançar metas menores ao longo do caminho. Esse processo de ajustar sinais de recompensa é conhecido como modelagem de recompensa. O sucesso de uma tarefa de RL pode depender em grande parte de quão bem as recompensas são construídas.

Por outro lado, ajustar os hiperparâmetros, como taxas de aprendizado e fatores de desconto, também é crucial. Uma boa afinação de hiperparâmetros depende de ter sinais de recompensa eficazes, enquanto uma boa modelagem de recompensa requer hiperparâmetros bem escolhidos. Essa dependência mútua se torna especialmente significativa ao aplicar RL a novos cenários onde não há configurações pré-definidas.

#Aprendizado por Reforço Automático (AutoRL)

No campo do AutoRL, várias técnicas foram desenvolvidas para automatizar a otimização de hiperparâmetros e recompensas. No entanto, esses métodos geralmente tratam cada componente separadamente, ignorando sua interdependência. Eles costumam exigir configurações de alto desempenho pré-existentes para o outro componente.

Até onde sabemos, nosso trabalho é o primeiro a examinar de forma abrangente os benefícios de otimizar conjuntamente tanto hiperparâmetros quanto formas de recompensa em múltiplos ambientes. Testamos essa otimização conjunta usando dois algoritmos de RL bem conhecidos: Proximal Policy Optimization (PPO) e Soft Actor-Critic (SAC). Nossos experimentos envolveram vários ambientes, incluindo Gymnasium LunarLander, Google Brax Ant e Humanoid, e Robosuite Wipe. O ambiente Wipe é uma tarefa baseada em robótica que lida com interações ricas em contato e não foi amplamente estudada antes.

Para garantir resultados robustos, comparamos nossos resultados de otimização conjunta com benchmarks estabelecidos de estudos anteriores, focando na otimização individual de hiperparâmetros e recompensas. Para nossos experimentos, aplicamos DEHB, um algoritmo de ponta para otimização de hiperparâmetros, que demonstrou desempenho superior em tarefas de RL passadas.

#Importância da Otimização Conjunta

Durante nossos experimentos, buscamos mostrar que otimizar hiperparâmetros e formas de recompensa juntos é benéfico. Descobrimos que o desempenho de parâmetros específicos poderia mudar drasticamente dependendo das configurações de outras variáveis. Por exemplo, alguns hiperparâmetros mostraram fortes dependências em certos pesos de recompensa. Isso sugere que otimizar um sem o outro poderia levar a um desempenho insatisfatório.

Em nossos testes, buscamos refinar as configurações para ambos os tipos de parâmetros através de um processo de otimização em dois níveis. O nível externo envolveu a seleção dos parâmetros de hiper- e recompensa para o algoritmo de RL, enquanto o nível interno se concentrou no treinamento do agente usando essas configurações. Ao avaliar o desempenho do agente durante o processo de treinamento, buscamos determinar as próximas configurações para otimização.

#Configuração Experimental

Em nossos experimentos, treinamos agentes usando PPO e SAC em quatro ambientes diferentes, cada um com um objetivo de tarefa exclusivo. Por exemplo, em LunarLander, o objetivo é minimizar o tempo de pouso, enquanto nos ambientes Ant e Humanoid, o foco é maximizar a distância percorrida. O ambiente Wipe envolve o uso de um braço robótico para limpar uma mesa.

Escolhemos esses ambientes porque apresentam estruturas de recompensa complexas e problemas desafiadores de otimização de hiperparâmetros. Notavelmente, as tarefas Humanoid e Wipe são particularmente difíceis de resolver.

Para o treinamento, aplicamos as implementações de Jax PPO e SAC do stable-baselines para LunarLander e Wipe, enquanto as versões de GPU do Google Brax foram usadas para Ant e Humanoid. Os detalhes de nossa implementação estão disponíveis em um repositório de código suplementar.

#Analisando Interdependências

Para entender melhor a relação entre hiperparâmetros específicos e pesos de recompensa, realizamos uma análise detalhada enquanto treinávamos PPO em LunarLander. Examinamos diferentes combinações de hiperparâmetros e parâmetros de recompensa para ver como eles afetavam uns aos outros e o desempenho geral.

Em nossa análise, nos concentramos em vários hiperparâmetros, como o fator de desconto, a taxa de aprendizado e a estimativa de vantagem geral. Para os parâmetros de recompensa, testamos diferentes pesos relacionados a distância e velocidade. Nossas descobertas mostraram interdependências notáveis entre os hiperparâmetros e as estruturas de recompensa, ilustrando que ajustar um frequentemente exigia ajustes ao outro.

#Desempenho da Otimização Conjunta

Avalíamos o desempenho de nossa otimização conjunta em relação às estratégias de otimização individual. Nosso objetivo era ver se otimizar conjuntamente hiperparâmetros e parâmetros de recompensa poderia levar a um melhor desempenho geral. Os experimentos de otimização envolveram o uso de DEHB e abordagens de busca aleatória.

Nossos resultados mostraram consistentemente que a otimização conjunta igualava ou superava o desempenho da otimização individual. Melhorias significativas foram particularmente evidentes nos ambientes mais complexos, como Humanoid e Wipe, enquanto ambientes mais simples, como Ant e LunarLander, não apresentaram ganhos substanciais com a otimização conjunta.

Mesmo em casos em que a otimização conjunta não superou os métodos individuais, ofereceu a vantagem de eliminar a necessidade de ajustes manuais. Além disso, as políticas resultantes de nossa otimização conjunta tendiam a ser mais robustas, levando a melhores pontuações médias em testes repetidos.

#Conclusão

Este trabalho demonstra a importância de otimizar conjuntamente hiperparâmetros e funções de recompensa em tarefas de aprendizado por reforço. Nossos achados destacam as interdependências entre os dois e enfatizam a necessidade de tratá-los como componentes interconectados, em vez de tarefas isoladas. A otimização conjunta não apenas melhora o desempenho, mas também traz maior estabilidade às políticas aprendidas.

Avançando, há várias áreas potenciais para novas pesquisas, como experimentar diferentes combinações de funções de recompensa e explorar aspectos adicionais da estrutura de recompensa. Nossos resultados indicam que essa abordagem é viável e benéfica, fazendo um apelo convincente para a adoção de práticas de otimização combinada no campo do aprendizado por reforço.

Em conclusão, a abordagem conjunta que propusemos pode servir como uma ferramenta valiosa para os profissionais, permitindo um aprendizado mais eficiente e eficaz em vários ambientes complexos. Ao otimizar em conjunto, os pesquisadores podem alcançar melhores resultados com menos ajustes manuais e aumentar a estabilidade de seus agentes, avançando assim as capacidades dos sistemas de inteligência artificial.