Avanços nas Redes 5G: Otimizando Estratégias de Descarregamento

O crescimento das redes 5G levou à criação de um novo tipo de rede que combina Computação na Édgem com Múltiplos Acessos (MEC) e sistemas de Nuvem Veicular (VF). Esses sistemas são montados mais perto dos dispositivos que se conectam à internet, como dispositivos inteligentes e veículos. Essa configuração ajuda a reduzir os atrasos e melhora a qualidade do serviço. Mas, quando tem muito tráfego, como em shows ou eventos esportivos, esses locais MEC podem ficar sobrecarregados.

Para gerenciar as cargas de trabalho de forma eficaz, podemos usar técnicas de descarregamento para mover tarefas pesadas de dispositivos com pouca potência para aqueles que conseguem lidar melhor. Essa transferência pode prolongar a vida da bateria e acelerar a conclusão das tarefas. Nesta pesquisa, analisamos como descarregar tarefas entre as configurações de MEC e VF. O objetivo principal é diminuir o custo médio do sistema, focando tanto no atraso quanto no consumo de energia. Criamos um problema que visa minimizar esses dois fatores considerando os recursos disponíveis.

Para tomar melhores decisões sobre o descarregamento de tarefas, desenvolvemos um ambiente de aprendizado que reflete a estrutura da rede e os desafios que identificamos. Introduzimos um método conhecido como Distributed-TD3 (DTD3), que se baseia em algoritmos já existentes e melhora a eficiência e a velocidade na obtenção de resultados.

#A Internet das Coisas

A ideia por trás da Internet das Coisas (IoT) é conectar diversos dispositivos como sensores inteligentes, wearables e veículos. Esses dispositivos se comunicam entre si sem precisar da ajuda humana através da internet. Essa conectividade permite um melhor monitoramento e tomada de decisões para gerenciar várias tarefas. No entanto, os dispositivos IoT geram muitos dados e precisam de bastante potência de computação e armazenamento. O desafio surge quando as capacidades limitadas desses dispositivos não atendem à alta demanda de qualidade de serviço.

Para resolver esses problemas, podemos usar o descarregamento, onde tarefas de computação intensiva são movidas de dispositivos mais fracos para aqueles com mais recursos. Tradicionalmente, as tarefas poderiam ser enviadas para a computação em nuvem, que fornece muitos recursos. No entanto, os sistemas de nuvem têm desvantagens, como pontos únicos de falha e altos atrasos.

#Computação na Édgem com Múltiplos Acessos (MEC)

Para lidar com essas limitações, a Computação na Édgem com Múltiplos Acessos (MEC) foi introduzida como uma forma de apoiar a computação em nuvem. O MEC instala servidores mais perto das bordas da rede. Esses servidores fornecem serviços de computação para dispositivos IoT, tornando-se uma solução valiosa para melhorar a eficiência do processamento de tarefas. Dispositivos IoT podem enviar suas tarefas para esses locais MEC através de conexões sem fio, melhorando assim seu desempenho.

Depois que as tarefas são processadas, os resultados são enviados de volta para os dispositivos IoT. Esse método permite um melhor uso dos recursos da rede, ao mesmo tempo que reduz o consumo de energia e os atrasos nas operações.

Mas, durante eventos movimentados, os locais MEC podem ficar sobrecarregados. Para gerenciar isso, podemos criar dois tipos de federações: horizontais e verticais. As federações horizontais permitem que o tráfego seja compartilhado entre locais MEC vizinhos, enquanto as federações verticais movem parte do tráfego para Nuvens Veiculares conectadas. Nesse cenário, os veículos equipados com várias tecnologias trabalham juntos para compartilhar recursos de computação e comunicação de forma eficaz.

#Foco na Pesquisa Existente

Nos últimos anos, a pesquisa tem mostrado um grande interesse no descarregamento computacional. Nos sistemas MEC, esse descarregamento pode ser visto sob duas perspectivas: o plano de controle, que reage ao tráfego que chega, e o plano de gerenciamento, que antecipa o tráfego futuro com base em dados passados.

A maioria dos estudos até agora se concentrou principalmente no plano de gerenciamento, enfatizando as decisões tomadas pelos dispositivos sobre onde enviar as tarefas. Nossa pesquisa visa preencher uma lacuna, focando no plano de controle, olhando de perto como as decisões de descarregamento podem ser tomadas pelos locais MEC quando enfrentam tráfego pesado.

Analisamos o descarregamento horizontal (de um MEC para outro) e o descarregamento vertical (de MEC para VF). Quando muitos dispositivos IoT enviam dados simultaneamente, isso cria um tráfego intenso que pode sobrecarregar um único MEC. Essa situação pode levar a atrasos, impedindo que o sistema atenda à qualidade de serviço esperada.

Para lidar com isso, podemos processar o tráfego localmente no site MEC ou descarregar parte dele para locais MEC vizinhos ou VFS. Uma vez que o tráfego é descarregado, ele pode ser processado mais rapidamente, mesmo que consuma mais energia. O objetivo é encontrar um equilíbrio entre velocidade e uso de energia enquanto minimizamos ambos.

#Decisões de Descarregamento e Aprendizado por Reforço

Para nosso estudo, utilizamos um agente de aprendizado por reforço profundo (DRL), especificamente usando o algoritmo DTD3. Esse agente é projetado para tomar decisões de descarregamento que reduzam a latência e prolonguem a vida da bateria para VFs, garantindo ao mesmo tempo a qualidade do serviço. Após o processamento, os resultados são enviados de volta para o local MEC.

Os principais pontos que queremos alcançar incluem:

1. Formular um problema de otimização para descarregar tarefas em configurações MEC e VF para minimizar a latência média do sistema e o uso de energia.
2. Criar um ambiente de aprendizado por reforço que represente efetivamente a rede MEC e VF.
3. Desenvolver um algoritmo DTD3 para otimizar essas decisões de descarregamento.
4. Realizar simulações extensivas para avaliar quão bem o método proposto funciona em comparação com outras soluções.

#Trabalhos Relacionados em Estratégias de Descarregamento

A maioria dos trabalhos anteriores na área de descarregamento computacional se concentrou em para onde as tarefas deveriam ser enviadas, em vez de quanto tráfego descarregar. Esses estudos lidam principalmente com enviar tarefas para o MEC ou nuvem ou compartilhá-las entre dispositivos próximos. Nossa pesquisa aborda o desafio de equilibrar a carga de trabalho em locais MEC, passando tarefas para locais vizinhos ou VFs.

Vamos resumir alguns estudos anteriores que exploraram diferentes estratégias de descarregamento usando várias técnicas de aprendizado por reforço. Por exemplo, alguns pesquisadores tentaram maximizar a experiência do usuário Descarregando dados para servidores de borda. Outros modelaram o descarregamento como um processo de tomada de decisão e usaram estratégias como Proximal Policy Optimization (PPO) para encontrar as melhores soluções.

Alguns estudos tiveram como alvo a otimização tanto da computação quanto da alocação de recursos em redes complexas, propondo algoritmos que poderiam lidar com várias tarefas de forma eficaz. À medida que a pesquisa continua a crescer, ainda há muitas oportunidades para melhorar as decisões de descarregamento e reduzir os atrasos.

#Modelo de Sistema e Configuração do Problema

No nosso estudo, focamos em uma arquitetura de duas camadas que consiste em locais MEC e VFs dinâmicos. Cada local MEC está conectado a vários VFs, que contêm veículos estacionados. Esses sistemas são configurados para gerenciar o tráfego que chega de forma eficaz.

Desenvolvemos um modelo onde cada MEC opera como um sistema de filas, processando o tráfego que chega com base no princípio de primeiro a chegar, primeiro a ser servido. Cada local MEC pode lidar com um grande volume de tarefas, mas também deve gerenciar a comunicação com os VFs. Os VFs, compostos por diferentes números de veículos, podem realizar computação em paralelo para ajudar no processamento de tarefas.

Quando o tráfego intenso chega a um local MEC, uma parte das tarefas pode ser tratada localmente, outra parte descarregada para locais MEC próximos e algumas transferidas para os VFs associados. Essa divisão permite um melhor gerenciamento de recursos e processamento mais rápido, mas deve ser equilibrada com o consumo de energia.

#Modelos de Execução Local e de Descarregamento

Para a execução local, o tráfego que chega a um local MEC pode ser dividido em dois tipos: um para processamento imediato e outro de locais vizinhos. A carga total de um único local MEC combina esses dois tipos.

No descarregamento horizontal, os locais MEC podem compartilhar tarefas entre si, permitindo um processamento mais eficiente sem gargalos. Aqui, a latência do processamento depende da distância entre os locais e do tempo necessário para transferir os dados.

No descarregamento vertical, as tarefas enviadas para os VFs são gerenciadas com base em sua capacidade. O tempo de processamento incluirá atrasos causados pelo envio e retorno dos dados.

O objetivo geral é minimizar os atrasos e o uso de energia neste sistema, garantindo que os recursos sejam utilizados de forma eficiente.

#Descarregamento com Distributed-TD3

Em nosso sistema, o plano de controle da arquitetura MEC e VF é responsável por tomar decisões de descarregamento para reduzir a latência e o uso de energia. Aplicamos o aprendizado por reforço como um método para otimizar esse processo, onde um agente interage com um ambiente dinâmico para encontrar as melhores ações.

Transformamos nossa rede MEC e VF em um formato adequado para modelar como um Processo de Decisão de Markov (MDP), capturando os elementos chave que afetam o descarregamento de tarefas. Definindo estados, ações e recompensas, podemos avaliar a eficácia do agente DTD3 em fazer escolhas de descarregamento.

#Ambiente de Aprendizado

1. Estados: Esses representam as condições atuais dos MEC e VFs, incluindo taxas de tráfego, capacidades de computação e médias de latência e uso de energia.

2. Ações: As possíveis decisões que o agente pode tomar sobre onde descarregar tarefas são contínuas. As ações são agrupadas em conjuntos representando processamento local, descarregamento em MEC vizinho e descarregamento em VF.

3. Recompensas: O agente recebe feedback com base em quão bem ele se saiu. Se a função objetivo melhora, a recompensa é positiva; caso contrário, é negativa.

O objetivo é que o agente maximize suas recompensas tomando decisões ótimas de descarregamento através da interação com o ambiente.

#Algoritmo DTD3 Proposto

Propomos o algoritmo DTD3 para facilitar o processo de tomada de decisão no descarregamento de tarefas nos MEC e VFs. Este algoritmo emprega várias redes de políticas que trabalham em paralelo para gerar ações que são então combinadas para informar o ambiente.

Durante o treinamento, o agente aprende com suas experiências, ajustando sua abordagem com base no feedback para identificar eventualmente as melhores estratégias de descarregamento.

#Configuração da Simulação

Para testar o algoritmo DTD3, estabelecemos um ambiente simulado de MEC e VF. A configuração envolveu quatro locais MEC conectados a cinco VFs, com vários veículos em cada VF. Simulamos diversas condições com diferentes taxas de tráfego e capacidades de computação entre os locais MEC.

O objetivo era avaliar quão bem o algoritmo DTD3 se sai, comparando-o com outros métodos. Também consideramos cuidadosamente as configurações de hiperparâmetros para garantir um desempenho ideal durante os testes.

#Análise dos Resultados

Realizamos múltiplos experimentos para analisar a performance do algoritmo DTD3 proposto em comparação com métodos de otimização tradicionais. Nossas descobertas mostraram que o algoritmo DTD3 converge para soluções ótimas mais rapidamente e se sai melhor no geral na gestão das tarefas de descarregamento, especialmente sob cargas de tráfego variadas.

#Performance com Ajustes de Peso

Analisamos como a mudança do peso atribuído à latência e energia afetou a performance geral do sistema. À medida que ajustávamos esse peso, vimos mudanças distintas nos custos médios - revelando como é importante ajustar parâmetros para condições específicas.

#Performance com Diferentes Taxas de Tráfego

Conforme as taxas de tráfego aumentavam, notamos comportamentos diferentes na forma como os algoritmos gerenciavam os recursos. Em situações menos intensas, métodos tradicionais às vezes se saíam melhor inicialmente. No entanto, em tráfego pesado, o DTD3 mostrou vantagens significativas, sugerindo que está mais bem preparado para lidar com condições desafiadoras.

#Resultados de Descarregamento com Base no Número de Veículos

Também observamos como o número de veículos nos VFs impactou o desempenho. Com contagens de veículos mais baixas, os métodos tradicionais eram mais eficazes, enquanto um maior número de veículos viu o DTD3 superar os outros, beneficiando-se da força computacional oferecida por muitos dispositivos trabalhando juntos.

#Conclusão

Neste estudo, enfrentamos os desafios do descarregamento computacional em redes MEC e VF formulando um problema de otimização multiobjetivo focado na redução da latência e uso de energia. Através da criação de um ambiente de RL refinado e a introdução do algoritmo DTD3, demonstramos a capacidade de alcançar decisões eficientes de descarregamento.

Trabalhos futuros buscarão expandir esses achados considerando o descarregamento durante condições de veículos em movimento e aplicações do mundo real para validar ainda mais nossa abordagem.