Avancées dans les réseaux 5G : Optimiser les stratégies de déchargement

La croissance des réseaux 5G a conduit à la création d'un nouveau type de réseau combinant le Multi-access Edge Computing (MEC) et les systèmes de Vehicular Fog (VF). Ces systèmes sont installés plus près des appareils qui se connectent à Internet, comme les appareils intelligents et les véhicules. Ce dispositif aide à réduire les délais et améliore la qualité de service. Cependant, quand il y a beaucoup de trafic, comme lors de concerts ou d'événements sportifs, ces sites MEC peuvent devenir surchargés.

Pour gérer les charges de travail efficacement, on peut utiliser des techniques de Déchargement pour déplacer des tâches lourdes des appareils avec peu de puissance vers ceux qui peuvent en gérer plus. Ce transfert peut prolonger la durée de vie de la batterie et accélérer l'achèvement des tâches. Dans cette recherche, on examine comment décharger des tâches entre les configurations MEC et VF. L'objectif principal est de diminuer le coût moyen du système en se concentrant à la fois sur le délai et la consommation d'énergie. On a créé un problème qui vise à minimiser ces deux facteurs tout en tenant compte des ressources disponibles.

Pour prendre de meilleures décisions concernant le déchargement des tâches, on a développé un environnement d'apprentissage qui reflète la structure du réseau et les défis identifiés. On a introduit une méthode connue sous le nom de Distributed-TD3 (DTD3), qui s'appuie sur des algorithmes existants et améliore l'efficacité et la rapidité d'atteindre des résultats.

#L'Internet des Objets

L'idée derrière l'Internet des Objets (IoT) est de connecter divers appareils comme des capteurs intelligents, des objets connectés et des véhicules. Ces appareils communiquent entre eux sans avoir besoin de l'aide humaine via Internet. Cette connectivité permet un meilleur suivi et une meilleure prise de décision pour gérer différentes tâches. Cependant, les appareils IoT génèrent beaucoup de données et nécessitent une puissance de calcul et un stockage considérables. Le défi survient quand les capacités limitées de ces appareils ne répondent pas aux fortes exigences de qualité de service.

Pour aborder ces problèmes, on peut utiliser le déchargement, où les tâches de calcul intensif sont transférées des appareils faibles vers ceux avec plus de ressources. Traditionnellement, les tâches pouvaient être envoyées vers le cloud computing, qui fournit amplement de ressources. Cependant, les systèmes cloud ont des inconvénients comme les points de défaillance uniques et les longs délais.

#Multi-Access Edge Computing (MEC)

Pour répondre à ces limitations, le Multi-Access Edge Computing (MEC) a été introduit comme un moyen de soutenir le cloud computing. MEC met en place des serveurs plus près des bords du réseau. Ces serveurs fournissent des services de calcul aux appareils IoT, ce qui en fait une solution précieuse pour améliorer l'efficacité du traitement des tâches. Les appareils IoT peuvent envoyer leurs tâches à ces sites MEC via des connexions sans fil, améliorant ainsi leur performance.

Après que les tâches soient traitées, les résultats sont renvoyés aux appareils IoT. Cette méthode permet une meilleure utilisation des ressources du réseau tout en réduisant la consommation d'énergie et les délais d'opération.

Cependant, lors d'événements animés, les sites MEC peuvent être submergés. Pour gérer cela, on peut créer deux types de fédérations : horizontales et verticales. Les fédérations horizontales permettent de partager le trafic entre les sites MEC voisins, tandis que les fédérations verticales déplacent une partie du trafic vers les Vehicular Fogs connectés. Dans ce scénario, les véhicules équipés de diverses technologies travaillent ensemble pour partager efficacement les ressources de calcul et de communication.

#Focus de Recherche Existant

Ces dernières années, la recherche a montré un vif intérêt pour le déchargement computationnel. Dans les systèmes MEC, ce déchargement peut être vu sous deux perspectives : le plan de contrôle, qui réagit au trafic entrant, et le plan de gestion, qui anticipe le trafic futur basé sur des données antérieures.

La plupart des études à ce jour se sont principalement concentrées sur le plan de gestion, soulignant les décisions prises par les appareils concernant où envoyer les tâches. Notre recherche vise à combler un vide en se concentrant plutôt sur le plan de contrôle, en examinant de près comment les décisions de déchargement peuvent être prises par les sites MEC face à un trafic lourd.

On analyse le déchargement horizontal (d'un MEC à un autre) et le déchargement vertical (du MEC au VF). Quand de nombreux appareils IoT envoient des données simultanément, cela crée un trafic de hotspot qui pourrait surcharger un seul MEC. Cette situation pourrait entraîner des délais, empêchant le système de répondre à la qualité de service attendue.

Pour gérer cela, on peut soit traiter le trafic localement au site MEC, soit décharger une partie vers des sites MEC voisins ou des VFS. Une fois le trafic déchargé, il peut être traité plus rapidement, même si cela consomme plus d'énergie. L'objectif est de trouver un équilibre entre la rapidité et l'Utilisation d'énergie tout en minimisant les deux.

#Décisions de Déchargement et Apprentissage par Renforcement

Pour notre étude, on a employé un agent d'apprentissage profond par renforcement (DRL), utilisant spécifiquement l'algorithme DTD3. Cet agent est conçu pour prendre des décisions de déchargement qui réduisent la Latence et prolongent la durée de vie de la batterie pour les VFs tout en garantissant la qualité du service. Après traitement, les résultats sont renvoyés au site MEC.

Les principaux points que l'on veut atteindre incluent :

1. Formuler un problème d'optimisation pour le déchargement des tâches dans les configurations MEC et VF afin de minimiser la latence moyenne du système et l'utilisation d'énergie.
2. Créer un environnement d'apprentissage par renforcement qui représente efficacement le réseau MEC et VF.
3. Développer un algorithme DTD3 pour optimiser ces décisions de déchargement.
4. Réaliser des simulations extensives pour évaluer la performance de la méthode proposée par rapport à d'autres solutions.

#Travaux Connus sur les Stratégies de Déchargement

La plupart des travaux antérieurs dans le domaine du déchargement computationnel se sont concentrés sur l'endroit où les tâches devraient être envoyées plutôt que sur combien de trafic décharger. Ces études concernent principalement l'envoi de tâches soit au MEC ou au cloud, soit leur partage entre des appareils voisins. Notre recherche aborde le défi de l'équilibrage de la charge de travail aux sites MEC en passant soit des tâches à des sites voisins, soit à des VFs.

On va résumer quelques études précédentes qui ont exploré différentes stratégies de déchargement en utilisant diverses techniques d'apprentissage par renforcement. Par exemple, certains chercheurs ont tenté de maximiser l'expérience utilisateur en déchargeant des données vers des serveurs de bord. D'autres ont modélisé le déchargement comme un processus de décision et utilisé des stratégies comme l'Optimisation de Politique Proximale (PPO) pour trouver les meilleures solutions.

Certaines études ont visé à optimiser à la fois le calcul et l'allocation de ressources dans des réseaux complexes tout en proposant des algorithmes capables de gérer plusieurs tâches efficacement. Alors que la recherche continue de croître, il y a encore beaucoup d'opportunités pour améliorer les décisions de déchargement et réduire les délais.

#Modèle de Système et Cadre Problématique

Dans notre étude, on se concentre sur une architecture à deux niveaux composée de sites MEC et de VFs dynamiques. Chaque site MEC est connecté à plusieurs VFs, qui contiennent des véhicules stationnés. Ces systèmes sont mis en place pour gérer efficacement le trafic entrant.

On a conçu un modèle où chaque MEC fonctionne comme un système de mise en file d'attente, traitant le trafic entrant selon un principe de premier arrivé, premier servi. Chaque site MEC peut gérer un grand volume de tâches, mais doit également gérer la communication avec les VFs. Les VFs, composées de différents nombres de véhicules, peuvent effectuer des calculs parallèles pour aider à traiter les tâches.

Quand un trafic de hotspot arrive à un site MEC, une partie des tâches peut être traitée localement, un autre ensemble déchargé vers des sites MEC voisins, et certaines transférées aux VFs associées. Cette division permet une meilleure gestion des ressources et un traitement plus rapide, mais doit être équilibrée avec la consommation d'énergie.

#Modèles d'Exécution Locale et de Déchargement

Pour l'exécution locale, le trafic entrant vers un site MEC peut être divisé en deux types : certains pour un traitement immédiat et d'autres provenant des sites voisins. La charge totale d'un seul site MEC combine ces deux types.

Dans le déchargement horizontal, les sites MEC peuvent partager des tâches entre eux, permettant un traitement plus efficace sans goulots d'étranglement. Ici, la latence de traitement dépend de la distance entre les sites et du temps qu'il faut pour transférer les données.

Dans le déchargement vertical, les tâches envoyées aux VFs sont gérées en fonction de leur capacité. Le temps de traitement inclura les délais causés par l'envoi et le retour des données.

L'objectif global est de minimiser les délais et l'énergie utilisée dans ce système tout en garantissant que les ressources soient utilisées efficacement.

#Déchargement avec Distributed-TD3

Dans notre système, le plan de contrôle de l'architecture MEC et VF est responsable de prendre des décisions de déchargement pour réduire la latence et l'utilisation d'énergie. On a appliqué l'apprentissage par renforcement comme méthode pour optimiser ce processus, où un agent interagit avec un environnement dynamique pour trouver les meilleures actions.

On a transformé notre réseau MEC et VF en un format adapté à la modélisation comme un processus de décision de Markov (MDP), capturant les éléments clés affectant le déchargement des tâches. En définissant les états, les actions et les récompenses, on peut évaluer l'efficacité de l'agent DTD3 dans ses choix de déchargement.

#Environnement d'Apprentissage

1. États : Ceux-ci représentent les conditions actuelles des MEC et des VFs, y compris les taux de trafic, les capacités de calcul et l'utilisation moyenne de la latence et de l'énergie.

2. Actions : Les décisions possibles que l'agent peut prendre concernant où décharger les tâches sont continues. Les actions sont regroupées en ensembles représentant le traitement local, le déchargement vers les MEC voisins, et le déchargement vers les VFs.

3. Récompenses : L'agent reçoit un retour basé sur la qualité de sa performance. Si la fonction objective s'améliore, la récompense est positive ; sinon, elle est négative.

Le but est que l'agent maximise ses récompenses en prenant des décisions de déchargement optimales à travers l'interaction avec l'environnement.

#Algorithme DTD3 Proposé

On a proposé l'algorithme DTD3 pour faciliter le processus de décision dans le déchargement des tâches dans les MEC et VFs. Cet algorithme utilise plusieurs réseaux de politique qui fonctionnent en parallèle pour générer des actions qui sont ensuite combinées pour informer l'environnement.

Pendant l'entraînement, l'agent apprend de ses expériences, ajustant son approche en fonction des retours pour identifier finalement les meilleures stratégies de déchargement.

#Configuration de Simulation

Pour tester l'algorithme DTD3, on a établi un environnement simulé MEC et VF. La configuration impliquait quatre sites MEC connectés à cinq VFs, avec de nombreux véhicules dans chaque VF. On a simulé diverses conditions avec différents taux de trafic et capacités de calcul parmi les sites MEC.

L'objectif était d'évaluer la performance de l'algorithme DTD3 tout en le comparant à d'autres méthodes. On a également pris en considération les réglages d'hyperparamètres avec soin pour garantir une performance optimale pendant les tests.

#Analyse des Résultats

On a mené plusieurs expériences pour analyser la performance de l'algorithme DTD3 proposé par rapport aux méthodes d'optimisation traditionnelles. Nos résultats ont montré que l'algorithme DTD3 converge vers des solutions optimales plus rapidement et performe mieux en général dans la gestion des tâches de déchargement, particulièrement sous des charges de trafic variables.

#Performance avec Ajustements de Poids

On a analysé comment le changement du poids attribué à la latence et à l'énergie a affecté la performance globale du système. En ajustant ce poids, on a observé des changements distincts dans les coûts moyens, révélant à quel point il est important de régler les paramètres pour des conditions spécifiques.

#Performance Selon Différents Taux de Trafic

À mesure que les taux de trafic augmentaient, on a remarqué des comportements différents dans la manière dont les algorithmes géraient les ressources. Pour des situations moins intenses, les méthodes traditionnelles performaient parfois mieux au début. Cependant, sous trafic lourd, le DTD3 a montré des avantages significatifs, suggérant qu'il est mieux équipé pour gérer des conditions difficiles.

#Résultats de Déchargement Basés sur le Nombre de Véhicules

On a également examiné comment le nombre de véhicules dans les VFs impactait la performance. À des comptes de véhicules plus faibles, les méthodes traditionnelles étaient plus efficaces, tandis qu'avec un nombre plus élevé de véhicules, le DTD3 a surpassé les autres, tirant parti de la puissance de calcul offerte par de nombreux appareils travaillant ensemble.

#Conclusion

Dans cette étude, on a abordé les défis du déchargement computationnel dans les réseaux MEC et VF en formulant un problème d'optimisation multi-objectifs axé sur la réduction de la latence et de l'utilisation d'énergie. Grâce à la création d'un environnement RL affiné et à l'introduction de l'algorithme DTD3, on a démontré la capacité d'atteindre des décisions de déchargement efficaces.

Les travaux futurs viseront à étendre ces résultats en considérant le déchargement dans des conditions de véhicules mobiles et des applications réelles pour valider davantage notre approche.