Avanzando la Asignación de Recursos en Redes 5G

El acceso múltiple no ortogonal semi-gratuito, o semi-GF NOMA, es una nueva forma de gestionar la comunicación en redes 5G. Permite que muchos usuarios se conecten al mismo tiempo, incluso cuando sus necesidades de conexión varían. Sin embargo, este enfoque tiene desafíos, como lidiar con la interferencia o las interrupciones causadas por cómo los usuarios se conectan a la red.

Para abordar estos problemas, se ha creado un nuevo método llamado optimización híbrida y aprendizaje profundo por refuerzo multi-agente, o HOMAD. Este método tiene como objetivo mejorar la Eficiencia Energética en las redes semi-GF NOMA gestionando cómo se asignan los recursos a los usuarios. En este sistema, se utiliza un enfoque de red Q profunda multi-agente para asignar subcanales a diferentes usuarios. Mientras tanto, se utilizan métodos de optimización tradicionales para determinar cuánto poder debe usar cada usuario en función de su subcanal asignado. También se prueba un enfoque diferente que combina tanto la asignación de subcanales como la asignación de energía para comparación.

Los resultados de las simulaciones muestran que el método HOMAD es mucho mejor que otros enfoques en términos de velocidad y eficiencia energética general. El futuro de las redes inalámbricas se ve prometedor, ya que necesitarán soportar muchos dispositivos con diversas necesidades de servicio, como banda ancha móvil mejorada, comunicaciones ultra confiables de baja latencia y comunicaciones masivas de tipo máquina.

En este escenario, se considera que el semi-GF NOMA es una solución útil, ya que permite que algunos usuarios accedan a los recursos sin esperar permiso. Estos usuarios pueden conectarse libremente a los subcanales, mientras que otros con requisitos más estrictos son asignados a subcanales específicos por controladores de sistema como estaciones base. Sin embargo, permitir que demasiados usuarios se conecten sin control puede llevar a la congestión, por lo que es esencial diseñar un método de acceso eficiente que asegure que todos los usuarios puedan mantener su calidad de servicio.

Diseñar un sistema de Asignación de Recursos que pueda adaptarse a condiciones cambiantes y satisfacer diferentes requisitos de servicio en tiempo real es una tarea compleja. Recientemente, el aprendizaje profundo por refuerzo ha mostrado promesas para abordar estos desafíos de asignación de recursos en sistemas de comunicación. Aunque ha habido algo de trabajo en este área, la mayoría de los estudios no han considerado la coexistencia de múltiples servicios en redes 5G. Muchos de estos estudios también simplificaron la variable de potencia, lo que puede llevar a una disminución en el rendimiento.

Para llenar este vacío, se proponen dos métodos de asignación de recursos innovadores basados en el aprendizaje para maximizar la eficiencia energética mientras se satisfacen las diferentes necesidades de los servicios en redes semi-GF NOMA. Ambos métodos utilizan el aprendizaje profundo por refuerzo multi-agente, donde los usuarios de comunicación de tipo máquina actúan como agentes que aprenden a hacer elecciones óptimas de subcanales y energía.

El primer método, llamado red Q profunda multi-agente completa (Full-MAD), se enfoca en la asignación de subcanales y la asignación de energía. Este método cuantiza la potencia en niveles discretos para simplificar el proceso de aprendizaje. El segundo método, HOMAD, se concentra solo en la selección de subcanales. Después, se optimiza la potencia con base en métodos de análisis establecidos. Este enfoque reduce la complejidad del espacio de acciones, permitiendo un mejor rendimiento de aprendizaje con las ventajas combinadas de las redes Q profundas y las técnicas de optimización.

Se utilizan resultados de simulaciones para analizar la efectividad de estos mecanismos propuestos basados en factores como el tiempo de convergencia y la eficiencia energética general.

#Modelo del Sistema

El estudio examina una red 5G semi-GF NOMA en enlace ascendente que consta de varios usuarios distribuidos en una celda. En esta configuración, una estación base atiende a múltiples usuarios que necesitan diferentes tipos de servicios. Diferentes grupos de usuarios, como comunicaciones ultra confiables de baja latencia, banda ancha móvil mejorada, y comunicaciones masivas de tipo máquina, tienen requerimientos de conexión únicos.

El ancho de banda disponible se divide en varios subcanales. Los usuarios que necesitan una confiabilidad en el servicio estricta tienen su acceso a subcanales gestionado por la estación base a través de un sistema basado en permisos. Por el contrario, los usuarios de comunicación de tipo máquina pueden acceder libremente a cualquier subcanal disponible para aumentar la conectividad y reducir los tiempos de espera.

En este contexto, muchos usuarios de comunicación de tipo máquina podrían acceder al mismo subcanal que otros, lo que podría llevar a problemas de congestión. Por lo tanto, un diseño cuidadoso de la asignación de recursos es necesario para abordar esta preocupación mientras se asegura que todos los usuarios cumplan con sus estándares de calidad de servicio.

#Mecanismo de Transmisión NOMA

En una configuración semi-GF NOMA, el orden en que se decodifican las señales de los usuarios es crucial. La estación base prioriza los mensajes en función de varios factores, incluida la fuerza de la señal y los requisitos del usuario. Los usuarios que necesitan conexiones ultra confiables son decodificados primero, seguidos por otros según su fuerza de señal.

La relación señal a interferencia más ruido (SINR) recibida se utiliza para evaluar qué tan bien se puede interpretar la señal de un usuario en medio de la interferencia de otros usuarios. La decodificación precisa requiere gestionar la potencia de transmisión de los usuarios para lograr la calidad de servicio deseada.

#Problema de Maximización de Eficiencia Energética

El objetivo es crear una estrategia de asignación de recursos eficiente que maximice la eficiencia energética mientras se satisfacen las diversas necesidades de los usuarios. La eficiencia energética se define como la relación entre la tasa total alcanzada por los usuarios y la potencia total consumida.

Una solución efectiva debe equilibrar las asignaciones de subcanales con las estrategias de control de potencia, cumpliendo con las restricciones de potencia. Este problema de maximización es complejo, y se introducen dos soluciones de aprendizaje profundo por refuerzo multi-agente.

#Enfoque Full Multi-Agent DQN

El enfoque Full-MAD considera a cada usuario de comunicación de tipo máquina como un agente. Cada agente aprende a elegir subcanales y niveles de potencia óptimos. Este método incluye cuantizar la potencia en diferentes niveles para facilitar el aprendizaje. Los agentes utilizan una estrategia de acción aleatoria para explorar varias opciones.

Las recompensas de cada acción retroalimentan el sistema de aprendizaje, permitiendo que los agentes mejoren su toma de decisiones con el tiempo. Cada agente construye su modelo de red Q profunda, lo que ayuda en seleccionar la acción más beneficiosa.

#Enfoque Híbrido de Optimización y DQN Multi-Agent

El enfoque HOMAD se basa en el método Full-MAD. Sin embargo, en este caso, los agentes solo se enfocan en seleccionar subcanales. Después de que seleccionan un subcanal, la potencia de transmisión se optimiza utilizando un método que ajusta iterativamente hasta encontrar la mejor solución.

Al concentrarse únicamente en la selección de subcanales y construir sobre análisis previos, el método HOMAD mejora el rendimiento del aprendizaje mientras reduce la complejidad computacional.

#Resultados de Simulación

Los experimentos de simulación tienen como objetivo demostrar el rendimiento de los algoritmos propuestos. Se prueban diferentes escenarios para evaluar qué tan rápido converge cada método y su eficiencia energética general.

Los resultados sugieren que el método HOMAD logra los mejores resultados, particularmente en términos de velocidad y eficiencia energética. Las comparaciones con métodos tradicionales muestran que HOMAD puede superar significativamente a otros, demostrando su efectividad en la gestión de la asignación de recursos en sistemas de comunicación complejos.

#Conclusión

El estudio presenta dos nuevos métodos de asignación de recursos utilizando aprendizaje profundo por refuerzo para redes 5G semi-GF NOMA. El enfoque Full-MAD adopta una visión integral al abordar tanto la asignación de subcanales como la asignación de energía. Por otro lado, el enfoque HOMAD simplifica el proceso de aprendizaje al centrarse únicamente en la selección de subcanales mientras optimiza la potencia.

Ambos métodos mejoran significativamente la eficiencia energética y se adaptan a las diversas necesidades de varios usuarios. Los hallazgos destacan el potencial de usar técnicas avanzadas de aprendizaje para abordar problemas complejos en redes de comunicación inalámbrica modernas.