L'essor de l'Internet des sens

Au cours des vingt dernières années, l'internet des objets (IoT) a changé notre façon de nous connecter. Alors qu'on approche de 2030, une nouvelle idée appelée l'Internet des Sens (IoS) commence à prendre forme. Contrairement à la réalité virtuelle traditionnelle (VR), l'IoS vise à offrir aux utilisateurs des expériences qui engagent tous les sens. On ne se contente pas de voir et d'entendre ; on ressent aussi, on sent et on goûte. Cette idée pourrait changer notre interaction avec la technologie.

Cet article examine les technologies actuelles qui rendent possibles les expériences multisensorielles. Il compare la façon traditionnelle de diffuser des médias immersifs avec une nouvelle méthode qui utilise la communication sémantique alimentée par l'IA générative. La nouvelle méthode utilise beaucoup moins de bande passante, montrant comment l'IA générative pourrait transformer les expériences médiatiques. Cependant, on souligne aussi les défis à surmonter et à quoi pourraient ressembler les développements futurs.

L'introduction des réseaux mobiles 5G a changé nos attentes concernant Internet. On ne cherche plus seulement des connexions plus rapides ; on veut des expériences plus profondes et interactives. Cela a conduit à des idées comme le Metavers et les jumeaux numériques, apportant une gamme d'applications telles que la VR, la réalité augmentée (AR) et l'opération à distance. Dans ce contexte, quatre idées principales ont émergé pour connecter nos vies numériques et physiques : des machines intelligentes, des mondes programmables, des connexions durables et l'Internet des Sens.

L'IoS vise à créer un espace numérique totalement immersif qui va au-delà des limitations traditionnelles. En intégrant la vue, le son, le toucher, l'odorat et le goût dans les interactions numériques, on peut créer un monde virtuel plus engageant qui est aussi riche et multi-couches que notre réalité physique.

#Concepts Clés de l'IoS

On expérimente la vie à travers différents sens, en traitant divers signaux dans notre cerveau. Si on peut représenter ces sensations de manière précise, surtout celle du toucher, on peut améliorer les réactions et comportements des gens. La technologie IoS peut permettre aux gens d'expérimenter toute une gamme de sensations à distance, impactant des industries comme la santé, l'éducation et le tourisme. Cependant, pour que l'IoS soit vraiment efficace, il faut surmonter des défis comme la synchronisation des médias, la réduction du mal de mer et la minimisation des retards de communication. Collecter des données à partir de différentes sources sensorielles, comme les visuels et les sons, est crucial pour faire fonctionner une expérience multisensorielle.

Un défi majeur est de s'assurer que toutes les entrées sensorielles arrivent au bon moment et qu'elles semblent réalistes. Si les expériences virtuelles ne correspondent pas aux vraies sensations, cela peut perturber le cerveau, entraînant de l'inconfort. Pour éviter cela, il faut améliorer le réalisme de ces sensations et garantir de faibles délais dans les dispositifs VR et AR. L'objectif est de transmettre des informations sensorielles avec une latence extrêmement faible, idéalement entre 1 et 10 millisecondes.

Concernant la fiabilité de communication pour les médias immersifs, on suggère que les générations futures de réseaux devraient atteindre une latence d'environ 1 milliseconde pour le streaming vidéo de haute qualité et le retour haptique, avec des besoins en bande passante allant de dizaines de mégabits par seconde à environ 1 téraoctet par seconde. Bien que les signaux de goût et d'odorat soient moins exigeants, ils doivent encore être parfaitement synchronisés avec les autres sens pour atteindre tout le potentiel de l'IoS.

Parmi les diverses technologies, la communication sémantique montre un bon potentiel pour une latence ultra-faible en se concentrant sur le sens des messages plutôt que sur l'envoi du signal entier. Cela offre une transmission plus rapide et plus efficace.

Les récentes avancées dans les systèmes d'IA ont introduit de Grands Modèles de Langage (LLMs). Ce sont des outils puissants qui peuvent compresser l'information en messages plus petits tout en gardant le sens. L’entraînement approfondi de ces modèles leur permet de générer, raisonner et s'adapter de manière que les modèles précédents ne pouvaient pas. Bien que les messages générés ne soient pas identiques aux originaux, ils partagent efficacement les significations voulues.

Les LLMs ont le potentiel de jouer un rôle crucial dans l'IoS en abordant des défis comme la synchronisation à travers l'estimation partielle des données et en améliorant l'intelligence des machines pour un meilleur contrôle lors des opérations à distance.

Récemment, les LLMs ont évolué pour gérer plusieurs types de médias, y compris le texte, l'audio et les images. Cela a conduit à des modèles de langage multimodaux (MLLMs) qui peuvent comprendre et répondre à une plus large gamme de communications humaines. Ces avancées peuvent faciliter des interactions plus naturelles, comme traduire des images ou de l'audio en texte.

On vise à démontrer les avantages des LLMs dans l'amélioration de l'efficacité de la communication médiatique immersive. Plus précisément, on examine le streaming vidéo à 360 degrés d'un drone comme exemple de communication sémantique. Le processus inclut la détection d'objets et la génération de texte descriptif avant de le transmettre au serveur, où un LLM convertit la description en code pour l'affichage virtuel. Ce code est ensuite envoyé à l'utilisateur, lui permettant de voir la représentation numérique.

#Concepts Clés de l'IoS

L'IoS est basé sur une communication totalement immersive qui nécessite de prendre en compte tous les sens humains. Le designer et le chercheur doivent réfléchir à la manière de diffuser numériquement les signaux sensoriels pour le toucher, le goût, l'odorat, le son et la vue. Ce concept cherche à mélanger le monde réel avec l'environnement numérique pour soutenir une communication à distance qui semble authentique. Cela implique de catégoriser les entrées sensorielles dans des domaines spécifiques comme le toucher, le goût, l'odorat, le son et la vue, complétées par des Interfaces cerveau-ordinateur (BCIs).

#Internet du Toucher

Le toucher, ou sensation haptique, améliore nos expériences immersives. Dans la formation VR ou l'opération à distance, le toucher aide à recréer les sensations physiques nécessaires pour des tâches comme la chirurgie. Pour atteindre des expériences de toucher optimales, il faut des temps de réponse rapides et une faible latence. La Technologie haptique peut varier de simples vibrations à des systèmes complexes qui offrent un retour réaliste. Des appareils comme les gants haptiques et les contrôleurs de retour permettent aux utilisateurs d'interagir avec des objets virtuels.

#Internet du Goût

Le goût consiste à détecter et interpréter les saveurs. Alors que la VR traditionnelle se concentre sur les visuels et les sons, ajouter le goût pourrait améliorer l'engagement et rendre les expériences plus réalistes. Les technologies actuelles explorent comment stimuler les récepteurs gustatifs, mais reproduire le goût est difficile puisque cela dépend fortement des autres sens.

#Internet de l'Odorat

La technologie des senteurs numériques implique de détecter ou de générer des parfums. Cela peut être utilisé dans diverses industries, comme le contrôle de la qualité des aliments ou l'amélioration des expériences dans la formation, le tourisme et la thérapie. L'odorat peut affecter considérablement nos émotions et notre productivité. Les appareils conçus pour libérer des senteurs peuvent améliorer les expériences en synchronisant les odeurs avec des stimuli visuels et audio.

#Internet de l'Audio

L'audio spatial aide à créer des expériences sonores qui semblent venir de différents points dans l'espace. C'est important pour les environnements immersifs où l'audio synchronisé complète les visuels.

#Interface Cerveau-Ordinateur (BCI)

Les BCI permettent une communication directe entre le cerveau et les machines, rendant l'interaction humaine avec la technologie plus fluide. Dans le contexte de l'IoS, les BCI peuvent aider à exécuter des actions basées sur des perceptions sensorielles.

#Pourquoi Nous Avons Besoin de l'IoS

L'IoS peut améliorer considérablement les expériences utilisateur dans divers domaines. Par exemple, dans le divertissement, cela peut rendre les interactions plus engageantes et réalistes. Dans la santé, cela peut offrir un meilleur suivi et des options de traitement. Dans les affaires, cela peut améliorer les expériences d'achat et les stratégies marketing. L'IoS peut changer la façon dont les humains interagissent avec les machines, rendant cela plus naturel et intuitif, éliminant le besoin de dispositifs d'entrée traditionnels. Cela offre également une sécurité dans des situations à risque en permettant le contrôle à distance des machines.

#Interfaces de l'IoS

Les applications AR, VR et de réalité mixte actuelles se concentrent principalement sur la vue et le son, mais des recherches montrent qu'incorporer le goût et l'odorat peut augmenter l'immersion et le réalisme. En engageant plusieurs sens, les interfaces de l'IoS peuvent aider à réduire l'inconfort et à promouvoir l'engagement des utilisateurs, posant les bases de la création d'un environnement virtuel totalement immersif.

#Interface Utilisateur Haptique

Les interfaces haptiques ajoutent des sensations de toucher aux expériences XR, améliorant la façon dont les utilisateurs interagissent avec les environnements virtuels. Elles reproduisent des sensations réelles, permettant des interactions naturelles avec des objets virtuels.

#Interface Olfactive

L'odorat peut impacter considérablement les émotions et les souvenirs. En intégrant l'odorat dans les expériences XR, les développeurs peuvent créer des environnements plus immersifs et réalistes en utilisant des dispositifs qui libèrent des senteurs en réponse à des indices visuels ou audio.

#Interface Gustative

Les interfaces gustatives sont un domaine en développement qui vise à inclure les sensations de goût dans les expériences virtuelles, offrant des environnements multisensoriels plus riches.

#Interface Cerveau-Ordinateur (BCI)

Les BCI connectent l'activité cérébrale aux machines, créant des opportunités pour améliorer les capacités et les traitements médicaux. Cela peut également conduire à des expériences de jeu immersives où les utilisateurs contrôlent des personnages par la pensée.

#Interface Utilisateur Naturelle (NUI)

Les NUI utilisent des interactions naturelles pour la communication entre les humains et les machines, comme la reconnaissance vocale ou gestuelle. Les récentes avancées dans les interfaces contrôlées par la voix comme Alexa et Siri ont rendu ces méthodes populaires.

#Interface Utilisateur Ambient (AUI) et Interface Utilisateur Conversationnelle (CUI)

Ces interfaces permettent des interactions plus intuitives en s'adaptant aux besoins et aux styles de communication des utilisateurs.

#Modèles de Base pour l'IoS

Le développement de grands modèles de langage (LLMs) et de modèles multimodaux marque un changement significatif dans notre façon de créer et de transmettre du contenu vidéo. Les recherches montrent que les LLMs peuvent efficacement compresser et représenter des images et des vidéos avec une perte de qualité minimale.

#Architecture Proposée pour l'IA Générative dans la Communication Immersive

Les récentes avancées dans les LLMs représentent un changement dans notre façon de gérer le streaming vidéo. On explore trois scénarios où les LLMs peuvent être utilisés pour la transmission vidéo. Dans le premier cas, les LLMs servent de compresseurs pour transmettre une qualité supérieure sans sacrifier beaucoup. Dans le second cas, les LLMs fournissent des descriptions textuelles au lieu de vidéo brute, ce qui utilise moins de données. Le troisième cas implique de convertir des informations visuelles en code plus facile à transmettre.

#Description du Cas d'Utilisation

Pour illustrer les défis et les solutions, considérons un opérateur de drone qui contrôle à distance un drone dans une forêt dense. Cette situation présente des limitations de bande passante qui affectent la vidéo diffusée à l'opérateur. L'opérateur ne peut recevoir que la vidéo et le son, ce qui ne transmet pas pleinement l'environnement. Pour traiter ces problèmes, on suggère d'utiliser la communication sémantique pour améliorer l'expérience tout en réduisant la bande passante.

#Architecture Proposée pour la Communication Immersive Permise par l'IA Générative

Notre configuration proposée permet aux utilisateurs de visualiser des objets 3D animés basés sur des images capturées par une caméra à 360 degrés d'un drone. L'utilisateur VR contrôle le drone tout en recevant des données sensorielles sur l'environnement, y compris la température et les vibrations. Le système vise à fournir une atmosphère riche qui s'aligne avec la vue virtuelle de l'utilisateur.

#Drone

Le drone capture et diffuse des vidéos en direct avec ses données de position à l'utilisateur. Il traite les informations visuelles pour détecter des objets et envoyer des annotations à un serveur cloud.

#Serveur Cloud

Le serveur cloud se connecte à deux LLMs : un pour améliorer la légende des images et un autre pour générer du code pour créer du contenu immersif. Cela permet d'obtenir des descriptions détaillées sans submerger les utilisateurs.

#Edge Cloud

Le cloud edge gère le streaming vidéo et s'occupe de la transmission des messages. Il s'assure que le système fonctionne sans accroc, permettant une communication efficace entre le drone, l'utilisateur et le cloud.

#Résultats Expérimentaux

La configuration expérimentale a impliqué de faire voler un drone près d'une université tout en diffusant des vidéos à 360 degrés. Cette phase expérimentale a mesuré divers indicateurs tels que la bande passante et la latence entre la méthode traditionnelle et notre approche proposée.

#Défis et Directions de Recherche

#Scalabilité Multi-Utilisateur

Créer des systèmes capables de soutenir de nombreux utilisateurs simultanément est un défi. Pour cela, les réseaux futurs devraient ajuster dynamiquement les ressources et les services sans compromettre l'expérience utilisateur.

#Latence et Traitement en Temps Réel

Pour une expérience totalement immersive, les systèmes doivent traiter d'énormes données sensorielles rapidement. Cela nécessite des avancées dans l'infrastructure réseau et les technologies de calcul.

#Limitations de Calcul Edge

Déployer des LLMs sur des dispositifs plus petits peut être difficile en raison de leurs besoins de calcul élevés. Des solutions efficaces doivent être trouvées pour faire fonctionner des LLMs sans compromettre les performances.

#Consommation d'Énergie

Les LLMs consomment beaucoup d'énergie, ce qui pourrait rapidement vider les appareils mobiles. Des solutions sont nécessaires pour les rendre plus pratiques pour un usage quotidien.

#Intégration et Interopérabilité

Le développement d'un IoS sans couture qui fonctionne avec divers appareils et protocoles nécessitera des stratégies réseau innovantes.

#Conclusion

Cet article a introduit un cadre pour intégrer des grands modèles de langage avec l'Internet des Sens dans le contexte des réseaux 6G. On a exploré comment les LLMs peuvent améliorer la communication médiatique immersive et proposé un cas d'utilisation pratique pour démontrer leur efficacité. Bien que les LLMs puissent économiser une bande passante significative, la réduction de la latence reste un axe clé pour l'avenir. Une solution proposée est l'ajustement des LLMs pour améliorer leur efficacité, avec des projets d'exploration d'applications supplémentaires dans la détection d'objets à distance et la légende.