OpenOmni : Faire avancer les agents de conversation multimodaux

Les agents de conversation multimodaux sont des outils qui permettent aux gens de discuter avec des ordinateurs d'une manière plus naturelle. Ces agents peuvent utiliser plusieurs formes de communication, comme la voix, la vidéo et le texte, pour améliorer les interactions. Cependant, malgré l'intérêt pour ces technologies, il n'existe pas beaucoup de solutions complètes qui aident les gens à travailler ensemble pour les créer et les tester.

Les grands acteurs de ce domaine, comme OpenAI et Google, ont réalisé des avancées impressionnantes. Leurs systèmes peuvent combiner audio, vidéo et texte pour répondre rapidement, généralement en environ 200 à 250 millisecondes. Pourtant, il reste des défis importants à relever. Cela inclut s'assurer que les réponses sont précises, maintenir des coûts raisonnables et protéger les données des utilisateurs.

Pour aborder ces problèmes, nous avons développé OpenOmni. C'est un outil open source qui permet aux chercheurs de créer et d'évaluer des agents de conversation. OpenOmni combine des technologies importantes, y compris la conversion de la parole en texte, la Détection des émotions et la génération de réponses basées sur de Grands Modèles de Langage. L'outil permet également aux utilisateurs de créer leurs propres modèles.

OpenOmni peut être exécuté sur des ordinateurs locaux ou dans le cloud. Cette flexibilité aide à garantir que les données des utilisateurs restent privées tout en permettant aux chercheurs de mesurer la rapidité de réponse de leurs agents et la précision de ces réponses. Avec cet outil, les chercheurs peuvent personnaliser le fonctionnement de leurs agents de conversation, leur permettant de se concentrer sur de réels problèmes et de créer des prototypes rapidement.

Un domaine où OpenOmni peut être particulièrement utile est d'aider les personnes malvoyantes à naviguer plus facilement dans leur environnement. En intégrant des technologies avancées, OpenOmni soutient une variété d'applications qui améliorent l'interaction homme-machine.

#Construire un meilleur agent de conversation

Les grands modèles de langage (LLMs) ont montré un grand potentiel pour comprendre ce que les utilisateurs veulent et donner des réponses appropriées. Cependant, compter uniquement sur le texte pour interagir laisse souvent à désirer. Le dernier modèle d'OpenAI, GPT-4o, peut raisonner avec audio, vidéo et texte en temps réel, atteignant des vitesses impressionnantes. Pourtant, les détails techniques de son système restent un mystère.

Bien que d'autres solutions existent, il n'y a pas d'outils open source disponibles qui démontrent pleinement des agents de conversation multimodaux en ligne. L'installation idéale permettrait aux utilisateurs d'interagir avec des ordinateurs de manière à imiter l'interaction humaine en utilisant la vidéo et l'audio pour l'entrée et en générant une sortie sonore.

Malgré la disponibilité de nombreux blocs de construction, aucun outil open source complet n'existe pour promouvoir la recherche dans ce domaine. L'intégration des modèles existants, comme la conversion de la parole en texte ou la génération de discours à partir de texte, présente des défis, surtout lorsqu'il s'agit d'équilibrer vitesse et précision.

Historiquement, parvenir à un bon niveau de précision a été difficile. Cependant, les avancées dans les grands modèles de langage ont amélioré la pertinence des réponses. Le principal défi est de réduire le temps de réponse du système sans sacrifier la précision. Bien que certaines entreprises aient montré qu'il est possible d'y parvenir, la communauté open source manque d'alternatives similaires.

De plus, des préoccupations entourent la confidentialité des données. De nombreux modèles propriétaires nécessitent le téléchargement de données personnelles, ce qui soulève des questions importantes sur la gestion des informations. Pour promouvoir le développement responsable des conversations multimodales, établir des méthodes d'évaluation et de test claires est crucial.

Par exemple, si un utilisateur parle d'un ton triste, le système doit répondre d'une manière qui reconnaît cette émotion. Évaluer à quel point cette interaction fonctionne est essentiel pour l'acceptation de la technologie.

#Ce qu'OpenOmni vise à réaliser

Notre objectif avec OpenOmni est de :

1. Créer un cadre open source qui permet aux utilisateurs de personnaliser leurs agents de conversation de A à Z.
2. Proposer des options d'utilisation du système entièrement localement ou dans un environnement contrôlé, abordant ainsi les problèmes de confidentialité des données.
3. Offrir des outils pour mesurer la rapidité et la précision des opérations du système, facilitant ainsi le développement et le test de nouvelles idées.

OpenOmni intègre diverses technologies comme la Reconnaissance vocale, la détection des émotions et la Génération de texte. Il collecte des données vidéo et audio, les traite, puis génère une réponse. Cela facilite la collecte d'informations de différentes sources et la fourniture de réponses adaptées.

L'outil peut être installé sur un ordinateur personnel, ce qui facilite la protection des données des utilisateurs. Les chercheurs peuvent utiliser le système pour collecter facilement des données et mesurer les performances, ce qui se traduit par des rapports clairs sur les défis rencontrés.

Le cadre est flexible, permettant aux utilisateurs de l'adapter à leurs besoins spécifiques, comme la création d'agents de conversation pour aider les personnes dans différents contextes. Chaque partie du système peut être activée ou désactivée en fonction des besoins des utilisateurs, rendant l'ensemble efficace dans diverses circonstances.

De plus, les utilisateurs peuvent ajouter leurs propres modèles au système. Cela encourage l'expérimentation et l'amélioration continues. OpenOmni permet aux chercheurs de se concentrer sur les problèmes majeurs sans avoir à repartir de zéro.

#Approches existantes des systèmes de conversation

Les systèmes de conversation traditionnels utilisent souvent une stratégie de séparation et de conquête. Cela signifie que le processus est divisé en différentes parties : convertir la parole en texte, comprendre les images, générer des réponses textuelles appropriées et reconvertir le texte en parole. Chaque composant doit bien fonctionner, mais parfois, la performance globale souffre de retards et d'erreurs qui s'accumulent en cours de route.

Bien que cette approche modulaire permette d'optimiser chaque pièce, ces mêmes retards peuvent rendre le système complet inadapté à une utilisation réelle.

GPT-4o, commercialisé comme un système entièrement intégré, prétend gérer des entrées vidéo, audio et textuelles pour générer des sorties pertinentes. Cependant, le fonctionnement exact de ce système reste flou.

Une approche totalement intégrée permet théoriquement plus de flexibilité dans les réponses et peut entraîner des temps de réaction plus rapides puisque cela n'a pas à coordonner entre différentes parties. Cependant, les deux méthodes font face à des défis en raison des grandes quantités de données impliquées, notamment avec la vidéo, qui peut mettre d'énormes exigences sur les ressources et entraîner des coûts plus élevés.

À mesure que la technologie avance, de nouvelles options émergent. Par exemple, une approche récente consiste à combiner le traitement des entrées vidéo avec la reconnaissance vocale. Ce modèle hybride peut améliorer les performances en permettant des réponses plus rapides et des sorties plus précises.

#Défis dans des contextes réels

Créer des agents de conversation multimodaux efficaces peut être délicat en raison de trois facteurs principaux : la vitesse (latence), la précision et le coût. Trouver le bon équilibre est essentiel si ces agents doivent être largement utilisés. Obtenir des réponses en temps réel est particulièrement difficile, de nombreux systèmes visant des temps de réponse d'environ 200 à 400 millisecondes.

Pour assurer une collaboration efficace au sein de la communauté, des métriques d'évaluation cohérentes sont nécessaires. Par exemple, mesurer la précision dans la conversion de la parole en texte peut se faire à l'aide du Taux d'Erreur de Mots (WER), où des scores plus bas indiquent une meilleure performance. D'autres métriques d'évaluation existent pour évaluer la génération de texte et la qualité des sorties vocales.

Des méthodes d'évaluation innovantes sont cruciales pour les applications pratiques, comme un outil d'assistance en intérieur pour les personnes âgées qui doit éviter des sujets sensibles. Étant donné que les préférences des utilisateurs varient, des cadres d'évaluation personnalisables sont essentiels pour des applications efficaces.

#Architecture du système OpenOmni

Le système OpenOmni est structuré en cinq parties principales : Client, API, Stockage, Interface utilisateur, et Agent. Le Client collecte des données audio et vidéo et joue des réponses audio. L'API gère les données et la communication entre les modules, tandis que la composante Stockage conserve les médias et les métadonnées en sécurité.

Des outils et des cadres comme Django et PostgreSQL sont utilisés pour développer le système. En utilisant Docker, la configuration de l'ensemble du système est simple, permettant un fonctionnement efficace.

Partager de grandes quantités de données à travers les différentes parties du système peut être un défi, surtout si les données sont traitées dans le cloud. Bien que les options locales réduisent les délais, les solutions cloud aident avec des ensembles de données plus volumineux.

Un défi pour développer ces agents est le manque de jeux de données solides pour l'entraînement. Bien qu'il existe de nombreuses sources d'interactions humaines, organiser ces données en ensembles d'entraînement utiles peut être compliqué. OpenOmni fournit des outils essentiels pour organiser et gérer ces données.

#Tests dans le monde réel avec OpenOmni

Nous avons réalisé une série de tests en utilisant des segments d'événements médiatiques importants, comme des débats politiques. Différentes configurations d'OpenOmni ont été testées pour mesurer leurs performances. Par exemple, une configuration a combiné plusieurs technologies pour analyser l'audio, la vidéo et le texte, tandis qu'une autre ne regardait que l'audio.

Les résultats ont montré des temps de réponse moyens différents selon le modèle utilisé, allant d'environ 15 à 189 secondes. Chaque configuration avait des forces et des faiblesses, qui étaient automatiquement enregistrées dans des rapports de référence.

Les premiers tests de précision ont révélé que bien que certains modèles se soient bien comportés dans leur contexte, leurs réponses pouvaient souvent être trop généralisées. De plus, certains modèles se sont particulièrement bien comportés dans des évaluations subjectives mais ont eu du mal avec des questions plus factuelles.

Pour des contextes pratiques, comme aider les personnes malvoyantes, OpenOmni a montré du potentiel. Cependant, d'autres améliorations sont nécessaires pour augmenter la rapidité et les compétences spécifiques de ces agents de conversation.

#Conclusion

Le développement d'agents de conversation multimodaux représente une opportunité excitante de créer des interactions plus naturelles entre les humains et les machines. Bien qu'il existe des avancées prometteuses, des défis subsistent dans l'équilibre entre rapidité, précision et coût.

OpenOmni offre une voie aux chercheurs et aux développeurs pour construire, tester et améliorer leurs agents conversationnels. En offrant flexibilité, options de personnalisation et outils d'évaluation robustes, OpenOmni vise à favoriser davantage d'innovations dans les interactions multimodales, en faisant un atout précieux pour une large gamme d'applications.