Présentation de LEXI : Un outil pour la recherche HAI

Les récentes avancées dans les Modèles de Langage de grande taille (LLM) changent notre façon d'interagir avec des agents artificiels. Ces agents deviennent de plus en plus courants dans de nombreux domaines de la vie, et leur influence sur les utilisateurs ne cesse de croître. Cependant, la recherche sur la façon dont les gens interagissent socialement avec ces agents alimentés par LLM en est encore à ses débuts. L'accès à la technologie et aux données nécessaires est limité, il n'existe pas d'interfaces standardisées, et les chercheurs rencontrent des défis lorsqu'il s'agit de mettre en place des expériences contrôlées.

Pour aider à ces problèmes, un nouvel outil appelé LEXI a été développé. LEXI, qui signifie Interface d'Expérimentation des Modèles de Langage de Grande Taille, est un logiciel open-source qui permet aux chercheurs de créer et tester des agents artificiels alimentés par LLM dans des études d'interaction sociale. Avec une interface graphique conviviale, LEXI facilite la création d'agents, la mise en place d'expériences, la Collecte de données et l'analyse des interactions.

#Le Besoin de Meilleurs Outils de Recherche

Les agents artificiels conversationnels, comme les chatbots, sont souvent utilisés dans les études comportementales pour engager les utilisateurs et évoquer des réponses émotionnelles. Ces interactions peuvent changer la perception et le comportement des gens envers la technologie, impactant leurs émotions et leur bien-être général. L'ajout de LLM à ces agents représente une avancée importante dans la recherche sur les interactions humain-agent (HAI). Cependant, il existe encore un écart significatif dans l'investigation de la façon dont les utilisateurs interagissent avec des agents alimentés par LLM.

De nombreux chercheurs n'ont peut-être pas les outils ou ressources nécessaires pour utiliser efficacement ces modèles avancés. Ils manquent souvent d'accès à l'infrastructure adéquate et peuvent avoir du mal à intégrer les différents composants techniques nécessaires pour le déploiement. Cela conduit à une concentration sur l'observation du contenu produit par ces agents plutôt que sur l'étude des interactions réelles des utilisateurs. Pour combler cette lacune, nous avons besoin de plus de recherches empiriques sur la façon dont les gens interagissent avec ces agents avancés et les effets de différentes configurations et incitations sur le comportement des utilisateurs.

#Présentation de LEXI

LEXI est spécifiquement conçu pour réaliser des expériences sur HAI en utilisant la technologie LLM. L'outil fournit une interface graphique (GUI) qui permet aux chercheurs de solliciter des agents alimentés par LLM et de les déployer dans des conceptions expérimentales contrôlées. Il comprend des fonctionnalités pour collecter des données via des Questionnaires et des annotations, facilitant ainsi la collecte et l'analyse des interactions sociales.

En utilisant LEXI, les chercheurs peuvent gagner du temps et des ressources, permettant des études plus efficaces. Ils peuvent comparer systématiquement des incitations, des modèles et des comportements d'utilisateurs sans avoir à créer des agents à partir de zéro. Cette standardisation facilite des méthodes et des résultats expérimentaux plus robustes et reproductibles.

De plus, le design de LEXI reflète des interfaces de chatbot familières, aidant à maintenir la validité écologique en reflétant des scénarios du monde réel. Il inclut aussi un système d'enregistrement des participants, assurant des interactions à long terme entre chercheurs et participants, ce qui renforce l'engagement des utilisateurs.

#État Actuel du Développement des Chatbots

Avant que les LLM ne deviennent répandus, diverses plateformes en ligne aidaient les utilisateurs à créer des chatbots simples. Ces chatbots fonctionnaient principalement sur des scripts prédéfinis et étaient intégrés dans des plateformes de médias sociaux existantes. Bien que ces outils s'adressent principalement aux petites entreprises, ils ne soutenaient pas entièrement la communauté de recherche académique.

Certaines plateformes, comme Dialogflow de Google, permettaient aux utilisateurs de créer des chatbots basés sur des règles avec quelques personnalisations. Ces outils ont gagné en popularité dans la recherche, fournissant une communauté de développeurs significative et soutenant l'expérimentation. Cependant, avec l'émergence des LLM, l'accent sur les chatbots s'est déplacé vers l'utilisation des puissantes capacités des LLM.

Les chercheurs ont commencé à déployer leurs propres chatbots alimentés par LLM en utilisant diverses API, comme l'API OpenAI. Bien que ces chatbots faits maison offrent de la flexibilité, ils nécessitent souvent une expertise technique et peuvent être limités en fonctionnalités et en complexité. De nombreuses plateformes existantes, même celles destinées aux chercheurs, ne permettent pas le contrôle approfondi nécessaire dans les études empiriques.

#Défis des Plateformes Actuelles

Le paysage actuel révèle des lacunes dans la capacité à réaliser des expériences HAI rigoureuses et reproductibles. La plupart des plateformes répondent aux besoins des entreprises, manquant des fonctionnalités nécessaires pour gérer des expériences en cours ou collecter des données d'interaction détaillées. Les outils existants se concentrent souvent sur des interactions avec un seul agent, limitant la capacité d'étudier des conditions expérimentales complexes.

De plus, de nombreuses plateformes imposent des restrictions importantes sur la collecte de données. Les chercheurs utilisant ces plateformes n'ont souvent pas accès aux journaux d'interaction ou aux données auto-rapportées. En outre, l'approche DIY utilisant les API LLM, bien qu'efficace en ressources, conduit souvent à des agents simplifiés qui peuvent ne pas répondre aux exigences pour des configurations expérimentales rigoureuses.

#Design et Caractéristiques de LEXI

LEXI vise à fournir une solution aux défis rencontrés dans la recherche HAI. Il est conçu pour améliorer l'accès à la technologie LLM tout en maintenant un contrôle expérimental. Les chercheurs peuvent solliciter des agents alimentés par LLM via une interface graphique, ce qui aide à standardiser les études et améliorer la reproductibilité des méthodes et des résultats.

L'outil est open-source, ce qui le rend accessible aux chercheurs de divers horizons, y compris les sciences sociales et comportementales. Il encourage les contributions et la collaboration au sein de la communauté de recherche, promouvant l'inclusivité dans la recherche sur HAI.

#Caractéristiques Clés de LEXI

1. Interface Conviviale : La GUI de LEXI est conçue pour être intuitive, facilitant la mise en place et la Gestion des expériences sans compétences techniques étendues.

2. Gestion des Expériences : Les chercheurs peuvent créer et gérer des expériences détaillées. Ils peuvent facilement définir des paramètres, allouer des participants à différentes conditions et suivre l'état des expériences.

3. Création d'Agents : Les chercheurs peuvent créer et personnaliser des agents alimentés par LLM, spécifiant comment ils interagissent avec les utilisateurs en fonction des retours itératifs.

4. Formulaires et Questionnaires : LEXI permet aux chercheurs de créer des formulaires pour collecter des données auto-rapportées avant et après les interactions, rationalisant ainsi le processus de collecte de données.

5. Stockage et Analyse des Données : Les données collectées sont stockées dans une base de données MongoDB, permettant un accès facile et une exportation dans divers formats pour l'analyse.

#Test de Usabilité de LEXI

Pour évaluer la convivialité de LEXI, un test a été réalisé avec des chercheurs de différents domaines. Les participants ont été invités à accomplir une série de tâches en utilisant LEXI, comme configurer des agents et des expériences. Leurs retours ont été collectés concernant la facilité d'utilisation, le temps nécessaire pour accomplir les tâches et la charge mentale durant le processus.

Dans l'ensemble, les résultats ont montré que les participants trouvaient LEXI facile à utiliser, avec un temps minimal nécessaire pour l'achèvement des tâches. Les retours indiquaient une grande satisfaction quant au design et à la fonctionnalité de l'outil. Les chercheurs ont exprimé leur enthousiasme quant au potentiel de LEXI pour améliorer leurs études.

#Étude Pilote Utilisant LEXI

Pour valider les capacités de LEXI, une étude de preuve de concept a été réalisée en comparant des agents empathiques et neutres dans leur façon d'engager les utilisateurs. L'étude impliquait 100 participants assignés au hasard pour interagir avec soit un agent empathique, soit un agent neutre alimenté par GPT-3.5-turbo.

Les participants ont complété des questionnaires initiaux pour évaluer leur humeur et leurs données démographiques, puis ont interagi avec l'agent avant de signaler à nouveau leur humeur. Des journaux d'interaction ont été collectés pour une analyse plus approfondie.

#Résultats de l'Étude Pilote

L'étude a révélé que les participants interagissant avec l'agent empathique ont signalé des niveaux d'engagement émotionnel plus élevés, ont écrit des messages plus longs et ont exprimé des sentiments plus positifs par rapport à ceux interagissant avec l'agent neutre. De plus, les participants ont signalé des améliorations d'humeur après avoir interagi avec l'agent empathique.

Ces résultats soulignent l'importance du style de communication de l'agent dans la façon dont l'expérience utilisateur et le sentiment se forment. LEXI s'est avéré être un outil efficace pour collecter des données de haute qualité dans ce contexte.

#Considérations Éthiques dans la Recherche HAI

Avec la montée des LLM dans les contextes sociaux, il est crucial de comprendre les implications éthiques du déploiement d'agents artificiels. LEXI vise à contribuer à l'utilisation responsable des LLM en facilitant des recherches empiriques rigoureuses. Les résultats des études utilisant LEXI peuvent éclairer les meilleures pratiques et orientations pour une interaction éthique entre humains et agents IA.

Maintenir la vie privée des participants est également essentiel. Alors que les chercheurs déploient des agents avec LEXI, ils ont la responsabilité de protéger les données des participants, tout comme ils le feraient avec tout autre outil de recherche.

#L'Avenir de LEXI et de la Recherche HAI

Bien que LEXI fournisse actuellement des fonctionnalités clés pour réaliser des expériences complexes, le développement continu améliorera ses capacités. Les améliorations futures incluront plus d'options pour les conditions expérimentales, une mémoire améliorée et des connexions à divers LLM.

L'objectif est de créer un environnement de recherche polyvalent qui s'adapte aux besoins de la communauté de recherche HAI, rendant plus facile pour les chercheurs d'explorer les interactions avec des agents alimentés par LLM.

#Conclusion

En résumé, LEXI est un outil prometteur pour faire avancer la recherche sur les interactions sociales avec des agents artificiels alimentés par des Modèles de Langage de Grande Taille. En fournissant une interface conviviale et des fonctionnalités robustes pour gérer les expériences, LEXI aborde de nombreux défis rencontrés par les chercheurs dans ce domaine. À mesure qu'il évoluera avec les contributions continues de la communauté de recherche, LEXI continuera à faciliter des études innovantes qui approfondissent notre compréhension des interactions humain-agent et de leurs implications pour la société.