Simple Science

La science de pointe expliquée simplement

# Informatique# Interaction homme-machine

Réinventer l'éducation en anatomie avec l'IA et la RV

Cette étude examine comment l'IA améliore l'apprentissage de l'anatomie en réalité virtuelle.

― 8 min lire


VR alimenté par l'IA pourVR alimenté par l'IA pourapprendre l'anatomiedans l'éducation en réalité virtuelle.Une étude montre les avantages de l'IA
Table des matières

La Réalité Virtuelle (VR) change la façon dont on apprend, surtout dans des domaines comme l'anatomie. Cette technologie permet aux étudiants d'interagir avec des modèles 3D du corps humain d'une manière que les manuels et les cours ne peuvent pas. Les méthodes traditionnelles d'apprentissage de l'anatomie, souvent basées sur la lecture, les cours magistraux ou la dissection de cadavres, ont leurs limites. Ça inclut un manque d'interactivité, des coûts élevés et des problèmes éthiques. Avec la VR, les étudiants peuvent aborder l'anatomie de manière plus pratique.

Malgré les avantages de la VR, il n'y a pas eu beaucoup de recherches sur l'utilisation des assistants virtuels alimentés par l'intelligence artificielle (IA) pour aider les étudiants à apprendre l'anatomie. Cet article présente un nouvel environnement VR où les utilisateurs peuvent interagir avec un assistant virtuel IA capable de répondre à des questions sur l'anatomie. Cet assistant peut communiquer verbalement, rendant le processus d'apprentissage plus engageant.

Contexte

L'Éducation en anatomie est cruciale pour les étudiants en médecine. Ils doivent comprendre les structures et fonctions du corps humain pour réaliser des procédures médicales efficacement. Traditionnellement, les étudiants apprennent à travers des manuels, des cours et des dissections de cadavres. Cependant, ces méthodes peuvent être coûteuses et ne fournissent pas toujours l'expérience interactive dont les étudiants ont besoin.

Il existe différentes façons d'évaluer les connaissances en anatomie, comme les examens écrits et oraux. Des outils comme la taxonomie de Bloom modifiée d'Anderson offrent un cadre pour créer des questions de complexité variable, aidant ainsi les étudiants à mieux apprendre.

Ces dernières années, la VR a émergé comme un outil utile pour l'éducation en anatomie. Elle offre un environnement plus engageant où les étudiants peuvent interagir avec des modèles 3D. Avec la VR, les étudiants peuvent apprendre sans les problèmes éthiques liés à l'utilisation de cadavres. Ça permet aussi des expériences d'apprentissage collaboratives, en accord avec les principes éducatifs.

Malheureusement, de nombreux systèmes VR utilisent des scénarios fixes qui ne s'adaptent pas aux besoins d'apprentissage individuels. C'est là qu'une IA générative peut vraiment améliorer l'expérience d'apprentissage. Contrairement aux assistants virtuels conventionnels qui suivent des scripts rigides, l'IA peut générer des conversations plus naturelles et engageantes, rendant l'interaction plus humaine.

Qu'est-ce que l'IA générative ?

L'IA générative fait référence à une technologie capable de produire du texte, des images ou d'autres médias selon les entrées de l'utilisateur. Dans l'éducation, les chatbots alimentés par l'IA générative peuvent répondre aux questions des étudiants en temps réel, offrant une assistance plus personnalisée. Ces systèmes d'IA utilisent de grandes quantités de données provenant de diverses sources, ce qui améliore leur capacité à fournir des informations précises et pertinentes.

Dans cette étude, nous avons développé un environnement VR immersif qui inclut un assistant virtuel IA générative conçu pour aider les étudiants à apprendre l'anatomie. Cet assistant peut répondre à différents types de questions et engager une communication verbale.

Objectifs de recherche

L'étude vise à atteindre trois objectifs principaux :

  1. Évaluer la performance des utilisateurs lors de l'interaction avec l'assistant IA génératif dans différentes configurations.
  2. Évaluer les expériences subjectives des participants, comme l'utilisabilité et la charge mentale.
  3. Identifier les avantages et limites potentiels de l'utilisation de l'IA générative dans l'éducation en anatomie.

Méthodologie

Participants

Un total de 16 participants ont été sélectionnés pour l'étude. Ils ont été recrutés à l'Université du Delaware et devaient répondre à certains critères, comme avoir 18 ans et une vision normale ou corrigée. Les participants ont suivi un processus pour se familiariser avec l'équipement VR avant le début de l'étude.

Environnement VR

L'environnement VR a été créé en utilisant le moteur de jeu Unity. Il inclut des modèles 3D interactifs de l'anatomie humaine. Les participants pouvaient saisir, redimensionner et faire pivoter les modèles pendant la session de formation. La configuration VR utilisait un casque Valve Index et des contrôleurs, permettant aux utilisateurs de se déplacer facilement dans l'espace virtuel.

Intégration de l'IA

Le service AI génératif, ChatGPT, a été intégré dans l'environnement VR pour servir d'assistant virtuel. Cet assistant pouvait répondre à des questions et engager une conversation avec les participants. L'assistant était conçu pour fournir des réponses animées par la synchronisation des lèvres et des expressions faciales, rendant l'interaction plus réaliste.

Conception de l'étude

L'étude a été menée en utilisant un design intra-sujets, où chaque participant a expérimenté à la fois les configurations avec avatar et écran de l'assistant virtuel. Les questions posées aux participants variaient en complexité cognitive : certaines étaient des questions de connaissance simples, tandis que d'autres nécessitaient une analyse plus approfondie.

Collecte de données

Les données ont été collectées sur plusieurs aspects :

  • Temps de réalisation des tâches : Le temps qu'il a fallu aux participants pour répondre aux questions.
  • Nombre d'interactions : Combien de fois les participants ont demandé de l'aide à l'assistant virtuel.
  • Scores : Si les réponses fournies étaient correctes ou incorrectes.

Les participants ont également rempli des questionnaires pour évaluer leurs sentiments sur l'utilisabilité, la charge de travail et le sentiment de présence dans l'environnement virtuel.

Résultats

Performance des utilisateurs

L'étude s'est principalement concentrée sur la performance des participants lors de l'interaction avec l'assistant IA génératif.

  • Temps de réalisation des tâches : Les deux configurations de l'assistant virtuel avaient des temps de réalisation similaires. Cependant, les participants avaient tendance à répondre plus vite aux questions basées sur des connaissances en utilisant la configuration avec avatar.
  • Nombre d'interactions : Les participants ont eu plus d'interactions avec l'assistant virtuel dans la configuration avec avatar, surtout en répondant à des questions basées sur l'analyse.
  • Scores : Les participants ont obtenu de meilleurs scores sur les questions basées sur des connaissances en utilisant la configuration avec avatar par rapport à la configuration avec écran.

Expériences subjectives

Les participants ont donné des retours sur leurs expériences :

  • Utilisabilité : Les participants ont généralement trouvé les deux configurations utilisables, avec des scores SUS indiquant que les deux étaient efficaces pour l'apprentissage.
  • Charge de travail : Les réponses ont indiqué que les participants ressentaient une demande mentale plus élevée que la demande physique en utilisant l'assistant virtuel.
  • Sentiment de présence : Les participants ont rapporté ressentir un sentiment de présence dans l'environnement virtuel, certains aspects ayant des scores plus élevés que d'autres.

Retours

Lors des interviews, les participants ont exprimé une préférence pour l'avatar en raison de ses qualités immersives mais ont noté quelques problèmes avec la synchronisation vocale. Ils ont souligné le besoin d'une meilleure planification des questions pour assurer des interactions fluides.

Discussion

Les résultats indiquent que la VR avec un assistant IA génératif peut améliorer l'éducation en anatomie en offrant une expérience d'apprentissage plus interactive et engageante. Les participants ont montré une préférence pour la configuration avec avatar pour sa capacité à créer une interaction plus réaliste.

Bien que les deux configurations aient leurs avantages, l'étude suggère qu'une approche combinée utilisant les forces de chacune pourrait être bénéfique. La présence de l'avatar pourrait être utile pour des questions complexes, tandis que l'écran pourrait aider pour des tâches plus simples.

Limitations

L'étude était limitée par sa petite taille d'échantillon de 16 participants. Cela restreint la généralisabilité des résultats. Il y avait aussi des variations dans la manière dont les participants ont formulé leurs questions, affectant les réponses qu'ils ont reçues.

De plus, certains participants ont rencontré des difficultés avec la technologie de reconnaissance vocale, en particulier ceux avec des accents ou qui parlaient rapidement. Ces problèmes ont pu impacter leur capacité à obtenir des réponses correctes.

Futurs recherches

Basé sur les résultats, des recherches futures devraient considérer :

  1. Taille d'échantillon plus grande : Augmenter le nombre de participants aidera à valider les résultats.
  2. Amélioration des réponses de l'IA : D'autres travaux sont nécessaires pour garantir que l'IA puisse gérer efficacement des questions d'analyse complexes.
  3. Expérience utilisateur : Comprendre les niveaux variés d'expérience des participants avec la VR et l'IA aidera à concevoir de futures études.
  4. Fonctionnalités étendues : Incorporer des fonctionnalités plus avancées, comme la reconnaissance des émotions et le retour gestuel, pourrait améliorer l'engagement.

Conclusion

Cette étude met en avant le potentiel d'utiliser l'IA générative dans un environnement VR pour améliorer l'éducation en anatomie. En combinant les qualités immersives de la VR avec des assistants virtuels intelligents, les étudiants peuvent bénéficier d'une expérience d'apprentissage plus interactive et personnalisée. À mesure que la technologie continue d'évoluer, il est essentiel d'explorer davantage ses bénéfices et ses limitations, en veillant à ce que les méthodes éducatives progressent avec les avancées en IA et en VR.

Source originale

Titre: Towards Anatomy Education with Generative AI-based Virtual Assistants in Immersive Virtual Reality Environments

Résumé: Virtual reality (VR) and interactive 3D visualization systems have enhanced educational experiences and environments, particularly in complicated subjects such as anatomy education. VR-based systems surpass the potential limitations of traditional training approaches in facilitating interactive engagement among students. However, research on embodied virtual assistants that leverage generative artificial intelligence (AI) and verbal communication in the anatomy education context is underrepresented. In this work, we introduce a VR environment with a generative AI-embodied virtual assistant to support participants in responding to varying cognitive complexity anatomy questions and enable verbal communication. We assessed the technical efficacy and usability of the proposed environment in a pilot user study with 16 participants. We conducted a within-subject design for virtual assistant configuration (avatar- and screen-based), with two levels of cognitive complexity (knowledge- and analysis-based). The results reveal a significant difference in the scores obtained from knowledge- and analysis-based questions in relation to avatar configuration. Moreover, results provide insights into usability, cognitive task load, and the sense of presence in the proposed virtual assistant configurations. Our environment and results of the pilot study offer potential benefits and future research directions beyond medical education, using generative AI and embodied virtual agents as customized virtual conversational assistants.

Auteurs: Vuthea Chheang, Shayla Sharmin, Rommy Marquez-Hernandez, Megha Patel, Danush Rajasekaran, Gavin Caulfield, Behdokht Kiafar, Jicheng Li, Pinar Kullu, Roghayeh Leila Barmaki

Dernière mise à jour: 2024-01-24 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2306.17278

Source PDF: https://arxiv.org/pdf/2306.17278

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires