Simple Science

La science de pointe expliquée simplement

# Biologie# Neurosciences

Avancées dans les neuroprothèses pour la communication orale

De nouvelles technologies non invasives visent à améliorer les capacités de parole des personnes en situation de handicap.

― 10 min lire


La technologie desLa technologie desneuroprothèses transformeles aides à la parole.difficultés d'élocution.communication pour ceux qui ont desDes méthodes innovantes améliorent la
Table des matières

La technologie des Neuroprothèses devient un outil important pour les gens qui ont du mal à parler. Ça peut être à cause de divers problèmes de santé, comme les AVC du tronc cérébral, la sclérose latérale amyotrophique (SLA) ou des opérations sur la gorge qui rendent la parole difficile.

Beaucoup d'aides à la communication existantes, comme les systèmes de suivi des yeux, peuvent être assez lentes et épuisantes pour les utilisateurs. C'est particulièrement vrai pour les personnes atteintes de SLA à un stade avancé, qui peuvent avoir des problèmes supplémentaires avec leur vision et leurs mouvements oculaires. Heureusement, les récents développements dans les Interfaces cerveau-ordinateur (ICO) qui enregistrent l'activité cérébrale directement ont montré un grand potentiel. Ces dispositifs peuvent aider les utilisateurs à produire des mots à des vitesses plus proches de la parole normale. Cependant, ces méthodes nécessitent une chirurgie pour implanter des électrodes dans le cerveau, ce qui peut causer peur et inconfort chez les patients.

Il y a donc une forte volonté de créer des dispositifs de parole utilisant des méthodes non invasives pour enregistrer l'activité cérébrale. Cela rendrait la technologie de communication plus accessible aux personnes avec des handicaps de la parole.

Méthodes Non Invasives pour la Reconnaissance de la Parole

Il existe une variété de techniques non invasives pour décoder la parole à partir des signaux cérébraux. Certaines d'entre elles incluent l'imagerie par résonance magnétique fonctionnelle (IRMf), la magnétoencéphalographie (MEG) et l'électroencéphalographie (EEG). Alors que l'IRMf et la MEG offrent un bon détail spatial, elles nécessitent des équipements grands et complexes qui ne sont pas pratiques pour un usage quotidien.

D'un autre côté, l'EEG est plus simple et peut être utilisé dans des environnements plus naturels. Les récentes améliorations des systèmes EEG à ultra-haute densité ont permis d'obtenir une meilleure résolution dans les enregistrements, rendant le décodage de la parole plus efficace.

Mise en Place pour le Développement de Neuroprothèses de Parole

Pour créer une neuroprothèse de parole efficace, les chercheurs doivent rassembler des enregistrements cérébraux liés à la parole réelle. Cela signifie collecter des signaux du cerveau pendant que les gens parlent normalement. Cependant, décoder la parole qui est imaginée-plutôt que prononcée-nécessite des méthodes différentes, car aucun son vocal n'est produit.

Une approche courante pour la parole imaginée est de demander aux participants de penser des mots tout en suivant un rythme donné. Cependant, cette méthode a ses défis. Par exemple, les participants ne peuvent souvent pas contrôler le rythme et peuvent avoir du mal à produire des mots aussi naturellement qu'ils le feraient dans une conversation décontractée. Cela limite la quantité de données pouvant être collectées et affecte la qualité des informations obtenues.

De plus, des recherches suggèrent que les signaux de parole imaginée sont plus difficiles à interpréter que ceux de la parole réelle. Cela souligne le besoin de modèles de parole plus naturels dans le développement des ICO.

Enquête sur la Connexion entre la Parole Overt et Couverte

Pour créer des ICO de parole fonctionnels pour un usage quotidien, les chercheurs se concentrent sur des modèles de décodage basés sur l'EEG. Cependant, il reste encore des incertitudes sur la possibilité d'utiliser les données EEG collectées pendant la parole normale pour décoder la parole imaginée. La plupart des études EEG actuelles se sont concentrées soit sur la parole imaginée soit sur l'activité cérébrale avant que la parole ne commence, pour éviter les interférences provenant de l'activité musculaire pendant la parole.

L'objectif de cette recherche est d'étudier les liens entre la parole prononcée à voix haute et celle qui n'est que pensée. Les chercheurs ont collecté des données sur l'activité cérébrale à l'aide de systèmes EEG à ultra-haute densité, ainsi que sur les mouvements oculaires et l'activité musculaire faciale, pendant les périodes de parole et d'imagination de la parole. Ils ont ensuite créé des modèles pour prédire les mots prononcés et analysé quels signaux cérébraux contribuaient à un décodage réussi.

Expériences de Décodage EEG en Temps Réel

Lors d'une expérience, les chercheurs ont testé la capacité de classifier cinq mots différents prononcés par les participants dans trois conditions : parler à voix haute, chuchoter et penser silencieusement. Chaque participant utilisait une interface web pour indiquer des couleurs de boutons à cliquer.

Le volume de la parole diminuait de la parole à voix haute au chuchotement, puis à la pensée silencieuse. En utilisant l'EEG à ultra-haute densité, les chercheurs ont enregistré l'activité cérébrale pendant ces tâches de parole, en se concentrant sur les régions cérébrales clés liées à la production de la parole.

Chaque participant devait dire le même mot cinq fois, en utilisant un compte à rebours pour garder le rythme. Ils parlaient dans trois formats : parole claire, parole chuchotée et répétition silencieuse. Après cela, les chercheurs ont mesuré les signaux EEG, analysé les données, puis intégré ces signaux nettoyés dans un modèle conçu pour décoder les mots prononcés.

Défis de l'Interférence de l'Activité Musculaire

L'activité musculaire pendant la parole peut interférer avec la qualité des enregistrements EEG. Pour comprendre l'impact de cette interférence, les chercheurs ont mesuré les signaux des muscles faciaux en plus de l'EEG. Ils ont découvert que l'activité musculaire était beaucoup plus élevée pendant la parole claire par rapport au chuchotement ou à la pensée silencieuse.

En comparant dans quelle mesure les signaux musculaires ont informé les données EEG, les chercheurs ont pu voir comment l'activité musculaire a affecté la qualité des signaux cérébraux. Ils ont également examiné les connexions entre les signaux EEG et l'activité musculaire sur différentes étapes de prétraitement. L'objectif était de déterminer combien ils pouvaient isoler efficacement l'activité cérébrale liée à la parole du bruit musculaire.

Choisir les Bons Modèles de Décodage

Pour analyser l'activité cérébrale liée à la parole, les chercheurs ont examiné divers modèles de décodage. Ils ont étudié le CNN (Réseau de Neurones Convolutifs), le RNN (Réseau de Neurones Récurrents) et le SVM (Machine à Vecteurs de Support).

Bien que le CNN et le RNN se soient bien comportés pour prédire des mots lors des tests, le SVM a montré des performances inférieures. Par conséquent, EEGNet, un type spécifique de CNN, a été choisi pour une analyse plus approfondie en raison de ses performances supérieures.

Évaluer l'Impact de la Densité des Électrodes

Les chercheurs ont également étudié comment le nombre d'électrodes impactait la précision des prédictions de mots. En testant des modèles avec différents nombres d'électrodes, de quatre à trente-deux, ils ont déterminé qu'utiliser plus d'électrodes augmentait généralement la précision. Cependant, les améliorations étaient les plus significatives lors des tâches de parole chuchotée.

Contributions Distinctes de l'EEG et de l'EMG

Ensuite, les chercheurs ont exploré comment les signaux EEG différaient des signaux d'activité musculaire pendant les tâches de parole. Ils ont mis en place un modèle de décodage séparé pour chaque type de signal et comparé leur efficacité en prédiction de mots. Cette analyse a révélé des chevauchements de timing entre les signaux musculaires et cérébraux, mais ils se concentraient principalement sur des périodes différentes.

L'analyse a montré des différences significatives dans les signaux liés à la parole et aux activités musculaires, soulignant l'importance de supprimer le bruit musculaire pour un décodage précis de l'activité cérébrale liée à la parole.

Explorer l'Impact des Filtres Adaptatifs

Une des techniques clés utilisées pour améliorer les enregistrements EEG était l'implémentation de filtres adaptatifs visant à réduire l'interférence de l'activité musculaire. Ces filtres ont aidé à diminuer l'influence des signaux musculaires sur les données EEG.

En comparant les contributions de différentes régions cérébrales à la décodage de la parole avant et après l'application de ces filtres, les chercheurs ont noté des améliorations dans plusieurs zones liées à la parole, confirmant que la réduction du bruit par Filtrage adaptatif était bénéfique.

Construire l'Interface Cerveau-Gmail

Une application excitante de cette recherche était le développement d'une interface permettant aux participants de contrôler leur compte Gmail uniquement par la pensée couplée à des commandes vocales. Les participants pouvaient utiliser leurs données EEG pour sélectionner des couleurs représentant des actions, comme lire ou répondre à des emails.

En entraînant l'interface à comprendre des commandes basées sur l'activité cérébrale, le système pouvait décoder des couleurs représentant diverses actions telles qu'ouvrir des emails et générer des réponses en utilisant l'outil ChatGPT. Cette capacité met en lumière le potentiel des applications pratiques de la technologie des neuroprothèses de parole pour améliorer la communication des personnes ayant des handicaps de la parole.

Dernières Pensées sur les Interfaces de Parole Silencieuse

L'objectif sous-jacent de cette recherche est de créer des dispositifs qui permettent aux gens de communiquer sans avoir besoin de vocaliser leurs mots. Cette technologie pourrait être particulièrement utile pour ceux qui ont des difficultés à parler ou lorsque la communication verbale n'est pas pratique.

Bien que certaines études aient montré un succès avec les entrées de parole imaginée, les chercheurs ont constaté que la précision chute considérablement dans des scénarios en ligne. En revanche, le chuchotement a montré des résultats efficaces dans les tests hors ligne et en ligne, ce qui en fait une option plus pratique pour la communication silencieuse.

La recherche met l'accent sur l'importance des méthodes de filtrage adaptatif et sur la relation entre les différentes conditions de parole. Les travaux futurs devraient se concentrer sur rendre ces technologies plus robustes et conviviales, en particulier dans des applications du monde réel.

Conclusion

L'exploration de la technologie des neuroprothèses pour la parole est encore en cours, mais elle tient une grande promesse pour ceux qui rencontrent des défis dans la communication. En utilisant des techniques avancées en EEG et en filtrage adaptatif, les chercheurs visent à améliorer la précision des décodeurs de parole. Avec des efforts continus, l'espoir est d'offrir des solutions de communication pratiques qui peuvent aider à améliorer la qualité de vie des personnes ayant des déficiences de la parole.

Source originale

Titre: Delineating neural contributions to electroencephalogram-based speech decoding

Résumé: Speech Brain-computer interfaces (BCIs) have emerged as a pivotal technology in facilitating communication for individuals with speech impairments. Utilizing electroencephalography (EEG) for noninvasive speech BCIs offers an accessible and affordable solution, potentially benefiting a broader audience. However, EEG-based speech decoding remains controversial especially for overt speech, due to difficulties in separating speech-related neural activities from myoelectric potential artifacts generated during articulation. Here we aim to delineate the extent of the neural contributions by employing Explainable AI techniques to a convolutional neural network predicting spoken words based on signals obtained by ultra-high-density (uhd)-EEG. We found that electrode-wise contributions to the decoding cannot be explained by their mutual information with electromyography (EMG). Furthermore, contributing periods of speech to EEG-based decoding are distinct from those to decoding solely relying on EMG. In contrast, there are significant overlaps in signal timings contributing to EEG-based decoding, regardless of vocal conditions such as overt or covert speech. Notably, the denoising process successfully enhanced the decoding contribution from electrodes within speech-related brain areas for all speech conditions. Altogether, our findings support the idea that, with appropriate preprocessing, EEG becomes a valuable tool for decoding spoken words based on underlying neural activities.

Auteurs: Shuntaro Sasai, M. Sato, Y. Kabe, S. Nobe, A. Yoshida, M. Inoue, M. Shimizu, K. Tomeoka

Dernière mise à jour: 2024-05-27 00:00:00

Langue: English

Source URL: https://www.biorxiv.org/content/10.1101/2024.05.09.591996

Source PDF: https://www.biorxiv.org/content/10.1101/2024.05.09.591996.full.pdf

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à biorxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires

Vision par ordinateur et reconnaissance des formesAvancées dans la classification de la dominance cardiaque avec l'apprentissage automatique

L'apprentissage automatique améliore les évaluations des problèmes cardiaques grâce à une classification précise de la dominance cardiaque.

― 6 min lire