Le rôle du cerveau dans le traitement de la parole
Une étude révèle comment le cerveau combine le son et les mouvements des lèvres pour comprendre la parole.
― 8 min lire
Table des matières
- Régions Cérébrales Impliquées
- Aperçu de l'Étude
- Participants et Méthodes
- Conception des Tâches
- Paramètres d'Acquisition
- Résultats
- Résultats du Localisateur Univarié
- Réponses Comportementales
- Décodage Auditif et Visuel
- Décodage Cross-Modal
- Analyse de Recherche Cross-Modal à Travers Tout le Cerveau
- Discussion
- Implications et Directions Futures
- Source originale
- Liens de référence
Le Traitement de la parole implique plusieurs sens qui travaillent ensemble. Quand on parle, on utilise pas seulement des sons (Phonèmes), mais aussi la manière dont nos lèvres bougent (Visèmes). Ces indices visuels aident les gens à mieux comprendre la parole, surtout dans des environnements bruyants. Il y a un effet bien connu appelé l'effet McGurk, qui montre comment notre cerveau combine son et mouvement pour créer une image complète de la parole. C'est important de comprendre comment notre cerveau gère les informations combinées des phonèmes et des visèmes.
Régions Cérébrales Impliquées
Certaines zones du cerveau sont cruciales pour reconnaître les sons et les mouvements de la bouche dans la parole. Les régions temporales supérieures postérieures sont considérées comme la principale zone pour traiter les sons. Des recherches ont montré que ces régions s’activent quand on traite à la fois des sons et des indices visuels liés à la parole.
Une autre zone d’intérêt est le cortex occipito-temporal ventral (VOTC). Des études récentes suggèrent que cette région est importante pour le traitement visuel et auditif de la parole. Beaucoup de chercheurs ont noté une activité dans certaines parties du VOTC lorsque les participants s’engagent dans la lecture labiale et regardent des vidéos audiovisuelles de la parole.
Il y a aussi une région appelée la zone visuelle des mots (VWFA), située dans le VOTC gauche. Cette zone est connue pour nous aider à lire des mots écrits. La VWFA pourrait travailler en étroite collaboration avec les réseaux linguistiques dans le cerveau, montrant une sensibilité non seulement aux mots écrits mais aussi à la langue parlée, même avant que quelqu'un apprenne à lire.
Aperçu de l'Étude
Dans notre étude, nous visons à identifier des régions spécifiques du cerveau qui réagissent aux phonèmes et aux visèmes. Nous avons travaillé avec un groupe de locuteurs natifs français pour réaliser divers tests tout en utilisant des IRMs fonctionnelles pour observer l'activité cérébrale.
Participants et Méthodes
Nous avons étudié 24 adultes, tous ayant une vision normale ou corrigée et une audition normale. La plupart des participants étaient droitiers et n’avaient pas d'antécédents de troubles d’apprentissage ou de problèmes neurologiques. Ils ont donné leur consentement éclairé et ont été rémunérés pour leur temps. Nous avons utilisé un design expérimental qui incluait plusieurs tâches pour évaluer comment les participants traitaient la parole visuelle et auditive.
Conception des Tâches
Les participants ont passé par deux sessions, où ils se sont d'abord familiarisés avec des syllables visuelles et ensuite ont subi des IRM. Ils ont complété diverses expériences de localisation et des tâches phonologiques qui nécessitaient d’identifier des sons et des indices visuels.
Localisateur Mots-Faces-Lieux
Dans cette tâche de localisation, les participants ont vu des images de mots écrits, de maisons et de visages. Ils devaient réaliser une tâche de répétition, appuyant sur un bouton lorsqu’ils voyaient une image répétée. Cela a aidé à identifier les régions qui se sont activées en réponse à des mots, des visages ou des lieux.
Localisateur Parole Visuelle
Cette tâche était axée sur l'identification des zones du cerveau sensibles à la parole visuelle. Les participants regardaient des vidéos de quelqu'un qui parlait et les comparaissaient à des vidéos de la même personne faisant des mouvements labiaux non verbaux.
Localisateur Parole Auditive
Ici, les participants écoutaient des sons sans signification et leurs versions mélangées pour localiser les zones cérébrales qui réagissent aux sons de la parole. En contrastant des sons reconnaissables avec des versions altérées, les chercheurs ont identifié des régions associées au traitement de la parole.
Expérience Phonologique Événementielle
Les participants ont été présentés avec des syllabes dans des formats auditifs et visuels. L'objectif était de décoder les consonnes présentées dans les deux formats et d’évaluer comment le cerveau traitait ces unités phonologiques.
Paramètres d'Acquisition
Nous avons scanné les participants en utilisant une technologie IRM avancée pour obtenir des images détaillées de l'activité cérébrale. Différentes tâches ont été conçues pour familiariser les participants et s'assurer qu'ils comprenaient les tâches qu'ils réalisaient. L'utilisation de stimuli auditifs et visuels spécifiques visait à créer un environnement contrôlé pour évaluer les réponses cérébrales pendant le traitement de la parole.
Résultats
Résultats du Localisateur Univarié
Les tâches de localisation ont montré des réponses significatives dans différentes régions du cerveau. La tâche Mots-Faces-Lieux a révélé des zones spécifiques pour identifier des mots et des visages, tandis que les localisateurs de parole auditive et visuelle ont identifié des clusters dans les régions temporales indiquant une sensibilité au traitement de la parole.
Réponses Comportementales
Pendant les tâches phonologiques, les participants ont montré leur capacité à détecter des sons répétés, montrant une précision plus élevée dans les tâches auditives par rapport aux visuelles. Cela reflète les défis intrinsèques à la lecture labiale par rapport à l'écoute de la parole.
Décodage Auditif et Visuel
En utilisant une analyse multivariée, nous avons décodé des informations sur les consonnes à partir des modalités auditives et visuelles à travers des régions cérébrales définies. La VWFA a montré la capacité de décoder des consonnes dans les deux formats. Cependant, le décodage dans d'autres régions, comme la FFA et la PPA, n'a montré aucune réponse significative pour les consonnes auditives.
Décodage Cross-Modal
Nous avons examiné si le cerveau pouvait décoder des informations à travers différentes modalités de parole. Bien que certaines régions aient montré un décodage cross-modal significatif, la VWFA n’a pas démontré de représentations partagées à travers les modalités, suggérant qu’elle traite les phonèmes et les visèmes différemment.
Analyse de Recherche Cross-Modal à Travers Tout le Cerveau
Une analyse complète de tout le cerveau a identifié des activations cross-modales dans d'autres zones. Des clusters spécifiques étaient liés à l'articulation de la parole, indiquant que les processus sensoriels et moteurs jouent un rôle dans la façon dont nous comprenons à la fois la parole parlée et visuelle.
Discussion
Nos résultats soulignent l'idée que le traitement de la parole est une tâche multifacette s'appuyant sur diverses zones cérébrales, intégrant à la fois des informations visuelles et auditives. La VWFA joue un rôle significatif dans la reconnaissance des représentations phonologiques mais ne semble pas les aligner à travers les modalités. Cela ajoute une couche de complexité à notre compréhension de la manière dont le cerveau traite la langue et la façon dont les différentes entrées sensorielles sont combinées.
L’étude souligne que, bien que certaines régions soient spécialisées pour le traitement de la parole visuelle ou des sons auditifs, l'intégration de ces modalités se produit à différents niveaux dans le cerveau. La FFA semble encoder des aspects visuels de la parole sans les lier directement à des représentations auditives, suggérant un rôle plus substantiel dans la reconnaissance faciale que dans le traitement du langage lui-même.
Implications et Directions Futures
Notre travail jette les bases pour comprendre les représentations phonologiques multisensorielles et leur distribution dans le cerveau. L'implication notée des réseaux auditifs et visuels dans le traitement de la parole pourrait aider à concevoir des interventions pour soutenir l'apprentissage des langues et la communication chez ceux qui rencontrent des difficultés liées à la parole.
D'autres recherches pourraient explorer comment ces zones cérébrales interagissent pendant des activités quotidiennes impliquant la parole. De plus, comprendre les nuances du traitement des informations visuelles et auditives pourrait informer des stratégies pour améliorer les outils de communication, surtout pour les individus avec des déficiences auditives ou des retards linguistiques.
En résumé, intégrer à la fois des indices visuels des mouvements labiaux et des signaux auditifs des sons forme une partie essentielle de la manière dont nous comprenons la parole. Au fur et à mesure que notre compréhension de ces processus continue d'évoluer, cela ouvre la voie à de nouvelles approches tant dans l'éducation que dans la thérapie pour des défis liés à la langue.
Titre: Phonological representations of auditory and visual speech in the occipito-temporal cortex and beyond
Résumé: Speech is a multisensory signal that can be extracted from the voice and the lips. Previous studies suggested that occipital and temporal regions encode both auditory and visual speech features but their precise location and nature remain unclear. We characterized brain activity using fMRI (in male and female) to functionally and individually define bilateral Fusiform Face Areas (FFA), the left Visual Word Form Area (VWFA), an audio-visual speech region in the left Superior Temporal Sulcus (lSTS) and control regions in bilateral Para-hippocampal Place Areas (PPA). In these regions, we performed multivariate patterns classification of corresponding phonemes (speech sounds) and visemes (lip movements). We observed that the VWFA and lSTS represent phonological information from both vision and sounds. The multisensory nature of phonological representations appeared selective to the anterior portion of VWFA, as we found viseme but not phoneme representation in adjacent FFA or even posterior VWFA, while PPA did not encode phonology in any modality. Interestingly, cross-modal decoding revealed aligned phonological representations across the senses in lSTS, but not in VWFA. A whole-brain cross-modal searchlight analysis additionally revealed aligned audio-visual phonological representations in bilateral pSTS and left somato-motor cortex overlapping with oro-facial articulators. Altogether, our results demonstrate that auditory and visual phonology are represented in the anterior VWFA, extending its functional coding beyond orthography. The geometries of auditory and visual representations do not align in the VWFA as they do in the STS and left somato-motor cortex, suggesting distinct multisensory representations across a distributed phonological network. Significance statementSpeech is a multisensory signal that can be extracted from the voice and the lips. Which brain regions encode both visual and auditory speech representations? We show that the Visual Word Form Area (VWFA) and the left Superior Temporal Sulcus (lSTS) both process phonological information from speech sounds and lip movements. However, while the lSTS aligns these representations across the senses, the VWFA does not, indicating different encoding mechanisms. These findings extend the functional role of the VWFA beyond reading. An additional whole-brain approach reveals shared representations in bilateral superior temporal cortex and left somato-motor cortex, indicating a distributed network for multisensory phonology.
Auteurs: Olivier Collignon, A. Van Audenhaege, S. Mattioni, F. Cerpelloni, G. Remi, S. Arnaud
Dernière mise à jour: 2024-07-26 00:00:00
Langue: English
Source URL: https://www.biorxiv.org/content/10.1101/2024.07.25.605084
Source PDF: https://www.biorxiv.org/content/10.1101/2024.07.25.605084.full.pdf
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à biorxiv pour l'utilisation de son interopérabilité en libre accès.