Nouveau système évalue la schizophrénie à travers la parole et les mouvements du visage

Ces dernières années, il y a eu un intérêt croissant pour l'utilisation de différentes méthodes pour évaluer la schizophrénie, une condition de santé mentale caractérisée par divers symptômes comme les délires, les hallucinations et les changements émotionnels. Cet article parle d'un nouveau système conçu pour aider à reconnaître et mesurer la gravité des symptômes de la schizophrénie en examinant à la fois la parole et les mouvements faciaux. En combinant des informations provenant de différentes sources, ce système vise à fournir une évaluation plus précise que les méthodes précédentes.

#Contexte sur la Schizophrénie

La schizophrénie est un trouble complexe qui affecte la façon dont une personne pense, ressent et se comporte. Les symptômes peuvent varier considérablement d'un individu à l'autre, ce qui complique l'évaluation. Les symptômes courants incluent les hallucinations (voir ou entendre des choses qui ne sont pas là), les délires (croire des choses qui ne sont pas vraies) et les symptômes négatifs comme une expression émotionnelle réduite. En raison de la nature diverse de ces symptômes, les schémas de parole peuvent montrer des changements significatifs chez ceux qui souffrent de ce trouble, ce qui fait de la parole un outil d'évaluation précieux.

#Techniques d'évaluation actuelles

Les cliniciens utilisent généralement des questionnaires et des entretiens structurés pour évaluer des conditions de santé mentale comme la schizophrénie. Un outil courant est l'Échelle d'Évaluation Psychiatrique Brève (BPRS), qui mesure 18 symptômes différents et les note de 1 à 7, avec des scores plus élevés indiquant des symptômes plus sévères. Ces symptômes sont regroupés en trois catégories principales : symptômes positifs, symptômes négatifs et symptômes mixtes.

Actuellement, de nombreuses études sur la schizophrénie se concentrent soit sur la classification binaire (deux groupes), soit sur la classification multi-classes (plusieurs groupes). Cependant, il y a un besoin de systèmes capables de prédire la gravité des symptômes plutôt que de simplement les classifier, ce qui motive le développement de nouvelles méthodes.

#Le rôle de l'évaluation multimodale

L'évaluation multimodale combine différents types d'informations, comme l'audio et la vidéo, pour améliorer le processus d'évaluation. En analysant à la fois la parole et les expressions faciales, cette approche vise à capturer plus de détails sur la façon dont la schizophrénie affecte les individus. Les technologies récentes ont fait avancer les évaluations multimodales en utilisant des modèles d'apprentissage automatique pour analyser ces différents types de données ensemble.

#Le nouveau système d'évaluation

Ce nouveau système utilise une méthode appelée Apprentissage de Représentation Multimodale (MRL) pour analyser la parole et les mouvements faciaux. Il se concentre sur deux caractéristiques principales : les Variables de Tract Vocal (TVs), qui se rapportent à la façon dont la parole est produite, et les Unités d'action faciale (FAUs), qui suivent les mouvements faciaux. L'objectif est de créer des modèles capables d'apprendre à partir de ces caractéristiques sans avoir besoin de beaucoup de données étiquetées, ce qui facilite l'application du système dans des contextes réels.

Le système emploie un cadre appelé Auto-Encodeur Variationnel Quantifié par Vecteur (VQ-VAE). Ce cadre aide à produire des représentations de parole claires et interprétables pouvant être utilisées à la fois pour classifier les symptômes et prédire leur gravité.

#Collecte de données

Pour créer et tester ce système, les chercheurs ont rassemblé un dataset à partir d'entretiens avec des sujets diagnostiqués avec la schizophrénie, la dépression et des individus en bonne santé. Des enregistrements audio et vidéo ont été réalisés pendant ces entretiens. Le dataset permet au système d'apprendre à partir d'un large éventail de schémas de parole et d'expressions émotionnelles.

Pour l'analyse, les chercheurs se sont spécifiquement concentrés sur un sous-ensemble de sujets montrant différents symptômes de schizophrénie et des contrôles sains. Les scores BPRS fournis par les cliniciens avant les entretiens ont servi de base pour déterminer la gravité des symptômes.

#Traitement des données et extraction de caractéristiques

La première étape du processus consiste à préparer les données audio et vidéo collectées. Cela implique de séparer la parole de l'intervieweur et du sujet et de segmenter les enregistrements en petites parties pour l'analyse. Chaque segment dure 40 secondes.

À partir de ces segments, les chercheurs extraient les TVs et les FAUs comme caractéristiques représentant la parole et les expressions faciales des sujets. Les TVs sont calculées en fonction de la façon dont le tract vocal façonne le son, tandis que les FAUs proviennent des mouvements faciaux. L'utilisation de ces caractéristiques aide à fournir une vue détaillée de l'état de chaque sujet.

#Entraînement du modèle

Le modèle a été entraîné en utilisant une méthode connue sous le nom d'Apprentissage Multi-Task (MTL), qui lui permet de travailler sur plusieurs tâches simultanément. Essentiellement, le modèle apprend à classifier les symptômes et à prédire les scores de gravité à partir des mêmes données. Cette approche combinée aide à améliorer la performance globale.

Le processus d'entraînement implique d'utiliser un ensemble de segments audio et vidéo pour affiner la capacité du modèle à reconnaître des schémas liés à la schizophrénie. Les chercheurs ont soigneusement réglé plusieurs paramètres pour s'assurer que le modèle apprend efficacement.

#Évaluation de la performance

Pour évaluer la performance du modèle, plusieurs métriques sont utilisées, y compris le score F1 Pondéré, le score de l'Aire Sous la Courbe (AUC-ROC) et la Précision Pondérée. Ces métriques aident à déterminer à quel point le modèle classifie les symptômes et prédit les scores de gravité avec précision.

Les résultats ont montré que ce nouveau système surpassait les modèles précédents qui se concentraient exclusivement sur l'audio ou la vidéo. Cette amélioration suggère que la combinaison des deux types de données peut mener à des évaluations plus précises.

#Analyse des erreurs

Bien que le modèle ait montré une meilleure performance, une analyse plus approfondie a révélé certaines limites. Par exemple, un sujet avait des scores extrêmement élevés, ce qui a faussé la performance moyenne. En éliminant ce cas extrême, l'exactitude du modèle s'est considérablement améliorée.

De plus, les chercheurs ont identifié que l'inclusion de données textuelles pourrait améliorer la performance du modèle. Bien que la modalité texte n'ait pas été la plus performante dans les études précédentes, son intégration correcte pourrait fournir une vue plus complète lors de l'évaluation de conditions comme la schizophrénie.

#Conclusion

Ce nouveau système d'évaluation multimodale montre des promesses pour fournir une compréhension plus détaillée des symptômes de la schizophrénie en examinant à la fois la parole et les expressions faciales. L'utilisation de techniques avancées d'apprentissage automatique permet une meilleure classification des symptômes et une prédiction de leur gravité. À mesure que le domaine avance, l'objectif est d'incorporer des données provenant de diverses sources et modalités pour créer un système plus robuste pouvant être utilisé cliniquement.

Les efforts futurs se concentreront également sur le raffinement du modèle et l'inclusion de données textuelles pour améliorer la qualité des évaluations, offrant finalement un meilleur soutien aux personnes souffrant de schizophrénie et à leurs équipes de traitement.