Simple Science

La science de pointe expliquée simplement

# Informatique# Interaction homme-machine# Intelligence artificielle

Prédire les états émotionnels à partir des données du smartphone

Utiliser les données des smartphones pour évaluer les états émotionnels des étudiants universitaires.

― 8 min lire


Smartphones et InsightsSmartphones et InsightsÉmotionnelspour surveiller la santé mentale.utilisant les données des smartphonesLes LLM prédisent les émotions en
Table des matières

La santé mentale est de plus en plus préoccupante, surtout chez les jeunes adultes comme les étudiants de l’université. Pour y remédier, suivre les humeurs au quotidien avec des smartphones pourrait aider à repérer les problèmes tôt. Cette approche, appelée Phénotypage numérique, utilise des smartphones et des dispositifs portables pour collecter et analyser des données sur les comportements quotidiens et la santé mentale.

Les smartphones sont parfaits pour ça car ils peuvent recueillir des infos via différents capteurs et applis, suivant tout, de la localisation aux interactions sociales. Les méthodes traditionnelles d'analyse de ces données reposent souvent sur des modèles complexes qui ne fonctionnent pas bien avec de petits ensembles de données. Il y a donc un besoin de nouvelles approches pour améliorer le suivi de la santé mentale grâce au phénotypage numérique.

Le Rôle des Grands Modèles de Langage (LLMs)

Dernièrement, les grands modèles de langage (LLMs) ont montré un bon potentiel pour comprendre et générer le langage humain. Ils peuvent analyser des textes et en extraire le contexte, ce qui les rend adaptés à divers domaines de recherche, y compris la santé. Contrairement aux modèles d'apprentissage automatique traditionnels, les LLMs ont été formés sur une énorme quantité de données d'Internet, leur donnant une large compréhension du comportement humain et de la psychologie.

Cependant, l'utilisation des LLMs pour surveiller la santé mentale via des données mobiles en est encore à ses débuts. La plupart des recherches jusqu'à présent ne se sont pas concentrées sur la façon dont ces modèles peuvent intégrer les données des smartphones pour déduire des États émotionnels.

Lien entre les Comportements sur Smartphone et la Santé Mentale

Le phénotypage numérique peut révéler des infos précieuses sur les émotions des gens en examinant les données de leurs smartphones. Ces infos peuvent inclure la fréquence d'utilisation du téléphone, les changements de localisation ou le temps passé sur différentes applis. En analysant ces comportements, les chercheurs espèrent trouver des liens entre l'utilisation des smartphones et la santé mentale.

Les individus expriment souvent leurs états émotionnels à travers leurs actions, ce qui peut être observé dans leurs activités quotidiennes sur smartphone. Par exemple, des déverrouillages fréquents du téléphone ou une utilisation accrue des applis pourraient indiquer des changements d'humeur. Comprendre ces comportements peut aider à prédire les états émotionnels, surtout chez les jeunes adultes.

Présentation de l'Étude

Dans cette recherche, nous avons voulu voir si les LLMs pouvaient prédire les états émotionnels des étudiants en utilisant seulement les données de leurs smartphones. En examinant les données des capteurs d'environ 150 étudiants sur 17 semaines, nous avons collecté divers signaux comportementaux. On s'est concentré sur des données comme l'utilisation de la batterie, les déverrouillages d'écran, l'utilisation des applis et les schémas de communication.

Pour évaluer les états émotionnels des étudiants, ils ont rempli un questionnaire chaque semaine, mesurant leurs sentiments positifs et négatifs. Ces données serviraient de référence pour vérifier l'exactitude des prédictions des LLMs.

Processus de Collecte de Données

Notre étude a impliqué la capture de données smartphone via l'appli de détection AWARE-Light. Chaque semaine, les participants ont fourni des mesures auto-déclarées de leurs émotions à l'aide d'un bref questionnaire. Le questionnaire évaluait à la fois les émotions positives et négatives, permettant aux chercheurs d'interpréter et d'analyser les fluctuations d'humeur par rapport aux comportements sur smartphone.

Les données brutes des questionnaires et des capteurs smartphone ont été nettoyées et transformées en caractéristiques exploitables. Au total, 77 caractéristiques comportementales distinctes ont été identifiées, comme le temps passé à la maison, le nombre de messages reçus, et la durée quotidienne des déverrouillages d'écran.

Analyser les États Émotionnels avec les LLMs

Pour tester à quel point les LLMs pouvaient prédire les états émotionnels, on a utilisé différentes techniques de prompting : zéro-shot et few-shot.

Apprentissage Zéro-Shot

Dans l'apprentissage zéro-shot, le modèle devait faire des prédictions sans exemples supplémentaires. Il a reçu un résumé des activités hebdomadaires d'un étudiant et a été invité à évaluer son état émotionnel en fonction des données fournies. Bien que cette méthode serve de référence, les résultats ont montré que les LLMs ne performaient pas très bien, avec une marge d'erreur significative.

Apprentissage Few-Shot

Dans l'apprentissage few-shot, on a fourni au LLM plusieurs exemples des données des semaines précédentes. En ajoutant progressivement des exemples, on a observé que la performance du modèle s'améliorait. Fait intéressant, le modèle a montré le plus d'amélioration avec juste un exemple. À mesure que plus d'exemples étaient ajoutés, le taux d'amélioration ralentissait, suggérant que quelques exemples bien choisis pourraient grandement bénéficier aux prédictions.

Les résultats ont aussi montré que les LLMs étaient particulièrement meilleurs pour prédire les émotions négatives par rapport aux émotions positives en utilisant l'apprentissage few-shot. Cette découverte suggère que les modèles pourraient saisir plus rapidement les motifs liés aux états émotionnels négatifs que ceux liés aux sentiments positifs.

Insights Gagnés de l'Étude

La recherche a mis en avant plusieurs résultats intéressants sur le lien entre les comportements sur smartphone et les états émotionnels. Par exemple, des niveaux élevés d'utilisation d'applis, des déverrouillages d'écran fréquents, et des changements dans les schémas de communication étaient souvent associés à un sentiment d'alerte ou d'activité. À l'inverse, des sentiments de contrariété ou d'hostilité étaient liés à une augmentation des appels manqués et à des schémas de saisie erratiques.

De plus, le raisonnement du modèle derrière ses prédictions s'est avéré éclairant. Il pouvait expliquer comment certains comportements indiquaient des états émotionnels spécifiques, améliorant ainsi notre compréhension de l'utilisation des données mobiles dans le suivi de la santé mentale.

Défis et Limitations

Bien que l'étude ait montré des résultats encourageants, il reste encore des défis à relever. La principale préoccupation est le bruit inhérent aux Données comportementales collectées via les smartphones. Tous les changements de comportement ne correspondent pas nécessairement à un changement d'état émotionnel, ce qui rend difficile pour les modèles de discerner des motifs clairs.

En plus, la nature subjective des données auto-déclarées peut introduire des biais. Les réponses aux questionnaires peuvent varier en fonction de l'humeur, du contexte, ou même de facteurs externes comme la météo ou le stress académique. C'est pourquoi combiner les mesures auto-déclarées avec des données objectives est crucial pour améliorer la précision des prédictions.

Directions Futures

En regardant vers l'avenir, il y a plein d'opportunités pour améliorer ces méthodes. Les travaux futurs pourraient impliquer le réglage des LLMs spécifiquement pour des tâches de santé mentale afin d'augmenter leur efficacité. Ça pourrait inclure l'utilisation d'un plus grand ensemble de données pour former les modèles ou l'intégration de plus de types de données comportementales, comme les patterns de sommeil et des analyses détaillées de l'utilisation des applis.

Explorer les connexions potentielles entre diverses formes de données des capteurs et les états émotionnels peut également mener à des aperçus plus riches. À mesure que la technologie mobile évolue, il y aura probablement plus d'opportunités d'améliorer le suivi de la santé mentale.

Conclusion

L'étude démontre que les LLMs ont du potentiel pour prédire les états émotionnels à partir des données smartphone. Bien que leur performance initiale dans les tâches de zéro-shot ait été limitée, ils ont montré une amélioration significative avec l'apprentissage few-shot. Cette approche souligne la valeur d'exploiter la technologie pour un meilleur suivi de la santé mentale, surtout chez les jeunes adultes.

Alors qu'on continue de peaufiner ces méthodes et d'aborder les défis existants, l'intégration d'outils numériques dans la recherche sur la santé mentale pourrait grandement bénéficier aux personnes cherchant à comprendre et améliorer leur bien-être.

Source originale

Titre: Leveraging LLMs to Predict Affective States via Smartphone Sensor Features

Résumé: As mental health issues for young adults present a pressing public health concern, daily digital mood monitoring for early detection has become an important prospect. An active research area, digital phenotyping, involves collecting and analysing data from personal digital devices such as smartphones (usage and sensors) and wearables to infer behaviours and mental health. Whilst this data is standardly analysed using statistical and machine learning approaches, the emergence of large language models (LLMs) offers a new approach to make sense of smartphone sensing data. Despite their effectiveness across various domains, LLMs remain relatively unexplored in digital mental health, particularly in integrating mobile sensor data. Our study aims to bridge this gap by employing LLMs to predict affect outcomes based on smartphone sensing data from university students. We demonstrate the efficacy of zero-shot and few-shot embedding LLMs in inferring general wellbeing. Our findings reveal that LLMs can make promising predictions of affect measures using solely smartphone sensing data. This research sheds light on the potential of LLMs for affective state prediction, emphasizing the intricate link between smartphone behavioral patterns and affective states. To our knowledge, this is the first work to leverage LLMs for affective state prediction and digital phenotyping tasks.

Auteurs: Tianyi Zhang, Songyan Teng, Hong Jia, Simon D'Alfonso

Dernière mise à jour: 2024-07-11 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2407.08240

Source PDF: https://arxiv.org/pdf/2407.08240

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires