Exploiter les LLM pour améliorer les récits sur la santé mentale
Les LLMs créent des histoires qui parlent aux jeunes pour soutenir leur bien-être mental.
Ananya Bhattacharjee, Sarah Yi Xu, Pranav Rao, Yuchen Zeng, Jonah Meyerhoff, Syed Ishtiaque Ahmed, David C Mohr, Michael Liut, Alex Mariakakis, Rachel Kornfield, Joseph Jay Williams
― 12 min lire
Table des matières
- Le rôle des histoires dans la promotion du bien-être
- La promesse des LLMs pour personnaliser le contenu
- Étude des perceptions des utilisateurs sur les histoires améliorées par des LLM
- Questions de recherche
- Les bénéfices des histoires en santé mentale
- Intégration des histoires dans la santé mentale numérique
- Le potentiel des LLMs dans l'amélioration des interventions DMH
- Conception de l'étude
- Vue d'ensemble des résultats
- Authenticité perçue
- Communication des leçons clés
- Promotion de la réflexion
- Équilibre entre positivité et véritables luttes
- LLM comme outil d'intervention
- Conclusion
- Directions futures
- Source originale
- Liens de référence
Des histoires sur le fait de surmonter des luttes personnelles peuvent montrer comment les idées psychologiques fonctionnent dans la vraie vie, mais elles ne se connectent pas toujours avec les sentiments de tout le monde. Ce projet utilise des modèles de langage de grande taille (LLMs) pour créer des histoires qui reconnaissent et répondent aux défis uniques que les gens rencontrent. On a étudié 346 jeunes adultes dans deux contextes différents pour voir si les histoires créées avec l'aide de LLMs étaient meilleures pour partager des messages importants, encourager la Réflexion personnelle et réduire les pensées négatives par rapport aux histoires écrites par des humains. Les résultats ont montré que les histoires créées par les LLM étaient plus faciles à comprendre et ressentaient tout aussi réelles que celles écrites par des humains, montrant leur potentiel pour aider les jeunes adultes à faire face à leurs défis.
Le rôle des histoires dans la promotion du bien-être
Les histoires sur les défis personnels peuvent être très efficaces pour promouvoir la Santé mentale. Quand les gens lisent des Récits qui reflètent leurs propres expériences, ils peuvent se connecter plus profondément avec le contenu, menant à une réflexion personnelle. Par exemple, une histoire sur quelqu'un qui fait face à des déceptions de recherche d'emploi peut résonner avec une autre personne traversant des enjeux similaires. Cette réflexion peut aider les individus à réaliser des schémas dans leurs pensées et comportements, encourageant un changement positif. De plus, ces histoires peuvent aider à normaliser les luttes de santé mentale que beaucoup de gens rencontrent.
En conséquence, les histoires sont de plus en plus utilisées dans les programmes de santé mentale numérique (DMH). Cependant, un problème courant avec ces programmes est qu'ils manquent souvent de proposer un contenu adapté aux problèmes spécifiques de chaque utilisateur. La plupart des programmes DMH existants s'appuient sur des réponses fixes qui ne peuvent pas être pertinentes par rapport aux préoccupations immédiates d'un individu. Ce décalage risque de rendre les histoires génériques, ce qui peut amener les utilisateurs à les négliger, à en minimiser l'importance ou à se sentir mal compris.
La promesse des LLMs pour personnaliser le contenu
Les modèles de langage de grande taille (LLMs) ont gagné en popularité grâce à leur capacité à créer du contenu personnalisé dans différents contextes. Ces modèles sont bons pour interpréter les entrées des utilisateurs et adapter leurs réponses à diverses situations. La flexibilité des LLMs leur permet d'interpréter les descriptions des utilisateurs sur leurs expériences et de générer des histoires qui s'intègrent à leurs contextes. Cette fonctionnalité pourrait considérablement améliorer la pertinence et l'impact des interventions DMH.
Par exemple, si quelqu'un a des difficultés avec la recherche d'emploi, un LLM pourrait générer une histoire qui reflète la nature compétitive de son secteur, ou il pourrait aborder un schéma de pensée spécifique où la personne voit les échecs comme un échec continu. En rendant les histoires étroitement liées aux problèmes de l'utilisateur, elles peuvent fournir de meilleures perspectives et des stratégies d'adaptation concrètes.
Cependant, utiliser les LLMs de manière efficace et sécurisée n'est pas simple. Ils ne sont pas intrinsèquement formés pour créer des histoires avec les connaissances cliniques nécessaires pour garantir une sensibilité dans le traitement des problèmes de santé mentale. Par conséquent, il est crucial de guider les LLMs en leur fournissant des récits appropriés et du contenu de santé mentale basé sur des preuves pour éviter des résultats inutiles ou nuisibles.
Étude des perceptions des utilisateurs sur les histoires améliorées par des LLM
Dans ce travail, on a étudié comment les jeunes adultes ressentaient les histoires améliorées par des LLM qui visent à les aider à gérer les pensées négatives. Pour garantir une narration de qualité, on a utilisé des récits réels soigneusement sélectionnés par des experts qui avaient été utilisés auparavant dans des interventions DMH. Les histoires ont été générées à l'aide de suggestions guidées pour faire ressortir les qualités et structures souhaitées. Notre objectif était d'apprendre comment les individus perçoivent ces récits améliorés par LLM et de recueillir des retours sur des aspects tels que l'Authenticité et les leçons clés.
Notre recherche ciblait les jeunes adultes âgés de 18 à 25 ans, un groupe particulièrement vulnérable aux problèmes de santé mentale en raison des changements qu'ils rencontrent dans l'éducation, les emplois et les relations. Ce groupe d'âge montre un taux plus élevé de préoccupations en matière de santé mentale par rapport aux autres, ce qui rend leurs expériences précieuses pour cette étude.
Questions de recherche
- Comment les jeunes adultes perçoivent-ils les qualités narratives des histoires améliorées par des LLM, comme l'authenticité et la clarté des messages clés, par rapport aux histoires écrites par des humains ?
- Quelle est l'efficacité des histoires améliorées par des LLM pour aider à gérer les pensées négatives, comme les croyances en une pensée négative et la recherche de solutions ?
Pour répondre à ces questions, on a réalisé une expérience avec deux groupes de jeunes adultes : des travailleurs sur des plateformes de crowdsourcing et des étudiants. Les participants ont participé à un sondage où ils ont été attribués au hasard pour lire soit une histoire écrite par un humain, soit une version améliorée par LLM. On a constaté que les histoires créées avec des LLM étaient perçues comme tout aussi authentiques que celles écrites par des humains, mais qu'elles étaient plus efficaces pour communiquer des leçons précieuses, inspirer la réflexion et réduire les croyances en une pensée négative.
Les bénéfices des histoires en santé mentale
Les histoires peuvent être un moyen puissant d'inspirer et de guider les gens vers une meilleure santé mentale. Quand les individus se connectent à des récits qui reflètent leurs expériences, ils peuvent trouver la motivation pour imiter la résilience et les stratégies des personnages. Par exemple, lire sur quelqu'un qui surmonte un échec pourrait amener d'autres à voir différemment leurs propres défis. Ce processus de réflexion peut aider les individus à comprendre leur état mental et à susciter des changements positifs.
Intégration des histoires dans la santé mentale numérique
Les histoires deviennent une partie essentielle des interventions de santé mentale numérique (DMH), mais beaucoup font face au défi de ne pas être assez dynamiques et personnalisées pour répondre aux besoins individuels des utilisateurs. Certaines interventions DMH passées s'appuyaient sur des scripts et des réponses fixes, limitant leur capacité à traiter les situations uniques des individus. Bien que ces méthodes aient aidé certains utilisateurs, elles ont souvent abouti à des expériences génériques et déconnectées.
Il y a eu des tentatives d'amélioration du bien-être des utilisateurs par la génération dynamique de contenu alimentée par la foule. Par exemple, des systèmes ont permis aux utilisateurs de soumettre leurs pensées, qui étaient ensuite abordées par des travailleurs de la foule qui rédigeaient des messages de soutien. Cependant, ces approches peuvent être entravées par la disponibilité des participants et le manque de cohérence dans la qualité des réponses.
Avec les avancées en apprentissage automatique et en apprentissage profond, la génération dynamique de contenu s'est améliorée. Les LLMs peuvent désormais utiliser des données personnalisées pour produire des réponses plus pertinentes, les rendant particulièrement utiles pour les interventions en santé mentale. De nombreux chatbots conversationnels ont émergé, utilisant des algorithmes d'IA pour générer des messages adaptés, mais leur capacité à créer complètement un nouveau contenu reste limitée.
Le potentiel des LLMs dans l'amélioration des interventions DMH
Les récentes avancées dans les technologies LLM, comme GPT, ont marqué une amélioration significative dans la génération de contenu. Ces modèles peuvent produire un texte cohérent et engageant, ce qui est particulièrement bénéfique pour les contextes DMH où comprendre les besoins nuancés des utilisateurs est vital. Les LLMs peuvent personnaliser les interventions en fonction des expériences et des défis d'un individu, améliorant ainsi la pertinence et l'engagement.
Par exemple, les LLMs ont été utilisés pour créer des outils qui aident à la restructuration cognitive et offrent des partenaires de conversation pour réduire les sentiments de solitude. En fournissant des histoires dynamiques et pertinentes, ces modèles peuvent aider les utilisateurs à explorer leurs situations et à envisager comment gérer plus efficacement leurs défis.
Cependant, l'application des LLMs dans les contextes DMH n'est pas sans ses pièges. Il y a un risque de générer des suggestions trompeuses ou inappropriées, soulignant l'importance de considérations de conception minutieuses pour garantir que le contenu est à la fois précis et utile. Il est essentiel de déterminer où la personnalisation peut se produire et quels éléments doivent rester standards.
Conception de l'étude
Pour comprendre comment les histoires améliorées par LLM sont perçues, on a mené une étude impliquant des participants dans une brève activité visant à développer des interventions basées sur la technologie pour gérer les émotions négatives. Après avoir obtenu le consentement éclairé, les participants ont sélectionné une pensée problématique parmi une liste prédéfinie et ont évalué leurs croyances à son sujet sur une échelle. Ils ont ensuite fourni une description de leur pensée et de son contexte.
Les participants ont été attribués au hasard pour lire soit une histoire écrite par un humain, soit une histoire améliorée par un LLM, les deux adressant la même pensée sélectionnée. Chaque histoire se terminait par une question de réflexion pour inciter à une contemplation plus approfondie des expériences des participants.
Après cela, les participants ont évalué diverses qualités des histoires et fourni des retours qualitatifs. On a également inclus des questions de vérification de l'attention pour s'assurer que les participants étaient engagés et que leurs réponses étaient valides.
Vue d'ensemble des résultats
Dans notre étude, on s'est concentré sur les qualités narratives des histoires et leur efficacité en tant qu'interventions pour réduire les pensées négatives. Les histoires produites avec des LLMs ont reçu des évaluations plus élevées sur plusieurs qualités par rapport aux histoires non-LM, indiquant un avantage dans la communication des leçons clés, l'encouragement à la réflexion et la réduction de la pensée négative.
Authenticité perçue
Les participants des deux groupes ont apprécié l'authenticité des histoires. La représentation relatable et honnête des émotions a aidé les lecteurs à se sentir connectés aux parcours des personnages. Cependant, certains ont trouvé que les histoires non-LM manquaient de spécificité, les faisant parfois paraître génériques.
Pour les histoires LLM, de nombreux participants ont souligné leur pertinence et leur réalisme. Les expériences émotionnelles décrites résonnaient avec leur propre vie, rendant les histoires percutantes. Pourtant, certains participants ont vu l'implication des LLM comme menant à une reproduction trop précise de leurs situations, ce qui a rendu les récits artificiels.
Communication des leçons clés
Les participants ont noté que les histoires LLM et non-LLM avaient des arcs narratifs clairs. Cependant, certains ont senti que les histoires non-LM ne transmettaient pas efficacement de leçons significatives. En revanche, les histoires améliorées par LLM semblaient plus adaptées, conduisant à des leçons et des conseils plus clairs applicables à la vie des participants.
Promotion de la réflexion
L'aspect réflexion des histoires a été bien reçu, surtout parmi ceux qui lisaient des récits améliorés par LLM. Les participants ont rapporté avoir été encouragés à penser de manière critique à leurs propres situations et à considérer les stratégies présentées dans les histoires.
Équilibre entre positivité et véritables luttes
Les deux types d'histoires ont maintenu un équilibre entre des résultats positifs et des représentations réalistes des défis. Cependant, les participants du groupe LLM ont particulièrement apprécié que les histoires reconnaissent les luttes des protagonistes, rendant les récits plus ancrés et relatables.
LLM comme outil d'intervention
L'étude a montré que les histoires améliorées par LLM étaient perçues comme plus efficaces pour réduire la pensée négative et inspirer des solutions. L'engagement et la profondeur de la réflexion suscités par les histoires étaient plus élevés parmi les participants qui ont lu des versions améliorées par LLM.
Conclusion
Notre étude démontre comment les LLM peuvent enrichir significativement la qualité des histoires utilisées dans les interventions en santé mentale, les rendant plus pertinentes et percutantes. Les résultats suggèrent le potentiel des LLM pour fournir des récits dynamiquement adaptés qui peuvent résonner avec les défis uniques des individus.
Directions futures
Les idées de l'étude ouvrent la voie à des travaux futurs visant à affiner les récits améliorés par LLM et à s'assurer qu'ils trouvent un équilibre entre pertinence et authenticité. D'autres recherches devraient également explorer les effets à long terme de ces interventions et évaluer leur efficacité auprès de différentes populations avec des expériences de santé mentale variées. En fin de compte, les LLM ont le potentiel d'apporter des outils précieux pour améliorer le bien-être personnel grâce à des récits adaptés.
Titre: "It Explains What I am Currently Going Through Perfectly to a Tee": Understanding User Perceptions on LLM-Enhanced Narrative Interventions
Résumé: Stories about overcoming personal struggles can effectively illustrate the application of psychological theories in real life, yet they may fail to resonate with individuals' experiences. In this work, we employ large language models (LLMs) to create tailored narratives that acknowledge and address unique challenging thoughts and situations faced by individuals. Our study, involving 346 young adults across two settings, demonstrates that LLM-enhanced stories were perceived to be better than human-written ones in conveying key takeaways, promoting reflection, and reducing belief in negative thoughts. These stories were not only seen as more relatable but also similarly authentic to human-written ones, highlighting the potential of LLMs in helping young adults manage their struggles. The findings of this work provide crucial design considerations for future narrative-based digital mental health interventions, such as the need to maintain relatability without veering into implausibility and refining the wording and tone of AI-enhanced content.
Auteurs: Ananya Bhattacharjee, Sarah Yi Xu, Pranav Rao, Yuchen Zeng, Jonah Meyerhoff, Syed Ishtiaque Ahmed, David C Mohr, Michael Liut, Alex Mariakakis, Rachel Kornfield, Joseph Jay Williams
Dernière mise à jour: 2024-10-04 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2409.16732
Source PDF: https://arxiv.org/pdf/2409.16732
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://arxiv.org/pdf/2402.14978.pdf
- https://docs.google.com/document/d/1q3ZGGvxdJno-ODOmEVTw2XvA5-DZ9_b5ndjRnXsLqzM/edit#heading=h.m9zzucb5yjls
- https://chat.openai.com/share/bb7b3e1c-b7d6-497b-9422-da3984d8ac33
- https://aka.ms/ai4a
- https://utoronto-my.sharepoint.com/:w:/r/personal/sarahyi_xu_mail_utoronto_ca/_layouts/15/Doc.aspx?sourcedoc=%7B03491A4F-01CE-4BF5-A6F7-8CB2162317A4%7D&file=Authenticity%20&%20KeyMessage.docx=&action=default&mobileredirect=true
- https://dl.acm.org/ccs.cfm