Aproveitando LLMs pra Melhorar Narrativas sobre Saúde Mental
Os LLMs criam histórias legais pra ajudar na saúde mental dos jovens.
Ananya Bhattacharjee, Sarah Yi Xu, Pranav Rao, Yuchen Zeng, Jonah Meyerhoff, Syed Ishtiaque Ahmed, David C Mohr, Michael Liut, Alex Mariakakis, Rachel Kornfield, Joseph Jay Williams
― 11 min ler
Índice
- O Papel das Histórias na Promoção do Bem-Estar
- A Promessa dos LLMs em Personalizar Conteúdo
- Investigando Percepções dos Usuários Sobre Histórias Melhoradas por LLM
- Questões de Pesquisa
- Os Benefícios das Histórias na Saúde Mental
- Incorporando Histórias na Saúde Mental Digital
- O Potencial dos LLMs em Melhorar Intervenções de DMH
- Desenho do Estudo
- Visão Geral dos Resultados
- Autenticidade Percebida
- Comunicação das Lições-chave
- Promoção da Reflexão
- Equilíbrio entre Positividade e Reais Lutas
- LLM como Ferramenta de Intervenção
- Conclusão
- Direções Futuras
- Fonte original
- Ligações de referência
Histórias sobre superar lutas pessoais podem mostrar como ideias psicológicas funcionam na vida real, mas nem sempre conectam com os sentimentos de todo mundo. Este projeto usa grandes modelos de linguagem (LLMs) para criar histórias que reconhecem e respondem aos desafios únicos que as pessoas enfrentam. Nós estudamos 346 jovens adultos em dois ambientes diferentes pra ver se as histórias criadas com a ajuda dos LLMs eram melhores em compartilhar mensagens importantes, incentivar a autorreflexão e reduzir pensamentos negativos em comparação com histórias escritas por humanos. Os resultados indicaram que as histórias criadas por LLMs eram mais fáceis de se relacionar e pareciam tão reais quanto as escritas por humanos, mostrando seu potencial pra ajudar jovens adultos a lidarem com seus desafios.
O Papel das Histórias na Promoção do Bem-Estar
Histórias sobre desafios pessoais podem ser super eficazes na promoção da Saúde Mental. Quando as pessoas leem Narrativas que refletem suas próprias experiências, elas conseguem se conectar mais profundamente com o conteúdo, levando à autorreflexão. Por exemplo, uma história sobre alguém lidando com decepções na busca por emprego pode ressoar com outra pessoa passando por problemas semelhantes. Essa Reflexão pode ajudar indivíduos a perceberem padrões em seus pensamentos e comportamentos, incentivando mudanças positivas. Além disso, essas histórias podem ajudar a normalizar as batalhas de saúde mental que muitas pessoas enfrentam.
Como resultado, histórias estão sendo cada vez mais utilizadas em programas de saúde mental digital (DMH). No entanto, um problema comum com esses programas é que eles costumam não oferecer conteúdo que se ajuste aos problemas específicos que cada usuário enfrenta. A maioria dos programas DMH existentes depende de respostas fixas que podem não ser relevantes para as preocupações imediatas de um indivíduo. Essa desconexão corre o risco de fazer as histórias parecerem genéricas, o que pode levar os usuários a ignorá-las, desconsiderar sua importância ou se sentirem incompreendidos.
A Promessa dos LLMs em Personalizar Conteúdo
Grandes modelos de linguagem (LLMs) ganharam popularidade pela sua capacidade de criar conteúdo personalizado em diferentes cenários. Esses modelos são bons em interpretar as entradas dos usuários e adaptar suas respostas a várias situações. A flexibilidade dos LLMs permite que eles interpretem as descrições dos usuários sobre suas experiências e gerem histórias que se encaixem nos seus contextos. Esse recurso pode aumentar bastante a relevância e o impacto das intervenções de DMH.
Por exemplo, se alguém está lutando com desafios na busca de emprego, um LLM pode gerar uma história que reflita a natureza competitiva do seu campo ou pode abordar um padrão de pensamento específico onde essa pessoa vê contratempos como uma falha contínua. Ao fazer as histórias se relacionarem de perto com os problemas do usuário, elas podem fornecer melhores insights e estratégias práticas de enfrentamento.
No entanto, usar LLMs de forma eficaz e segura não é simples. Eles não são treinados inherentemente para criar histórias com o conhecimento clínico necessário para garantir sensibilidade ao lidar com questões de saúde mental. Portanto, é crucial guiar os LLMs, fornecendo-lhes narrativas apropriadas e conteúdo de saúde mental baseado em evidências pra evitar saídas inúteis ou prejudiciais.
Investigando Percepções dos Usuários Sobre Histórias Melhoradas por LLM
Neste trabalho, analisamos como jovens adultos se sentem em relação às histórias melhoradas por LLMs que visam ajudar a gerenciar pensamentos negativos. Pra garantir uma boa narrativa, usamos histórias da vida real curadas por especialistas que foram usadas anteriormente em intervenções de DMH. As histórias foram geradas usando prompts guiados pra trazer à tona as qualidades e estruturas desejadas. Nosso objetivo era aprender como os indivíduos percebem essas narrativas melhoradas por LLM e coletar opiniões sobre aspectos como Autenticidade e principais lições.
Nossa pesquisa teve como alvo jovens adultos de 18 a 25 anos, um grupo especialmente vulnerável a problemas de saúde mental devido às mudanças que enfrentam na educação, empregos e relacionamentos. Esse grupo etário mostra uma taxa mais alta de preocupações de saúde mental em comparação com outros, tornando suas experiências valiosas para este estudo.
Questões de Pesquisa
- Como os jovens adultos se sentem sobre as qualidades narrativas das histórias melhoradas por LLM, como autenticidade e clareza das mensagens-chave, em comparação com histórias escritas por humanos?
- Quão eficazes são as histórias melhoradas por LLM em ajudar a gerenciar pensamentos negativos, como crenças em pensamentos negativos e busca de soluções?
Pra responder a essas perguntas, realizamos um experimento com dois grupos de jovens adultos: trabalhadores em massa e estudantes. Os participantes participaram de uma pesquisa onde foram aleatoriamente designados a ler uma história escrita por humanos ou uma versão melhorada por LLM. Descobrimos que as histórias feitas com LLMs foram percebidas como igualmente autênticas em relação às escritas por humanos, mas com maior eficácia em comunicar lições valiosas, inspirando reflexão e diminuindo crenças em pensamentos negativos.
Os Benefícios das Histórias na Saúde Mental
Histórias podem ser uma maneira poderosa de inspirar e guiar as pessoas em direção a uma melhor saúde mental. Quando indivíduos se conectam com narrativas que refletem suas experiências, eles podem encontrar motivação para espelhar a resiliência e as estratégias dos personagens. Por exemplo, ler sobre alguém superando um revés pode levar outros a pensar de forma diferente sobre seus próprios desafios. Esse processo reflexivo pode ajudar indivíduos a entender seu estado mental e promover mudanças positivas.
Incorporando Histórias na Saúde Mental Digital
Histórias estão se tornando uma parte essencial das intervenções de saúde mental digital (DMH), no entanto, muitas enfrentam o desafio de não serem dinâmicas e personalizadas o suficiente para atender às necessidades individuais dos usuários. Algumas intervenções DMH passadas dependeram de scripts e respostas fixas, o que limitou sua capacidade de abordar as situações únicas que os indivíduos enfrentam. Enquanto esses métodos ajudaram alguns usuários, muitas vezes resultaram em experiências genéricas e desconectadas.
Houve tentativas de melhorar o bem-estar dos usuários por meio da geração de conteúdo dinâmico alimentado pela multidão. Por exemplo, sistemas permitiram que usuários enviassem seus pensamentos, que depois foram abordados por trabalhadores em massa que elaboraram mensagens de apoio. No entanto, essas abordagens podem ser prejudicadas pela disponibilidade dos participantes e pela falta de consistência na qualidade das respostas.
Com os avanços em aprendizado de máquina e aprendizado profundo, a geração de conteúdo dinâmico melhorou. LLMs podem agora usar dados personalizados para produzir respostas mais relevantes, tornando-os particularmente úteis para intervenções de saúde mental. Muitos chatbots de conversação emergiram utilizando algoritmos de IA para gerar mensagens adaptadas, mas sua capacidade de criar conteúdo totalmente novo ainda é limitada.
O Potencial dos LLMs em Melhorar Intervenções de DMH
Avanços recentes nas tecnologias LLM, como o GPT, marcaram uma melhora significativa na geração de conteúdo. Esses modelos podem produzir textos coerentes e envolventes que são especialmente benéficos em contextos de DMH, onde entender as necessidades sutis dos usuários é vital. LLMs podem personalizar intervenções com base nas experiências e desafios de um indivíduo, melhorando a relevância e o envolvimento.
Por exemplo, LLMs têm sido usados para criar ferramentas que ajudam na reestruturação cognitiva e oferecem parceiros de conversa para reduzir sentimentos de solidão. Ao fornecer histórias dinâmicas e relacionáveis, esses modelos podem ajudar os usuários a explorar suas situações e considerar como gerenciar seus desafios de forma mais eficaz.
No entanto, a aplicação de LLMs em ambientes de DMH não é isenta de armadilhas. Há um risco de gerar sugestões enganosas ou inadequadas, ressaltando a importância de considerações de design cuidadosas pra garantir que o conteúdo seja preciso e útil. É essencial determinar onde a personalização pode ocorrer e quais elementos devem permanecer padrão.
Desenho do Estudo
Pra entender como histórias melhoradas por LLM são percebidas, realizamos um estudo envolvendo participantes em uma breve atividade voltada para desenvolver intervenções baseadas em tecnologia para gerenciar emoções negativas. Após receberem consentimento informado, os participantes selecionaram um pensamento desafiador de uma lista pré-definida e avaliaram suas crenças sobre ele em uma escala. Em seguida, forneceram uma descrição de seu pensamento e seu contexto.
Os participantes foram aleatoriamente designados a ler uma história escrita por humanos ou uma história melhorada por um LLM, ambas abordando o mesmo pensamento selecionado. Cada história terminava com uma pergunta de reflexão pra instigar uma contemplação mais profunda sobre as experiências dos participantes.
Após isso, os participantes avaliaram várias qualidades das histórias e forneceram feedback qualitativo. Também incorporamos perguntas de verificação de atenção pra garantir que os participantes estivessem engajados e que suas respostas fossem válidas.
Visão Geral dos Resultados
No nosso estudo, focamos nas qualidades narrativas das histórias e sua eficácia como intervenções para reduzir pensamentos negativos. As histórias produzidas com LLMs receberam classificações mais altas em várias qualidades em comparação com histórias não LLM, indicando uma vantagem na comunicação de lições-chave, incentivo à reflexão e redução do pensamento negativo.
Autenticidade Percebida
Os participantes de ambos os grupos apreciaram a autenticidade das histórias. A representação relacionável e honesta das emoções ajudou os leitores a se sentirem conectados às jornadas dos personagens. No entanto, alguns sentiram que as histórias não LLM careciam de especificidade, fazendo com que parecessem genéricas às vezes.
Para as histórias LLM, muitos participantes destacaram sua capacidade de se relacionar e realismo. As experiências emocionais retratadas ressoaram com suas próprias vidas, tornando as histórias impactantes. No entanto, alguns participantes viam a participação do LLM como levando a uma reprodução excessivamente precisa de suas situações, o que fez as narrativas parecerem artificiais.
Comunicação das Lições-chave
Os participantes notaram que tanto as histórias LLM quanto as não LLM tinham arcos narrativos claros. No entanto, alguns sentiram que as histórias não LLM não transmitiam lições significativas de maneira eficaz. Em contraste, as histórias melhoradas por LLM pareciam mais adaptadas, levando a lições e orientações mais claras aplicáveis à vida dos participantes.
Promoção da Reflexão
O aspecto reflexivo das histórias foi bem recebido, especialmente entre aqueles que leram narrativas melhoradas por LLM. Os participantes relataram que foram incentivados a pensar criticamente sobre suas próprias situações e considerar estratégias apresentadas nas histórias.
Equilíbrio entre Positividade e Reais Lutas
Ambos os tipos de histórias mantiveram um equilíbrio entre resultados positivos e retratos realistas de desafios. No entanto, os participantes do grupo LLM especialmente valorizaram que as histórias reconheciam as lutas dos protagonistas, fazendo as narrativas parecerem mais fundamentadas e relacionáveis.
LLM como Ferramenta de Intervenção
O estudo mostrou que histórias melhoradas por LLM foram percebidas como mais bem-sucedidas em reduzir o pensamento negativo e inspirar soluções. O engajamento e a profundidade da reflexão provocados pelas histórias foram maiores entre os participantes que leram as versões melhoradas por LLM.
Conclusão
Nosso estudo demonstra como LLMs podem enriquecer significativamente a qualidade das histórias usadas em intervenções de saúde mental, tornando-as mais relacionáveis e impactantes. As descobertas sugerem o potencial dos LLMs para fornecer narrativas dinamicamente ajustadas que podem ressoar com os desafios únicos dos indivíduos.
Direções Futuras
Os insights do estudo abrem caminho para futuros trabalhos voltados a aperfeiçoar narrativas melhoradas por LLM e garantir que encontrem um equilíbrio entre relacionabilidade e autenticidade. Pesquisas adicionais também devem explorar os efeitos de longo prazo dessas intervenções e avaliar sua eficácia em diferentes populações com experiências variadas de saúde mental. Em última análise, os LLMs têm o potencial de contribuir com ferramentas valiosas para melhorar o bem-estar pessoal por meio de histórias adaptadas.
Título: "It Explains What I am Currently Going Through Perfectly to a Tee": Understanding User Perceptions on LLM-Enhanced Narrative Interventions
Resumo: Stories about overcoming personal struggles can effectively illustrate the application of psychological theories in real life, yet they may fail to resonate with individuals' experiences. In this work, we employ large language models (LLMs) to create tailored narratives that acknowledge and address unique challenging thoughts and situations faced by individuals. Our study, involving 346 young adults across two settings, demonstrates that LLM-enhanced stories were perceived to be better than human-written ones in conveying key takeaways, promoting reflection, and reducing belief in negative thoughts. These stories were not only seen as more relatable but also similarly authentic to human-written ones, highlighting the potential of LLMs in helping young adults manage their struggles. The findings of this work provide crucial design considerations for future narrative-based digital mental health interventions, such as the need to maintain relatability without veering into implausibility and refining the wording and tone of AI-enhanced content.
Autores: Ananya Bhattacharjee, Sarah Yi Xu, Pranav Rao, Yuchen Zeng, Jonah Meyerhoff, Syed Ishtiaque Ahmed, David C Mohr, Michael Liut, Alex Mariakakis, Rachel Kornfield, Joseph Jay Williams
Última atualização: 2024-10-04 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2409.16732
Fonte PDF: https://arxiv.org/pdf/2409.16732
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://arxiv.org/pdf/2402.14978.pdf
- https://docs.google.com/document/d/1q3ZGGvxdJno-ODOmEVTw2XvA5-DZ9_b5ndjRnXsLqzM/edit#heading=h.m9zzucb5yjls
- https://chat.openai.com/share/bb7b3e1c-b7d6-497b-9422-da3984d8ac33
- https://aka.ms/ai4a
- https://utoronto-my.sharepoint.com/:w:/r/personal/sarahyi_xu_mail_utoronto_ca/_layouts/15/Doc.aspx?sourcedoc=%7B03491A4F-01CE-4BF5-A6F7-8CB2162317A4%7D&file=Authenticity%20&%20KeyMessage.docx=&action=default&mobileredirect=true
- https://dl.acm.org/ccs.cfm