Avaliando Intenções de Vaping nas Redes Sociais

O vaping virou uma parada muito popular nos Estados Unidos, principalmente entre a galera mais jovem. Essa tendência trouxe sérios problemas de Saúde, incluindo lesões pulmonares relacionadas ao vaping, que resultaram em internações e até mortes. Por causa desses números alarmantes, é super importante entender por que as pessoas fumam Vape e como ajudar elas a pararem. As redes sociais, especialmente o Reddit, se tornaram uma fonte rica de informações sobre os pensamentos e comportamentos das pessoas em relação ao vaping. Esse estudo analisa como a gente pode usar tecnologias avançadas, como o GPT-4, para detectar as Intenções de parar de vaporizar entre os usuários do Reddit.

#O Aumento do Vaping

Nos últimos dez anos, o vaping ganhou uma popularidade enorme, especialmente entre adolescentes e jovens adultos. O uso de e-cigarros e produtos similares disparou, levando a preocupações de saúde que foram destacadas durante o surto de EVALI em 2019. Apesar de saberem dos riscos ligados ao vaping, muitos jovens ainda não têm noção dos perigos, como a dependência e riscos de saúde escondidos.

Recentes esforços para informar a molecada sobre esses perigos resultaram em um aumento de usuários querendo parar de vaporizar. Estudos mostram que quase metade dos jovens vapers expressam desejo de parar, enquanto uma parte significativa já tentou isso nos últimos anos.

#O Papel das Redes Sociais

Uma grande parte da galera usa redes sociais, o que oferece uma fonte valiosa de informações sobre questões de saúde pública. Plataformas como Twitter e Reddit têm sido usadas para estudar tendências de saúde, incluindo o vaping. As conversas sobre vaping nessas plataformas podem dar insights sobre comportamentos e intenções de parar.

Os pesquisadores descobriram que analisar discussões nas redes sociais pode ajudar a identificar indivíduos que podem se beneficiar de intervenções para reduzir o vaping. Essa pesquisa é especialmente importante para engajar grupos em risco, como os jovens.

#Metodologia da Pesquisa

Nesse estudo, focamos em uma comunidade específica do Reddit dedicada a ajudar as pessoas a pararem de vaporizar. Coletamos posts dessa comunidade para analisar as intenções dos usuários de parar. Usamos o GPT-4, um modelo de linguagem poderoso, para avaliar o texto e comparar sua eficácia com a de anotadores humanos.

O processo de coleta de dados envolveu extrair um conjunto de posts da comunidade r/QuitVaping. Esses posts variaram de usuários discutindo sua jornada de desistência a pedidos de motivação e apoio. Selecionamos uma amostra de posts para analisar, quebrando-os em frases individuais para facilitar a avaliação.

#Anotação Humana

Para avaliar os dados, contamos com a ajuda de dois tipos de anotadores: leigos e especialistas. Os leigos revisaram as frases para rotulá-las de acordo com a intenção do falante de parar de vaporizar. Os especialistas seguiram as mesmas diretrizes, mas trouxeram seus insights clínicos para a tarefa. Comparamos os resultados dos dois grupos para medir a confiabilidade.

#Anotação GPT-4

Em seguida, usamos o GPT-4 para anotar as mesmas frases. Isso envolveu criar prompts para guiar as respostas do modelo. Cada prompt perguntava se o falante pretendia parar de vaporizar, com níveis variados de detalhe. Ao comparar os resultados do GPT-4 com os dos anotadores humanos, tentamos ver quão bem o modelo se saiu em reconhecer intenções.

#Resultados

Os resultados da nossa análise mostraram que, embora o GPT-4 tenha se saído razoavelmente bem, não igualou totalmente o padrão definido pelos anotadores humanos. As anotações dos leigos geralmente estavam mais próximas das dos especialistas, enquanto o GPT-4 foi mais liberal ao rotular intenções de parar.

#Avaliação Qualitativa

Quando examinamos o acordo entre o GPT-4 e os anotadores humanos, encontramos que os leigos tiveram um alto acordo com os rótulos dos especialistas. O GPT-4, em contrapartida, teve um acordo menor, principalmente com seus prompts com melhor desempenho.

#Avaliação Quantitativa

Calculamos várias métricas de classificação para avaliar quantitativamente o desempenho de cada anotador. Os leigos obtiveram as notas mais altas no geral, enquanto as notas do GPT-4, apesar de promissoras, ficaram abaixo. O modelo teve dificuldades particularmente com a precisão, indicando que muitas vezes previu as intenções erradas.

Ao analisar os resultados de diferentes prompts, descobrimos que prompts mais detalhados geralmente levaram a um desempenho melhor, mas o modelo ainda enfrentou desafios.

#Discussão

Apesar de não igualar a precisão dos anotadores humanos, os achados sugerem algum potencial para o GPT-4 na análise de dados de redes sociais. A capacidade do modelo de fornecer pontuações de confiança e raciocínio para suas previsões oferece um insight valioso em seu processo de tomada de decisão. No entanto, isso também destacou a importância do insight humano nessas tarefas.

Ao analisar as razões por trás das previsões incorretas do GPT-4, identificamos várias áreas para melhoria. O modelo frequentemente classifica erroneamente frases que discutem resultados negativos de saúde ou aquelas em que os usuários já pararam de vaporizar. Isso aponta para a necessidade de um melhor contexto e definições na análise.

#Direções Futuras de Pesquisa

Indo em frente, os pesquisadores pretendem expandir o estudo incorporando um conjunto de dados maior e mais diversificado de vários subreddits relacionados ao vaping e outros tópicos não relacionados. Construir um modelo mais robusto poderia melhorar sua precisão e confiabilidade. Ao desenvolver estratégias que permitam a classificação multi-rótulo, pode ser possível obter insights mais profundos sobre os comportamentos de desistência dos usuários.

Além disso, abordar os problemas com as previsões do GPT-4 pode envolver a implementação de anotações em nível de post. Isso daria ao modelo mais contexto, ajudando a reduzir erros e melhorar seu desempenho geral.

#Conclusão

Resumindo, embora o GPT-4 mostre potencial como uma alternativa aos anotadores humanos para identificar intenções de parar de vaporizar, mais desenvolvimentos são necessários antes que ele possa substituir totalmente os insights humanos. Os achados deste estudo abrem várias avenidas para pesquisas futuras que podem aprimorar o papel da IA em intervenções de saúde e pesquisas de saúde pública.

#Agradecimentos

Essa pesquisa foi financiada por subsídios do NIH e da Universidade da Carolina do Sul. Os autores declararam não haver conflitos de interesse relacionados a este estudo.