Bewertung der Dampfabsichten in sozialen Medien

Vaping ist in den USA immer beliebter geworden, besonders bei jungen Leuten. Dieser Trend hat zu ernsthaften Gesundheitsproblemen geführt, darunter vape-bedingte Lungenschäden, die zu Krankenhausaufenthalten und sogar Todesfällen führten. Wegen dieser alarmierenden Entwicklungen ist es wichtig zu verstehen, warum Leute vapen und wie man ihnen helfen kann, damit aufzuhören. Soziale Medien, insbesondere Reddit, sind zu einer wertvollen Informationsquelle über die Gedanken und Verhaltensweisen der Leute in Bezug auf Vaping geworden. Diese Studie untersucht, wie wir moderne Technologien, wie GPT-4, nutzen können, um die Absichten von Nutzern auf Reddit zu erkennen, die mit dem Vaping aufhören wollen.

#Der Aufstieg des Vapings

In den letzten zehn Jahren ist Vaping besonders unter Jugendlichen und jungen Erwachsenen extrem beliebt geworden. Der Gebrauch von E-Zigaretten und ähnlichen Produkten ist gestiegen, was zu Gesundheitsproblemen führte, die während des EVALI-Ausbruchs 2019 deutlich wurden. Trotz des Bewusstseins für die Risiken, die mit Vaping einhergehen, sind viele junge Nutzer sich der Gefahren wie Abhängigkeit und versteckten Gesundheitsrisiken nicht bewusst.

Jüngste Bemühungen, junge Leute über diese Gefahren aufzuklären, haben dazu geführt, dass mehr Nutzer mit dem Vaping aufhören wollen. Studien zeigen, dass fast die Hälfte der jungen Dampfer den Wunsch äussert, aufzuhören, während ein erheblicher Teil in den letzten Jahren versucht hat, es tatsächlich zu tun.

#Die Rolle der sozialen Medien

Ein grosser Prozentsatz der Menschen nutzt soziale Medien, die eine wertvolle Informationsquelle über öffentliche Gesundheitsfragen bieten. Plattformen wie Twitter und Reddit wurden verwendet, um Gesundheitstrends, einschliesslich Vaping, zu untersuchen. Die Gespräche über Vaping auf diesen Plattformen können Einblicke in das Aufhörverhalten und die Absichten geben.

Forscher haben herausgefunden, dass die Analyse von Diskussionen in sozialen Medien helfen kann, Personen zu identifizieren, die von Interventionen zur Reduzierung des Vapings profitieren könnten. Diese Forschung ist besonders wichtig, um gefährdete Gruppen wie junge Leute anzusprechen.

#Forschungsmethodologie

In dieser Studie haben wir uns auf eine spezielle Reddit-Community konzentriert, die darauf abzielt, Menschen beim Aufhören mit dem Vaping zu helfen. Wir haben Beiträge aus dieser Community gesammelt, um die Absichten der Nutzer zu analysieren, aufzuhören. Wir haben GPT-4, ein leistungsstarkes Sprachmodell, verwendet, um den Text zu bewerten und seine Effektivität mit menschlichen Annotatoren zu vergleichen.

Der Datensammlungsprozess umfasste das Extrahieren einer Reihe von Beiträgen aus der Reddit-Community r/QuitVaping. Diese Beiträge reichten von Nutzern, die über ihre Aufhörreise sprachen, bis hin zu Anfragen nach Motivation und Unterstützung. Wir haben eine Stichprobe von Beiträgen ausgewählt, um sie zu analysieren, und sie in einzelne Sätze zerlegt, um die Bewertung zu erleichtern.

#Menschliche Annotation

Um die Daten zu bewerten, haben wir die Hilfe von zwei Arten von Annotatoren in Anspruch genommen: Laien und Experten. Laien haben die Sätze überprüft, um sie zu kennzeichnen, je nachdem, ob der Sprecher die Absicht hatte, mit dem Vaping aufzuhören. Experten folgten denselben Richtlinien, brachten jedoch ihre klinischen Einsichten in die Aufgabe ein. Wir haben die Ergebnisse beider Gruppen verglichen, um ihre Zuverlässigkeit zu beurteilen.

#GPT-4 Annotation

Als Nächstes verwendeten wir GPT-4, um die gleichen Sätze zu annotieren. Dies beinhaltete das Erstellen von Eingaben, um die Antworten des Modells zu leiten. Jede Eingabe fragte, ob der Sprecher die Absicht hatte, mit dem Vaping aufzuhören, mit unterschiedlichen Detailstufen. Durch den Vergleich der Ergebnisse von GPT-4 mit menschlichen Annotatoren wollten wir sehen, wie gut das Modell in der Lage war, Absichten zu erkennen.

#Ergebnisse

Die Ergebnisse unserer Analyse zeigten, dass GPT-4 zwar einigermassen gut abschnitt, aber nicht ganz mit dem Standard menschlicher Annotatoren übereinstimmte. Die Annotationen der Laien waren oft näher an den der Experten, während GPT-4 liberaler bei der Kennzeichnung der Absicht, aufzuhören, war.

#Qualitative Bewertung

Als wir die Übereinstimmung zwischen GPT-4 und den menschlichen Annotatoren untersuchten, fanden wir, dass die Laien eine hohe Übereinstimmung mit den Expertensiegeln hatten. Im Gegensatz dazu hatte GPT-4 eine geringere Übereinstimmung, insbesondere mit seinen bestperformenden Eingaben.

#Quantitative Bewertung

Wir berechneten mehrere Klassifikationsmetriken, um die Leistung jedes Annotators quantitativ zu bewerten. Die Laien erzielten insgesamt die höchsten Punktzahlen, während die Punktzahlen von GPT-4, obwohl vielversprechend, niedriger blieben. Das Modell hatte insbesondere Probleme mit der Präzision, was darauf hinweist, dass es oft die falschen Absichten vorhersagte.

Durch die Analyse der Ergebnisse verschiedener Eingaben fanden wir heraus, dass detailliertere Eingaben im Allgemeinen zu besseren Leistungen führten, das Modell jedoch weiterhin Herausforderungen hatte.

#Diskussion

Obwohl GPT-4 nicht die Genauigkeit menschlicher Annotatoren erreicht, zeigen die Ergebnisse ein gewisses Potenzial für GPT-4 bei der Analyse von sozialen Mediendaten. Die Fähigkeit des Modells, Vertrauenswerte und Begründungen für seine Vorhersagen bereitzustellen, bietet wertvolle Einblicke in seinen Entscheidungsprozess. Es hebt jedoch auch die Bedeutung menschlicher Einsichten in diesen Aufgaben hervor.

Bei der Analyse der Gründe für die falschen Vorhersagen von GPT-4 identifizierten wir mehrere Bereiche für Verbesserungen. Das Modell klassifiziert oft Sätze falsch, die negative Gesundheitsauswirkungen diskutieren oder solche, in denen Nutzer bereits mit dem Vaping aufgehört haben. Das zeigt, dass bessere Kontexte und Definitionen in der Analyse benötigt werden.

#Zukünftige Forschungsrichtungen

In Zukunft planen die Forscher, die Studie auszuweiten, indem sie eine grössere und vielfältigere Datenmenge aus verschiedenen Vaping-bezogenen Subreddits und anderen nicht verwandten Themen einbeziehen. Der Aufbau eines robusteren Modells könnte die Genauigkeit und Zuverlässigkeit verbessern. Durch die Entwicklung von Strategien, die eine Mehrfachbeschriftung ermöglichen, könnte man tiefere Einblicke in das Aufhörverhalten der Nutzer gewinnen.

Darüber hinaus kann die Behebung der Probleme mit den Vorhersagen von GPT-4 die Implementierung von Donor-level Annotationen umfassen. Dies würde dem Modell mehr Kontext bieten und helfen, Fehler zu reduzieren und die Gesamtleistung zu verbessern.

#Fazit

Zusammenfassend zeigt GPT-4 zwar vielversprechende Ansätze als Alternative zu menschlichen Annotatoren zur Identifizierung von Absichten, mit dem Vaping aufzuhören, es sind jedoch weitere Entwicklungen erforderlich, bevor es menschliche Einsichten vollständig ersetzen kann. Die Ergebnisse dieser Studie eröffnen verschiedene Wege für zukünftige Forschungen, die die Rolle von KI bei Gesundheitsinterventionen und der öffentlichen Gesundheitsforschung verbessern können.

#Danksagungen

Diese Forschung wurde von Zuschüssen des NIH und der University of South Carolina finanziert. Die Autoren haben keine Interessenkonflikte in Bezug auf diese Studie erklärt.