Sentiment-Analyse des Ukraine-Russland-Konflikts in Osteuropa

Der laufende Konflikt zwischen der Ukraine und Russland ist ein grosses Thema auf Social-Media-Plattformen wie Twitter. Die Leute äussern ihre Meinungen und Gefühle zu dieser Situation auf unterschiedliche Weise. Um diese Sentiments besser zu verstehen, können wir eine Technik namens aspektbasierte Sentimentanalyse (ABSA) verwenden. Diese Methode hilft uns, zu untersuchen, wie die Leute über bestimmte Aspekte des Konflikts denken, wie ihre Ansichten zu Russland oder zur Ukraine.

#Bedeutung von Sprachmodellen

In den letzten Jahren sind grosse Sprachmodelle (LLMs) zu wichtigen Werkzeugen für die Analyse von Sentiments in Texten geworden. Diese Modelle sind darauf trainiert, Sprache zu verstehen und können Sentimente effektiv klassifizieren. Allerdings haben wir festgestellt, dass kleinere, optimierte Modelle in bestimmten Aufgaben genauso gut oder sogar besser abschneiden, vor allem wenn es um kürzere Texte wie Tweets geht.

#Fokus auf osteuropäische Sprachen

Die meisten Forschungen zur Sentimentanalyse konzentrierten sich auf Englisch und ein paar andere weit verbreitete Sprachen. Es fehlt jedoch an Studien zu osteuropäischen Sprachen, insbesondere zu denen, die in den Visegrad-Ländern (V4) gesprochen werden – Tschechische Republik, Slowakei, Polen und Ungarn. Diese Studie will diese Lücke schliessen, indem mehrere LLMs für die Klassifizierung von Sentimenten in Tweets aus diesen Ländern über den Ukraine-Russland-Konflikt optimiert werden.

#Datensammlung

Für diese Forschung haben wir eine grosse Menge an Daten von Twitter über deren akademische API gesammelt. Wir haben uns auf Tweets konzentriert, die Schlüsselwörter im Zusammenhang mit dem Konflikt erwähnten, und unsere Sammlung auf Tweets in Tschechisch, Slowakisch, Polnisch und Ungarisch beschränkt. Nach der Datensammlung haben wir die Daten in drei sprachspezifische Datensätze für die Analyse aufgeteilt.

#Datenannotation

Jeder Datensatz musste manuell annotiert werden, um die in den Tweets ausgedrückten Sentimente zu kategorisieren. Wir haben jeden Tweet als negativ, neutral oder positiv gekennzeichnet, basierend auf dem Sentiment gegenüber der Ukraine oder Russland. Unser Ziel war es, sicherzustellen, dass jede Kategorie fair innerhalb der Datensätze vertreten war.

#Feinabstimmung der Sprachmodelle

Nach der Annotation der Tweets haben wir mehrere Sprachmodelle – BERT, BERTweet, Llama2, Llama3 und Mistral – auf unseren Datensätzen optimiert. Wir haben auch getestet, wie sich die Übersetzung von Tweets ins Englische auf die Leistung der Modelle auswirkte. Dafür haben wir verschiedene Übersetzungsmethoden verwendet: eine mit dem Helsinki-Übersetzer und eine andere mit DeepL.

#Experimentelles Setup

Wir haben eine Reihe von Experimenten entworfen, um zu bewerten, wie gut die Modelle Sentimente klassifizieren konnten. Wir haben verschiedene Faktoren wie die Sprache des Tweets, das verwendete Modell und ob der Tweet ins Englische übersetzt wurde, betrachtet. Durch die Messung der Genauigkeit und anderer Leistungsmetriken jeder Einstellung wollten wir herausfinden, welche Kombinationen die besten Ergebnisse lieferten.

#Wichtige Ergebnisse

1. Modelleistung: Llama2 und Mistral haben in den meisten Szenarien die anderen Modelle übertroffen und erzielten hervorragende Ergebnisse, als sie auf den spezifischen Datensätzen feinabgestimmt wurden. Überraschenderweise schnitt Llama3, trotz neuer Funktionen, nicht so gut ab wie Llama2.

2. Übersetzungseffekte: Die meisten Modelle schnitten bei den englischen Übersetzungen von Tweets besser ab als bei den Tweets in der Originalsprache. Das DeepL-Übersetzungstool lieferte in der Regel bessere Ergebnisse als der Helsinki-Übersetzer.

3. Sprachvariabilität: Wir fanden heraus, dass die polnischen Tweets oft falsch klassifiziert wurden, was darauf hinweist, dass die Modelle mit dieser Sprache mehr Schwierigkeiten hatten als mit anderen. Das könnte an der Komplexität der in polnischen Tweets über den Konflikt ausgedrückten Sentimente liegen.

4. Auswirkung der Datengrösse: Die Grösse unserer Trainingsdatensätze variierte, und wir beobachteten, dass grössere Datensätze normalerweise zu einer besseren Modellleistung führten. Trotzdem zeigten auch kleinere Datensätze Potenzial für die Feinabstimmung in spezifischen Aufgaben, insbesondere in der binären Sentimentklassifizierung.

5. Modellbias: Sprachmodelle spiegeln oft die Vorurteile der menschlichen Annotatoren wider. Beispielsweise wurden Tweets mit gemischten Sentimenten manchmal falsch klassifiziert, basierend ausschliesslich auf allgemein negativen Kontexten.

#Fazit

Diese Studie hebt die Herausforderungen und Chancen in der Sentimentanalyse im Zusammenhang mit dem Ukraine-Russland-Konflikt hervor, insbesondere in unterrepräsentierten osteuropäischen Sprachen. Durch die Verwendung von feinabgestimmten Sprachmodellen haben wir gezeigt, dass es möglich ist, Sentimente in Tweets effektiv zu klassifizieren, was potenziell dabei helfen könnte, die öffentliche Meinung zu verstehen. Unsere Ergebnisse zeigen die signifikanten Unterschiede in der Modellleistung über die Sprachen hinweg und die Bedeutung, den kulturellen Kontext in der Sentimentanalyse zu berücksichtigen. Diese Forschung legt den Grundstein für zukünftige Studien zur Erkundung der Sentimentklassifizierung in einem breiteren Kontext, einschliesslich synthetischer Datensätze und unterschiedlicher Modellarchitekturen.

#Zukünftige Arbeiten

In Zukunft planen wir, weiter zu untersuchen, wie Vorurteile die Sentimentklassifizierung beeinflussen. Ausserdem wollen wir mehr synthetische Datensätze erstellen, die helfen können, verschiedene Aspekte von Sentiment genauer zu bewerten. Das könnte zu einem besseren Verständnis dafür führen, wie sich die öffentliche Meinung im Laufe der Zeit verändert und wie verschiedene Faktoren das Sentiment im Zusammenhang mit laufenden Konflikten beeinflussen.

Indem wir die Werkzeuge und Methoden, die wir verwenden, erweitern, hoffen wir, unsere Fähigkeit zur Analyse von Sentimenten in mehreren Sprachen und Kontexten zu verbessern, was zu grösseren Einblicken in die öffentliche Meinung zu wichtigen globalen Themen führt.