Intimität in mehrsprachigen Tweets vorhersagen

In dem aktuellen SemEval 2023 Wettbewerb haben wir daran gearbeitet, Intimität in Tweets über mehrere Sprachen hinweg vorherzusagen. Unser Ziel war es zu verstehen, wie eng soziale Medien Gefühle von Nähe oder Verbindung zwischen Menschen darstellen können. Wir haben den zweiten Platz belegt und in allen zehn Sprachen, auf die wir uns konzentriert haben, gute Ergebnisse erzielt.

#Die Herausforderung

Soziale Medien sind eine wahre Fundgrube an Informationen über menschliches Verhalten. Diese Texte manuell zu analysieren, kann viel zu zeitaufwendig und teuer sein. Wir wollten prädiktive Modelle erstellen, die Aspekte wie Intimität, Emotionen und allgemeine Positivität in sozialen Medien bewerten können, um grossangelegte Studien zu erleichtern.

Eine grosse Herausforderung ist der Mangel an Trainingsdaten in vielen Sprachen. Viele Forscher haben Schwierigkeiten, das soziale Verhalten zu studieren, weil es an Daten mangelt. Unser Projekt hatte zum Ziel, dieses Problem anzugehen, indem wir Modelle entwickeln, die Intimitätslevels auch in Sprachen mit wenig oder gar keinen Trainingsdaten effektiv schätzen können.

#Unser Ansatz

Um das Problem anzugehen, haben wir uns darauf konzentriert, Mehrsprachige Sprachmodelle zu verbessern. Wir hatten das Ziel, Trainingsmethoden zu entwickeln, die es diesen Modellen ermöglichen, besser die Verbindungen zwischen den Sprachen zu lernen. Hier sind die wichtigsten Punkte unserer Arbeit:

1. Fine-Tuning-Methode: Wir haben eine spezielle Fine-Tuning-Methode namens "Head-First Fine-Tuning" (HeFiT) entwickelt. Diese Methode konzentriert sich zuerst darauf, die letzte Schicht des Modells, die Vorhersagen trifft, anzupassen. Dieser Prozess hilft dem Modell, sich besser an die Natur von Tweets anzupassen, ohne zusätzliches Training zu benötigen.

2. Synthetische Daten: Wir haben eine kleine Anzahl von Tweets, die von ChatGPT generiert wurden, als Trainingsdaten verwendet. Das war besonders nützlich für Sprachen, in denen wir nicht genug menschlich beschriftete Daten hatten. Die synthetischen Daten zeigten vielversprechende Ergebnisse in der Leistungssteigerung des Modells.

3. Umgang mit Sprachinterferenzen: Wir haben uns angeschaut, wie Inkonsistenzen in den Daten zu gemischten Signalen führen können, wenn das Modell versucht, aus mehreren Sprachen zu lernen. Manchmal kann es verwirrend sein, wenn das Modell zu viele Daten aus einer Sprache hat, während es verwandte Sprachen lernt.

#Verwandte Arbeiten

Cross-linguales Lernen dreht sich darum, Wissen zwischen verschiedenen Sprachen zu übertragen. Eine Möglichkeit, dies zu tun, besteht darin, mehrsprachige Sprachmodelle zu verwenden, die in mehreren Sprachen trainiert sind. Das XLM-R-Modell ist ein Beispiel für ein solches Modell und hat in verschiedenen Sprachaufgaben gute Leistungen gezeigt.

Es gab kürzlich Entwicklungen, um diese Modelle anpassungsfähiger zu machen. Ein Ansatz umfasst leichte Sprachadapter. Ein anderer konzentriert sich darauf, die Leistung bei Aufgaben zu verbessern, die mehrere Sprachen gleichzeitig betreffen. Unsere Hypothese war, dass ein direkter Ansatz unseren Modellen helfen könnte, in neuen Sprachen mit minimalem Leistungsverlust herausragend abzuschneiden.

#Daten und Methoden

Die Daten für unsere Aufgabe stammen aus einer Sammlung von Tweets, die jeweils eine Intimitätsbewertung auf einer Skala von 1 bis 5 erhalten haben. Der Datensatz umfasste etwa 1.600 Posts für fünf indoeuropäische Sprachen und Chinesisch, insgesamt also zehn Sprachen im Testset.

Um zu sehen, wie gut unser Modell neue Sprachen lernen konnte, haben wir einen synthetischen Datensatz mit fünfzig Proben für jede der zehn Sprachen erstellt. Diese Daten wurden mit dem ChatGPT-Modell generiert, das gut im Vergleich zu etablierten Übersetzungssystemen abschloss.

Für den Annotierungsprozess wählte ein Muttersprachler die besten Proben aus den generierten Daten aus, um Qualität sicherzustellen. Der gesamte Prozess dauerte etwa zehn Stunden.

#Evaluationsmetriken

Wir haben den Pearson-Korrelationskoeffizienten verwendet, um die Genauigkeit unserer Vorhersagen zu messen. Dieser Wert berechnet, wie eng unsere Vorhersagen mit den tatsächlichen Intimitätswerten übereinstimmen. Ein höherer Wert zeigt eine bessere Übereinstimmung zwischen den Vorhersagen unseres Modells und den echten Werten an.

#Fine-Tuning-Prozess

Wir haben erkannt, dass die Verwendung von zu wenigen Trainingsdaten, insbesondere bei kurzen Texten wie Tweets, zu einer instabilen Modellleistung führen kann. Um das zu beheben, haben wir HeFiT eingeführt, einen zweistufigen Fine-Tuning-Prozess.

In der ersten Phase haben wir nur die Vorhersageschicht für drei Epochen feinjustiert, während der Rest des Modells unverändert blieb. In der zweiten Phase haben wir das gesamte Modell freigeschaltet und das Fine-Tuning für sechs weitere Epochen mit einer reduzierten Lernrate fortgesetzt. Dieser schrittweise Ansatz hilft dem Modell, sich anzupassen, ohne das, was es während des anfänglichen Trainings gelernt hat, zu verlieren.

#Kombinieren von Modellausgaben

Wir haben festgestellt, dass das Kombinieren von Vorhersagen aus verschiedenen Modellen zu besseren Ergebnissen führt. Für unsere endgültige Einreichung haben wir die Vorhersagen mehrerer HeFiT-Modelle sowie einiger Modelle, die Standard-Fine-Tuning-Methoden verwendeten, gemittelt.

#Analyse der Ergebnisse

Durch verschiedene Tests haben wir verschiedene Hyperparameter-Einstellungen untersucht, um die Modellleistung zu verbessern. Unsere Erkenntnisse deuteten darauf hin, dass die Verwendung von HeFiT mit dem XLM-R-Modell signifikante Verbesserungen im Umgang mit Tweets brachte. Der gleiche Ansatz brachte jedoch nicht so viel Vorteil, wenn er mit dem XLM-T-Modell verwendet wurde.

Wir haben auch die Verwendung synthetischer Daten in unserem Trainingsprozess erforscht. Wir haben Szenarien getestet, bei denen wir Trainingsdaten für eine bestimmte Sprache weggelassen haben, und festgestellt, dass synthetische Proben helfen konnten, diese Lücken zu füllen. Allerdings führte die Hinzufügung synthetischer Daten oft zu einer Verschlechterung der Leistung für bestimmte Sprachen.

Insbesondere wenn wir Daten aus dem Italienischen oder Spanischen weggelassen haben, zeigten andere verwandte Sprachen verbesserte Ergebnisse. Das deutet darauf hin, dass zu viele Trainingsdaten in einer Sprache zu Verwirrung im Modell führen können, wenn es versucht, von anderen zu lernen.

#Erkenntnisse nach der Einreichung

Nach der offiziellen Bewertung haben wir weitere Tests durchgeführt. HeFiT lieferte durchweg bessere Ergebnisse in all unseren Experimenten mit dem XLM-R-Modell. Für XLM-T zeigte das Standard-Fine-Tuning in bestimmten Szenarien stärkere Ergebnisse.

Unsere wichtigste Erkenntnis war, dass die Verwendung synthetischer Daten die Modellleistung erheblich verbesserte, was zu besseren Ergebnissen bei der Vorhersage von Intimitätslevels in verschiedenen Sprachen führte.

#Einschränkungen und zukünftige Arbeiten

Obwohl unsere Ergebnisse vielversprechend waren, gibt es Einschränkungen. Die Methoden, die wir getestet haben, konzentrierten sich speziell auf die Aufgabe der Intimitätsvorhersage in Tweets. Ihre Effektivität in anderen Kontexten bleibt ungewiss.

Ausserdem war die Art und Weise, wie wir die Prompts zum Generieren synthetischer Daten entworfen haben, möglicherweise nicht optimal. Zukünftige Forschungen sollten sich darauf konzentrieren, diese Techniken zu verfeinern und sie über verschiedene Aufgaben und Datensätze hinweg zu testen, um zu sehen, ob wir unsere Ergebnisse replizieren können.

Zusammenfassend betont unsere Arbeit das Potenzial von Fine-Tuning-Techniken und der Generierung synthetischer Daten bei der Vorhersage von Intimität in mehrsprachigen Kontexten. Angesichts des Werts der Analyse sozialer Medien könnten unsere Ergebnisse den Weg für effektivere Studien zum sozialen Verhalten anhand digitaler Kommunikation ebnen.