Mehrsprachige Modelle und Einblicke ins Leseverhalten

Wenn Leute lesen, beeinflusst die Komplexität der Sätze, wie sich ihre Augen bewegen. Diese Idee gilt für verschiedene Sprachen. Neueste Forschung zeigt, dass Sprachmodelle, die mehrere Sprachen lesen können, die Ähnlichkeiten in Satzstrukturen nutzen, um verschiedene Sprachen besser zu verstehen. Diese Studie untersucht, wie die Augenbewegungen während des Lesens auf die Komplexität der Sätze hinweisen können. Wir haben herausgefunden, dass ein mehrsprachiges Modell namens XLM-RoBERTa die Augenbewegungen für 13 verschiedene Sprachen vorhersagen kann, obwohl es nur mit Daten aus dem Englischen trainiert wurde.

Wir haben gemessen, wie sensitiv dieses Modell auf die Komplexität von Sätzen reagiert und festgestellt, dass es sich stark auf die Länge der Sätze konzentriert, aber auch Unterschiede zwischen den Sprachen berücksichtigt. Um das weiter zu testen, haben wir ein Experiment gemacht, bei dem wir die Wortreihenfolge von Sätzen durcheinandergebracht haben. Die Ergebnisse zeigten, dass das Modell noch detailliertere strukturelle Informationen über die Sätze erfassen kann.

Auf der Welt gibt es etwa 7.000 verschiedene Sprachen, jede mit ihren eigenen Besonderheiten. Die meisten Forschungen darüber, wie Menschen Sprache verarbeiten, stammen aus einer kleinen Anzahl verwandter Sprachen aus der indoeuropäischen Familie. In letzter Zeit haben einige Forscher begonnen, zu untersuchen, wie verschiedene Sprachen Informationen im Gehirn verarbeiten, was sowohl gemeinsame Merkmale als auch einzigartige Unterschiede aufzeigt.

In der Sprachtechnologie sind Mehrsprachige Modelle für Aufgaben wie das Übersetzen zwischen Sprachen oder das Finden von Informationen über Sprachen hinweg konzipiert. Diese Modelle werden gleichzeitig auf vielen Sprachen trainiert und berücksichtigen nicht spezifisch die Unterschiede zwischen ihnen. Trotzdem erzielen diese Modelle beeindruckende Ergebnisse, selbst wenn sie bestimmte Sprachen vorher nicht gesehen haben.

Die Fähigkeit, Wissen aus einer Sprache zu nutzen, um eine andere zu verstehen, wird mit gemeinsamem Vokabular zwischen den Sprachen in Verbindung gebracht, was hilft, gemeinsame Wurzeln in Sprachen, die zur gleichen Familie gehören, wiederzuverwenden. Allerdings hat die Forschung gezeigt, dass es nicht notwendig ist, Vokabular zu teilen, um Wissen zwischen Sprachen zu übertragen. Stattdessen spielen die Ähnlichkeiten in der Struktur zwischen den Sprachen eine viel grössere Rolle dafür, wie gut diese Modelle funktionieren.

Wenn Menschen Sätze lesen, stossen sie auf unterschiedliche Komplexitätsebenen. Daten zu Augenbewegungen können uns wertvolle Einblicke in die kognitive Verarbeitung beim Lesen geben, indem sie aufzeichnen, wie lange Menschen auf bestimmte Wörter schauen und wie oft sie zurückgehen müssen, um Teile des Textes erneut zu lesen. Zum Beispiel führen Sätze, die schwerer zu verstehen sind, oft zu mehr Rückblicken in den Augenbewegungen.

Auf einer grundlegenden Ebene unterscheiden sich die Muster der Augenbewegung zwischen Sprachen aufgrund visueller Elemente wie der Schriftart. Zum Beispiel ist das chinesische Schriftsystem dichter als das alphabetische System, was zu längeren Fixierungen der Augen führt. Allerdings scheinen tiefere Lese­muster in verschiedenen Sprachen ähnlich zu sein, wie durch die gleichmässige Lesegeschwindigkeit für vergleichbare Inhalte in Sprachen wie Chinesisch, Englisch und Finnisch gezeigt wird.

Frühere Studien haben gezeigt, dass auf Englisch basierende Sprachmodelle die Komplexität von Satzstrukturen effektiver erfassen können, wenn sie mit Augenbewegungsdaten aus dem Englischen retrainiert werden. Einige Forscher argumentieren, dass die Ähnlichkeiten zwischen Sprachen in mehrsprachigen Modellen nicht stark repräsentiert sind. Dennoch konnten diese Modelle Augenbewegungsmuster sogar für Sprachen vorhersagen, auf die sie nicht trainiert wurden, was auf eine allgemeine Fähigkeit hindeutet, wie Satzkomplexität mit Augenbewegungen zusammenhängt.

Unsere Untersuchung prüft, ob das XLM-R-Modell empfindlich auf Muster struktureller Komplexität in Augenbewegungsdaten reagiert. Wir haben ein neues mehrsprachiges Augenbewegungs-Korpus verwendet, das aus Daten von 13 verschiedenen Sprachen besteht, um die Sensitivität des Modells für strukturelle Merkmale in Sätzen zu analysieren. Dieses Setup hilft uns sicherzustellen, dass unsere Ergebnisse nicht von Unterschieden in der Bedeutung oder der Datenmenge beeinflusst werden.

Wir haben gezeigt, dass das XLM-R-Modell die Augenbewegungsmuster für alle 13 Sprachen vorhersagen kann, obwohl es nur mit englischen Daten trainiert wurde. Unsere Ergebnisse deuten darauf hin, dass sich das Modell tendenziell auf die Satzlänge konzentriert, aber auch Unterschiede zwischen den Sprachen berücksichtigt. Um weiter zu analysieren, wie sensitiv das Modell auf strukturelle Merkmale reagiert, haben wir die letzte Schicht auf Komplexitätsmerkmale untersucht. Unser Kontrollversuch mit durcheinandergebrachten Wörtern deutete darauf hin, dass das Modell auch komplexere strukturelle Informationen erfasst.

#Verwandte Arbeiten

Wir besprechen neue Erkenntnisse über die Bedeutung struktureller Informationen in mehrsprachigen Modellen und erklären, wie Augenbewegungsdaten eine gute Möglichkeit bieten, die Komplexität der kognitiven Verarbeitung zu messen.

Mehrere grosse mehrsprachige Modelle wie mBERT und XLM-R werden gleichzeitig auf vielen Sprachen trainiert. Einige Studien zeigen, dass diese Methode zu starken Leistungen in Sprachaufgaben führt, weil ein gemeinsames Vokabular vorhanden ist. Andere Forschungen besagen, dass die Fähigkeit dieser Modelle, zu verallgemeinern, nicht nur auf das Auswendiglernen von Vokabular zurückzuführen ist. Stattdessen scheinen mehrsprachige Modelle strukturelle Ähnlichkeiten zwischen den Sprachen, auf denen sie trainiert sind, zu nutzen, was ihnen ermöglicht, Wissen effektiver zu übertragen.

Strukturelle Ähnlichkeiten können als gemeinsame Merkmale unter den Sprachen angesehen werden, die den mehrsprachigen Sprachmodellen helfen, besser abzuschneiden. Während einige Studien nahelegen, dass strukturelle Ähnlichkeiten schwach in diesen Modellen repräsentiert sind, haben andere festgestellt, dass diese Ähnlichkeiten eng mit der Leistung des Modells bei der Verarbeitung von Sprachen korrelieren.

Neuere Studien zeigen, dass mehrsprachige Sprachmodelle auf strukturelle Merkmale von Sätzen reagieren, wenn sie Augenbewegungsmuster vorhersagen. Einige Forscher fanden eine Verbindung zwischen der Lesbarkeit eines Textes und der Genauigkeit, mit der Augenbewegungen von mehrsprachigen Modellen vorhergesagt werden können. Die Sensitivität gegenüber diesen strukturellen Merkmalen nimmt zu, wenn Augenbewegungsdaten in diese Modelle integriert werden.

Wir haben uns zum Ziel gesetzt, explizit zu testen, wie sensitiv mehrsprachige Modelle auf verschiedene strukturelle Merkmale reagieren und ob diese Sensitivität sich verbessert, wenn Daten zu Augenbewegungen vorhergesagt werden. Wir haben frühere Analysen erweitert, um ein breiteres Spektrum an Sprachen aus verschiedenen Sprachfamilien abzudecken.

#Multilinguales Augenbewegungs-Korpus

Das mehrsprachige Augenbewegungs-Korpus besteht aus Augenbewegungsdaten, die sich auf das Lesen in 13 Sprachen beziehen. Die Lesematerialien umfassen 12 kurze Texte im Wikipedia-Stil, die von Teilnehmern in ihrer Muttersprache gelesen wurden. Die Texte wurden sorgfältig übersetzt oder thematisch abgeglichen hinsichtlich Themen, Genres und Lesbarkeitsniveaus. Jeder Text wurde auf einem Bildschirm in der gleichen Reihenfolge in allen Sprachen präsentiert. Die Anzahl der Teilnehmer variierte je nach Sprache zwischen 29 und 54.

#Experimentelles Setup

Wir haben Multi-Task-Learning verwendet, um vier wichtige Augenbewegungskennzahlen für Sätze vorherzusagen. Frühere Studien haben gezeigt, dass Augenbewegungsmuster auf Satzebene besser vergleichbar sind als auf Wortebene. Wir haben vier wichtige Metriken ausgewählt, die sowohl mit frühen als auch mit späten Phasen der Satzverarbeitung übereinstimmen.

Für jeden Satz haben wir Folgendes betrachtet:

1. Fixationsanzahl: Anzahl der Male, die die Augen auf einem Satz gehalten haben.
2. Gesamte Fixationsdauer: Gesamte Zeit, die mit dem Blick auf den Satz verbracht wurde.
3. Erste Durchgangsdauer: Zeit, die für das erstmalige Lesen benötigt wurde.
4. Regres­ sionsdauer: Gesamte Zeit, die damit verbracht wurde, zu Teilen des Satzes zurückzukehren.

Um ein klareres Bild der Augenbewegungsmuster zu erhalten, haben wir die Augenbewegungskennzahlen über die Teilnehmer gemittelt und jede auf eine einheitliche Skala angepasst.

#Ergebnisse zum kreuzsprachlichen Transfer

Unsere Ergebnisse zeigen, dass das Modell einen signifikanten Teil der Varianz in den Augenbewegungsmustern über verschiedene Sprachen erklären kann. Die meisten Sprachen erzielten ähnliche Werte in Bezug auf die erklärte Varianz und erreichten eine Genauigkeit zwischen 60 und 80 Prozent. Es gab jedoch mehr Variation in den Werten zwischen den Sprachen. Ähnliche Ergebnisse wurden auch bei anderen Augenbewegungskennzahlen beobachtet, aber das Modell hatte mehr Schwierigkeiten mit der Vorhersage der Regres­sionsdauer.

Um sicherzustellen, dass wir keine irreführenden Ergebnisse erhielten, haben wir getestet, indem wir Eingabesätze zufällig mit Augenbewegungswerten aus anderen Sätzen gepaart haben. In diesem zufälligen Setup waren die Werte immer negativ.

#Sensitivität gegenüber struktureller Komplexität

Wir haben vier Kategorien von Merkmale auf Satzebene untersucht, die zur Komplexität beitragen:

1. Länge
2. Häufigkeit
3. Morphosyntaktisch
4. Syntaktisch

Wir haben festgestellt, dass die vorhergesagten Werte erheblich variieren, basierend auf der Satzlänge, die auch ein Indikator für strukturelle Komplexität ist. Wir haben beobachtet, dass, während die Länge ein starker Prädiktor ist, strukturelle Merkmale zusätzliche Einblicke in die Lese­muster bieten.

#Zusammenfassung

Zusammengefasst deutet unsere Studie darauf hin, dass das XLM-R-Modell das Leseverhalten über verschiedene Sprachen hinweg effektiv vorhersagen kann, obwohl es nur mit englischen Trainingsdaten trainiert wurde. Es zeigt einen starken Fokus auf die Satzlänge, demonstriert jedoch auch Sensitivität gegenüber komplexeren strukturellen Merkmalen, einschliesslich Wortfolge und Abhängigkeitsstruktur. Die Unterschiede in der Leistung, abhängig von den Testdaten innerhalb und ausserhalb des Domains, betonen die Bedeutung der Datenmerkmale bei der Bewertung der Fähigkeit des Modells, über Sprachen zu verallgemeinern.

Zukünftige Forschungen werden darauf abzielen, den Einfluss individueller Leserunterschiede besser zu berücksichtigen und das Vorhersagemodell zu verfeinern. Die Berücksichtigung sowohl von Satz- als auch von Wortvorhersagen könnte das Verständnis des Modells für verschiedene linguistische Merkmale in zukünftigen Arbeiten verbessern.

Diese Studie zeigt das Potenzial mehrsprachiger Modelle für das Verständnis der kognitiven Verarbeitung über Sprachen hinweg, aber es gibt noch viel mehr zu lernen, insbesondere angesichts der begrenzten Verfügbarkeit von Augenbewegungsdaten in vielen Sprachen.