Verbesserung der Lesbarkeitseinschätzung in philippinischen Sprachen

In den letzten Jahren hat sich die Forschung zur automatischen Lesbarkeitseinschätzung (ARA) hauptsächlich auf den Einsatz fortschrittlicher Methoden mit Deep Learning konzentriert. Das Ziel war, die Genauigkeit zu verbessern, aber dieser Ansatz ist oft nicht geeignet für Sprachen, die nicht viele Ressourcen haben. In diesen Fällen werden immer noch traditionelle Methoden, die auf einfachen Merkmalen basieren, häufig verwendet, da es nicht genug Werkzeuge gibt, um die Sprache tiefgehend zu analysieren.

Diese Studie schaut sich an, wie Sprachmerkmale, wie gegenseitige Verständlichkeit oder wie eng verwandte Sprachen sind, die Lesbarkeitseinschätzung für Sprachen mit weniger Ressourcen verbessern können. Wir haben Kurzgeschichten in drei philippinischen Sprachen gesammelt: Tagalog, Bikol und Cebuano. Diese Geschichten wurden genutzt, um Modelle zu erstellen, die die Lesbarkeit bewerten und zu untersuchen, wie verschiedene Daten und Merkmale in verschiedenen Sprachkombinationen interagieren.

Unsere Ergebnisse zeigen, dass die Einbeziehung eines neuen Merkmals, das wir entwickelt haben und CrossNGO nennen, welches sich auf sich überschneidende Zeichensequenzen aus eng verwandten Sprachen stützt, die Leistung der Lesbarkeitsmodelle im Vergleich zur Nutzung grosser Sprachmodelle allein erheblich verbessert. Durch die Kombination dieser linguistischen Merkmale erzielten wir die besten Ergebnisse für Tagalog und Cebuano, während wir eine Grundlage für Bikol festlegten.

#Was ist automatische Lesbarkeitseinschätzung?

Die automatische Lesbarkeitseinschätzung ist der Prozess, wie schwierig ein Text ist, mithilfe von Computerwerkzeugen zu bestimmen. Dieser Bedarf entsteht, weil es oft Inkonsistenzen gibt, wenn verschiedene Leute die Schwierigkeit von Texten bewerten, besonders wenn die Annotatoren unterschiedliche Fachkenntnisse haben. Zudem kann es schwierig sein, komplexe Merkmale manuell aus Texten zu extrahieren. Lesbarkeitswerkzeuge können Komplexität basierend auf verschiedenen Faktoren definieren, wie Altersgruppen, Klassenstufen oder etablierten Rahmenwerken wie dem Gemeinsamen Europäischen Referenzrahmen für Sprachen.

Im Laufe der Jahre sind Techniken des Deep Learning und grosse Sprachmodelle in der akademischen Forschung populär geworden. Viele Studien zielen darauf ab, die Leistung in verschiedenen Bereichen zu verbessern, besonders in Sprachen mit vielen leicht verfügbaren Lesbarkeitsdaten, wie Englisch und Deutsch. Allerdings nutzt die Forschung zu Sprachen mit weniger Ressourcen, wie Cebuano und Bengali, immer noch hauptsächlich einfache Merkmale wie Wort- und Satzlängen.

Wir haben zwei Hauptprobleme identifiziert, die mit der Abhängigkeit von komplexen, neural-basierten Methoden verbunden sind. Erstens hängt ihr Erfolg oft davon ab, genug Daten zu haben, um ein massgeschneidertes Deep Learning-Modell zu trainieren. Zweitens hängt es bei grossen Sprachmodellen von der Verfügbarkeit vortrainierter Modelle für die betreffende Sprache ab.

Forschende haben gezeigt, dass die blosse Nutzung von Daten aus einem mehrsprachigen BERT-Modell nicht zu besseren Ergebnissen für Cebuano führt als die Verwendung traditioneller Merkmale, die auf die Sprache zugeschnitten sind. Diese Herausforderungen fördern eine weitere Untersuchung von Methoden, die keine grosse Datenmenge oder komplexe vortrainierte Modelle erfordern, und befürworten die Nutzung einfacherer, besser interpretierbarer Modelle.

Diese Studie macht einen Schritt zurück und betont die verfügbaren Daten für ressourcenarme philippinische Sprachen und die daraus gewonnenen Merkmale, anstatt sich nur auf die verwendeten Algorithmen zu konzentrieren. Wir betrachten Situationen, in denen kleine Mengen an Lesbarkeitsdaten für verwandte Sprachen innerhalb einer Sprachfamilie verfügbar sind. Soweit wir wissen, wurde die Berücksichtigung der Nähe von Sprachen in quersprachlichen Lesbarkeitseinschätzungen bisher nicht untersucht.

#Wichtige Beiträge der Studie

Wir haben eine umfassende Studie zur Lesbarkeitseinschätzung in einem quersprachlichen Kontext unter Verwendung von drei eng verwandten philippinischen Sprachen durchgeführt: Tagalog, Bikolano und Cebuano.

• Wir haben eine Vielzahl von Merkmalen extrahiert, die von linguistischem Verständnis bis hin zu neuronalen Einbettungen reichen, und evaluiert, wie sie die Leistung der Lesbarkeitsmodelle in verschiedenen Sprachkombinationen beeinflussen.
• Wir haben CrossNGO eingeführt, ein neues Merkmal, das für die Lesbarkeitseinschätzung in eng verwandten Sprachen anwendbar ist.
• Wir haben ein neues Lesbarkeitsdatensatz für Bikol veröffentlicht, das eine der Hauptsprachen auf den Philippinen ist.
• Wir haben eine Basislinie für die Lesbarkeitsbewertung in Bikol festgelegt, während wir die besten Ergebnisse für Tagalog und Cebuano erzielt haben.

#Die linguistische Landschaft der Philippinen

Die Philippinen sind bemerkenswert für ihre sprachliche Vielfalt, mit über hundert Sprachen, die von Millionen von Menschen gesprochen werden. Die Sprachen sind morphologisch reich, mit flexiblen Wortstellungen und einer hohen Anzahl möglicher Flexionen, Duplikationen und zusammengesetzter Wörter. Linguistische Studien kategorisieren diese Sprachen in nördliche und zentrale Untergruppen. Zu den wichtigsten Sprachen der nördlichen Gruppe gehören Ilokano, Pangasinan und Kapampangan, während Tagalog, Bikol, Hiligaynon und Cebuano zur zentralen Gruppe gehören.

Unsere Lesbarkeitsbewertungen konzentrieren sich auf Tagalog, Cebuano und Bikol, die in der Arbeit mit ihren ISO-Codes tgl, ceb und bcl bezeichnet werden.

#Erforschung der gegenseitigen Verständlichkeit

Forschungsergebnisse zeigen, dass Tagalog, Bikol und Cebuano enger miteinander verwandt sind als mit anderen Sprachen der nördlichen Untergruppe. Diese Nähe wird oft als gegenseitige Verständlichkeit bezeichnet. Solche Ähnlichkeiten können in verschiedenen Aspekten beobachtet werden, wie:

• Silbenmuster, bei denen alle drei Sprachen ähnliche Kasus-Markierungs-Partikel teilen.
• Gemeinsamer Wortschatz, wobei Wörter wie mata (Auge) und tubig (Wasser) in allen drei Sprachen vorkommen.

Durch die Analyse dieser Ähnlichkeiten möchten wir zeigen, dass diese philippinischen Sprachen tatsächlich eng miteinander verwandt sind. Dazu verwenden wir zwei Methoden zur Messung linguistischer Ähnlichkeit: Überlappung von Zeichen-n-Grammen und genetische Distanz.

#Messung der Zeichen-n-Gramm-Überlappung

Für unsere erste Messung untersuchen wir die Überlappung von Zeichen-Bigrammen und -Trigrammen für jedes Paar der ausgewählten Sprachen. Wir rangieren die am häufigsten vorkommenden Zeichen-Bigramme und -Trigramme für jede Sprache und berechnen die Überlappung. Die Ergebnisse zeigen, dass Tagalog, Bikol und Cebuano eine hohe Zeichenüberlappung haben, insbesondere miteinander, während ihre Überlappung mit Englisch niedrig ist.

#Nutzung genetischer Distanz

Als sekundäre Massnahme berechnen wir genetische Distanzwerte für jedes Sprachpaar. Dieses automatische Mass quantifiziert die Distanz zwischen zwei Sprachen basierend auf einer Liste von Wortübersetzungen. Je näher der Wert an Null ist, desto verwandter sind die Sprachen. Unsere Ergebnisse zeigen, dass die Distanzen zwischen den philippinischen Sprachen klein sind, während Englisch eine hohe Distanz zu diesen Sprachen aufweist.

#Lesbarkeitskorpora für philippinische Sprachen

Wir haben Open-Source-Lesbarkeitsdatensätze für Tagalog, Cebuano und Bikol aus verschiedenen Online-Bibliotheken und Repositories zusammengestellt. Jede Instanz in unserer Studie besteht aus fiktiven Kurzgeschichten.

Für Tagalog haben wir Geschichten von Adarna House und dem Bildungsministerium verwendet. Der Cebuano-Datensatz stammt aus Quellen wie Let’s Read Asia und Bloom Library. Für Bikol gab es keine bestehenden Lesbarkeitsdatensätze, daher haben wir Geschichten aus ähnlichen Quellen gesammelt.

Alle gesammelten Daten folgen einem standardisierten Einstufungsschema für Lernende in den frühen Klassenstufen, und jede Instanz wurde von Experten annotiert, die die passende Klassenstufe angeben.

#Experimenteller Aufbau

#Machine-Learning-Ansatz

Unsere Studie konzentriert sich hauptsächlich auf die Analyse traditioneller und neuraler Merkmale in einem quersprachlichen Kontext. Wir haben ein einfaches Random Forest-Modell verwendet, das sich in ARA-Aufgaben für Tagalog und Cebuano gut bewährt hat. Wir verwendeten einen stratified k-fold-Ansatz, um eine gut repräsentierte Stichprobe für jede Klasse sicherzustellen, angesichts des begrenzten Datensatzes.

Wir berichten über die Genauigkeit als das wichtigste Evaluationsmass über alle Experimente hinweg, um den Vergleich mit früheren Arbeiten zu ermöglichen. Das Modellieren und Bewerten wurde mit WEKA durchgeführt, wobei die Standardhyperparameter für den Random Forest-Algorithmus verwendet wurden.

#Linguistische Merkmale

Wir haben eine Vielzahl von Merkmalen extrahiert und integriert, die beeinflusst sind von:

• Traditionellen handgefertigten Prädiktoren aus früheren Studien.
• Repräsentationen aus einem mehrsprachigen Transformator-Modell (mBERT).
• Dem neuen CrossNGO-Merkmal, das für die Lesbarkeitseinschätzung in eng verwandten Sprachen zugeschnitten ist.

Traditionelle handgefertigte Merkmale umfassen:

• Zählungen von Wörtern, Phrasen und Sätzen.
• Durchschnittliche Wort- und Satzlänge.
• Die Anzahl von mehrsilbigen Wörtern.
• Dichte der Silbenmuster.

Wir haben auch mBERT für kontextuelle Repräsentationen verwendet und Mittelwerte aus zwölf Schichten extrahiert.

#Einführung von Cross-Lingual Character N-Gram Overlap (CrossNGO)

Wir haben das CrossNGO-Merkmal entwickelt, um linguistische Ähnlichkeiten mithilfe von Zeichenüberlappungen aus einer kuratierten Liste häufiger n-Gramme innerhalb gegenseitig verständlicher Sprachen zu quantifizieren. Dieses Merkmal ermöglicht es uns, die Modelle zur Lesbarkeitseinschätzung zu verbessern.

#Ergebnisse und Diskussion

Unsere Experimente ergaben Genauigkeitswerte, als wir Random Forest-Modelle mit verschiedenen Kombinationen von Merkmalen für jede Sprache trainierten. Wir erkundeten drei Setups: singulär quersprachlich, paarweise quersprachlich und voll quersprachlich.

Bei den singulären quersprachlichen Experimenten führte die Kombination von traditionellen Merkmalen mit CrossNGO zu hoher Genauigkeit für Bikol und Cebuano sowie zu wettbewerbsfähigen Werten für Tagalog. Wir beobachteten einen Trend, bei dem traditionelle Merkmale, ergänzt durch CrossNGO, die mBERT-Einbettungen allein übertrafen.

Bei den paarweisen quersprachlichen Experimenten verbesserte das Hinzufügen einer eng verwandten Sprache zu den Trainingsdaten die Modellleistung erheblich. Verwirrungsmatrizen zeigten, dass die Einbeziehung zusätzlicher Daten die Fehlklassifikationen über die Klassenstufen hinweg reduzierte.

Durch die Kombination spezialisierter quersprachlicher Merkmale mit mehrsprachigen neuronalen Einbettungen erzielten wir Spitzenwerte für Tagalog und Cebuano. Die Ergebnisse deuten darauf hin, dass die Verwendung verwandter Sprachen die ARA-Ergebnisse verbessert, im Gegensatz zur Verwendung unverbundener Sprachen wie Englisch.

#Einschränkungen der Studie

Obwohl diese Studie wertvolle Einblicke bietet, ist es wichtig, einige Einschränkungen anzuerkennen:

• Wir haben speziell fiktive Kurzgeschichten für unsere Analyse verwendet, da sie einen leichteren Zugang zu Goldstandard-Etiketten bieten. Wir können nicht garantieren, dass unsere Modelle auf andere literarische Materialien verallgemeinert werden können.
• Die Studie konzentrierte sich auf zählbasierte Prädiktoren und untersuchte nicht andere Arten von Merkmalen, die fortgeschrittene NLP-Tools erfordern könnten.
• Die Wahl des Random Forest-Algorithmus beruhte auf vorherigen Belegen für seine Wirksamkeit. Zukünftige Forschungen könnten Vergleiche mit anderen Algorithmen erforschen.

#Ethische Überlegungen

Wir sehen keine ethischen Probleme, die aus dieser Forschung hervorgehen könnten. Wir danken den Gruppen und Organisationen, die für die Erstellung der verwendeten Open-Source-Datensätze verantwortlich sind.

Zusammenfassend zeigt diese Studie die Bedeutung der Analyse linguistischer Merkmale zur automatischen Lesbarkeitseinschätzung in eng verwandten Sprachen. Durch die Verwendung traditioneller Merkmale neben dem neuen CrossNGO-Merkmal zeigen wir eine deutliche Verbesserung der Modellleistung und ermutigen zu weiteren Untersuchungen linguistischer Theorien in NLP-Aufgaben.