Neuer Datensatz HAE-RAE Bench bewertet koreanische Sprachmodelle

Grosse Sprachmodelle (LLMs) haben starke Fähigkeiten in verschiedenen Aufgaben gezeigt, vor allem im Englischen. Es gibt Bemühungen, diese Modelle auch für andere Sprachen anzupassen, aber es gibt nicht genug Aufmerksamkeit dafür, wie man diese Modelle genau bewertet. Die bestehenden Methoden zur Bewertung von Sprachmodellen beinhalten oft die Übersetzung englischer Tests oder die Verwendung von übersetzten Datensätzen, die möglicherweise wichtige kulturelle und sprachliche Merkmale nicht effektiv erfassen.

Um diese Lücke für die koreanische Sprache zu schliessen, stellen wir einen neuen Datensatz namens HAE-RAE Bench vor. Dieser Datensatz ist darauf ausgelegt, Modelle herauszufordern, die koreanische Kultur oder Kontext vielleicht nicht vollständig verstehen. Er umfasst sechs Aufgaben in vier Bereichen: Wortschatz, Geschichte, Allgemeinwissen und Leseverständnis. Im Gegensatz zu älteren Bewertungsmethoden, die sich auf grundlegendes Sprachverständnis und Logik konzentrieren, priorisiert HAE-RAE Bench die Fähigkeit, spezifisches Wissen und kulturelle Informationen über Korea abzurufen.

Die Entwicklung von Sprachmodellen und Bewertungsdatensätzen hat Hand in Hand stattgefunden, beide wurden im Laufe der Zeit fortschrittlicher. Allerdings fehlt es an Tiefe bei der Bewertung mehrsprachiger Fähigkeiten. Die meisten aktuellen Bewertungen stützen sich immer noch auf übersetzte Versionen bestehender englischer Tests, die die kulturelle Vielfalt verschiedener Sprachen nicht vollständig widerspiegeln.

#Verwandte Arbeiten

#Sprachmodelle

Die Einführung von Transformermodellen hat die Forschung an englischen Sprachmodellen erheblich vorangetrieben, wobei Entwicklungen wie BERT und GPT den Weg geebnet haben. Neuere Modelle wie InstructGPT und Flan-T5 haben zusätzliches Interesse geweckt, da sie Anweisungen folgen können. Verschiedene anweisungsoptimierte Modelle sind seitdem entstanden. Viele konzentrieren sich hauptsächlich auf Englisch, aber es werden auch mehrere Modelle für Chinesisch und andere Sprachen entwickelt.

Eine wichtige Frage stellt sich: „Wie viele Sprach-Tokens muss ein Modell trainiert werden, um zusammenhängende Sätze zu bilden, die kulturelle und grammatikalische Normen respektieren?“ Diese Frage hebt den dringenden Bedarf an effektiven Benchmarks hervor, die mehrsprachige Fähigkeiten bewerten.

#Mehrsprachige Bewertung

Neben englischen Modellen wurden auch mehrsprachige Benchmarks wie GLUE und SuperGLUE eingeführt. Mit zunehmender Komplexität folgten noch grössere Benchmarks. Bewertungsmethoden für nicht-englische Modelle sind einem ähnlichen Weg gefolgt, hauptsächlich durch Übersetzungen bestehender englischer Bewertungen. Diese Methoden scheitern jedoch oft daran, das native Wissen innerhalb von Modellen zu erfassen. Daher gibt es einen klaren Bedarf an Bewertungswerkzeugen, die speziell kulturelle Kontexte betrachten. Zu den jüngsten Versuchen in diese Richtung gehört BHASA, das versucht, die kulturelle Tiefe in südostasiatischen Sprachen zu messen. Aber die Einschränkungen dieser Bemühungen, wie eine geringe Anzahl von Fragen, heben den Bedarf an umfassenderen Bewertungen hervor.

#Koreanische Bewertung

Die Bewertung koreanischer Sprachmodelle hat an Aufmerksamkeit gewonnen, wobei Ressourcen nach englischen und chinesischen Modellen entstanden sind. Bestehende Benchmarks wie Korean-NLI, STS, KLUE und KoBEST stützen sich stark auf übersetzte Inhalte und verfehlen oft die einzigartigen Merkmale der koreanischen Sprache. Obwohl KLUE und KoBEST die Arten von Tests erweitern, können sie sprachspezifische Modelle nicht vollständig bewerten, hauptsächlich aufgrund ihres Fokus auf grundlegende Sprachverständnisaufgaben anstelle von kulturellem Wissen.

HAE-RAE Bench bietet einen frischen Ansatz, indem es die Tiefe des Wissens in koreanischen Sprachmodellen misst, anstatt nur ihr allgemeines Sprachverständnis oder ihre Argumentationsfähigkeiten zu bewerten.

#HAE-RAE Bench

#Überblick

Der Entwurfsansatz für HAE-RAE Bench unterscheidet sich von früheren koreanischen Bewertungswerkzeugen. Er konzentriert sich nicht nur auf Verständnis oder Argumentation, sondern auch auf die Fülle an Wissen, die ein Modell besitzt. Wir glauben, dass das Verständnis von koreanischem Wortschatz, Kultur, Geografie und Geschichte entscheidend für konversationelle Anwendungen ist. HAE-RAE Bench besteht aus sechs Aufgaben: Lehnwörter, Fachbegriffe, seltene Wörter, Allgemeinwissen, Geschichte und Leseverstehen.

#Lehnwörter

Diese Aufgabe untersucht die Fähigkeit eines Modells, Lehnwörter - Begriffe aus anderen Sprachen - zu erkennen. Das Modell muss das richtige koreanische Äquivalent für ein gegebenes fremdsprachliches Wort aus mehreren Auswahlmöglichkeiten auswählen. Wir verwendeten Begriffe des Nationalen Instituts für koreanische Sprache und filterten sie nach gängigem Gebrauch, wobei wir 200 Einträge sammelten.

#Fachbegriffe

In dieser Aufgabe identifizieren Modelle die offiziellen Begriffe für bestimmte branchenspezifische Begriffe, die von NIKL bereitgestellt werden. Ziel ist es, das Verständnis des Modells für standardisierte Sprachgebrauch innerhalb verschiedener Bereiche zu bewerten.

#Seltene Wörter

Diese Aufgabe fordert Modelle zu ihrem Wissen über weniger gebräuchlichen koreanischen Wortschatz heraus. Den Teilnehmern wird eine Definition gegeben, und sie müssen das passende Wort aus mehreren Optionen auswählen, die wir aus einem koreanischen Vokabelquizprogramm bezogen haben.

#Allgemeinwissen

Diese Aufgabe bewertet das Verständnis eines Modells für verschiedene Aspekte der koreanischen Kultur durch Multiple-Choice-Fragen in verschiedenen Kategorien, darunter Recht, Tradition, Geografie und Popkultur.

#Geschichte

Modelle beantworten Fragen zu historischen Ereignissen und bewerten ihr Verständnis für wichtige Momente in der koreanischen Geschichte basierend auf kuratierten Webseiten.

#Leseverstehen

Diese Aufgabe umfasst das Beantworten von Fragen durch Modelle basierend auf koreanischen Textpassagen. Die Passagen stammen von einer koreanischen Sprachprüfung.

#Bewertungsumgebungen

Wir haben mehrere Sprachmodelle bewertet, um ihre Leistung auf HAE-RAE Bench zu messen. Die Modelle wurden in koreanisch fokussierte, mehrsprachige und englisch-zentrierte Gruppen kategorisiert. Wir schlossen mehrere Modelle aus, die keine Informationen über ihre koreanischen Trainingstoken berichteten. Die Leistungen wurden durch Genauigkeitsraten in verschiedenen Aufforderungseinstellungen gemessen.

#Leistungsanalyse

Wir fanden heraus, dass die Fähigkeit der Modelle, Fragen richtig zu beantworten, in der Regel mit der Modellgrösse und der Anzahl der Beispiele, die sie begegnen, zunimmt. Dennoch schneiden selbst grössere Modelle wie UMT5 und Llama-2 oft schlechter ab als ihre koreanisch fokussierten Pendants aus der Polyglot-Ko-Serie. Dies hebt die Bedeutung sprachspezifischen Trainings für das Verständnis kultureller Kontexte hervor.

#Modellgrösse und Leistung

Unsere Analyse deutete darauf hin, dass die Grösse eines Modells zwar in der Regel seine Leistung beeinflusst, die spezifischen Herausforderungen, die HAE-RAE Bench stellt, jedoch mehr als nur rohe Grösse erfordern. Viele Faktoren beeinflussen, wie gut Modelle genau auf Fragen reagieren können, was die Komplexität des kulturellen Verständnisses zeigt.

#Ergebnisse von GPT-3.5 und GPT-4

Wir haben auch populäre Modelle wie GPT-3.5 und GPT-4 auf HAE-RAE Bench bewertet. Ihre Ergebnisse zeigen Potenzial für Verbesserungen, insbesondere in Bereichen mit einem stärkeren kulturellen Fokus. Obwohl diese Modelle in den Standardbewertungen gut abschnitten, müssen sie die kulturellen Nuancen, die in den HAE-RAE-Aufgaben vorhanden sind, noch besser erfassen.

#Fehleranalyse

Um zukünftige Entwicklungen zu verbessern, haben wir häufige Fehler analysiert, die Modelle während der Tests gemacht haben. Diese Untersuchung ergab keinen signifikanten Bias in den Antwortmöglichkeiten, obwohl bestimmte Fragen herausfordernder sein könnten als andere.

#Leistung nach Unterkategorien

Bei der Aufschlüsselung der Leistungen nach Unterkategorien schnitten Modelle in verschiedenen Kategorien unterschiedlich ab. Zum Beispiel übertraf GPT-4 in den meisten Segmenten Polyglot-Ko-12.8B, aber letzteres schnitt in einigen Bereichen besser ab.

#Fazit

In dieser Arbeit haben wir HAE-RAE Bench vorgestellt, einen einzigartigen Datensatz, der darauf abzielt, das kulturelle Wissen, das in Sprachmodellen eingebettet ist, zu bewerten. Diese Bewertungsmethode soll für nicht-koreanische Modelle schwieriger sein und sich auf deren Fähigkeit konzentrieren, effektiv und sachkundig auf Koreanisch zu kommunizieren. Durch die Priorisierung von kulturellem und kontextuellem Verständnis zielt HAE-RAE Bench darauf ab, die Tests von nicht-englischen Sprachmodellen zu verbessern und den Weg für anspruchsvollere und kulturell bewusstere Sprachanwendungen zu ebnen.