Was bedeutet "BLEnD"?
Inhaltsverzeichnis
BLEnD ist ein Tool, das entwickelt wurde, um zu testen, wie gut große Sprachmodelle (LLMs) alltägliches Wissen aus verschiedenen Kulturen und Sprachen verstehen. Viele LLMs haben nicht genug Infos über das tägliche Leben von Leuten aus verschiedenen Regionen, besonders von denen, die Sprachen außer Englisch sprechen.
Zweck
Das Hauptziel von BLEnD ist es, diese Lücke zu schließen, indem Fragen zum Alltag in 16 verschiedenen Ländern gestellt werden, die 13 Sprachen abdecken. Es konzentriert sich auf alltägliche Themen wie Essen, Musik und Sport, von denen Menschen aus unterschiedlichen Kulturen was wissen könnten, die aber nicht leicht online zu finden sind.
Format
BLEnD beinhaltet zwei Arten von Fragen: Kurzantworten und Multiple-Choice. Das hilft zu prüfen, wie gut LLMs bei der Erfassung kultureller Details abschneiden.
Ergebnisse
Die Ergebnisse zeigen, dass LLMs besser abschneiden, wenn sie mehr Infos aus Online-Quellen haben, besonders in Kulturen, die gut vertreten sind. Für Sprachen mit mehr Ressourcen machen LLMs bessere Antworten, wenn sie in diesen lokalen Sprachen antworten. Bei Sprachen mit wenig Ressourcen schneiden sie besser ab, wenn sie auf Englisch antworten.
BLEnD ist jetzt für jeden verfügbar, was es einfacher macht, Sprachmodelle hinsichtlich ihres kulturellen Wissens zu bewerten.