Die Eigenheiten von Sprachmodellen: Fehler und Erkenntnisse

Grosse Sprachmodelle (LLMs) sind Tools, die Texte basierend auf Mustern erzeugen, die sie aus einer Menge Daten gelernt haben. Aber was passiert, wenn sie Mist bauen? Es stellt sich heraus, dass sie in ihren Antworten ziemlich wild sein können. In diesem Artikel tauchen wir in die Welt der LLMs ein und schauen uns die seltsamen und manchmal lustigen Arten an, wie sie Fehler machen.

#LLMs bewerten

LLMs werden oft mit Multiple-Choice-Fragen getestet. Stell dir das wie ein Quiz vor, bei dem die Modelle die richtige Antwort auswählen müssen. Wenn man diese Modelle immer wieder die gleiche Frage stellt, geben sie nicht immer die richtige Antwort. Manchmal verteilen sie ihre Vermutungen auf alle Optionen, während sie sich an anderen Tagen nur auf eine falsche Wahl festlegen, als wäre es ihr neues Lieblingspizza-Topping.

Stell dir vor, du fragst ein Modell, welche Farbe der Himmel hat. Wenn es gut performt, sollte es meistens „blau“ wählen. Aber wenn es einen schlechten Tag hat, könnte es „grün“ oder „pünktchen“ sagen.

#Antworten hinterfragen

Um tiefer zu verstehen, wie LLMs Mist machen, schauen wir uns ein paar echte Tests mit einem Datensatz namens NeoSQuAD an. In dieser Studie haben wir neun zufällige Fragen aus diesem Datensatz genommen und ein Modell, nennen wir es Modell A, sie beantworten lassen. Wir haben die Fragen 1.200 Mal gestellt, in der Hoffnung zu sehen, welche Antworten es am liebsten mag.

Überraschenderweise liess Modell A bei einigen Fragen etwa 99 % der Zeit die gleiche falsche Antwort stehen! Wenn das ein Mensch wäre, würden wir sagen, er hängt an seinen Gewohnheiten fest. Man kann also nicht alle Fehler auf schlechtes Training zurückführen; manchmal verhalten sich Modelle einfach seltsam.

#Auswahl ohne Kontext

Was noch verrückter ist? Wir können Modell A bitten, eine Antwort auszuwählen, ohne ihm irgendeinen Kontext oder eine Frage zu geben. Es wählt trotzdem seine Favoriten auf eine nicht zufällige Weise. Bei einigen Fragen gibt es eine selbstbewusste Wahl, während es bei anderen seine Meinung ändert wie ein Kind im Süsswarenladen.

Wir haben uns gefragt, ob sich andere Modelle ähnlich wie Modell A verhalten. Also haben wir sieben verschiedene Modelle angeschaut, die dieselbe Frage beantworteten. Die Ergebnisse zeigten, dass einige Modelle die gleiche falsche Antwort genauso mochten wie Modell A. Es ist wie eine Gruppe von Freunden, die sich einig sind, dass ein schrecklicher Film der beste aller Zeiten ist.

#Fehler verstehen

Wenn man sich ansieht, wie LLMs auf Multiple-Choice-Tests reagieren, wird klar, dass ihre falschen Antworten mehr aussagen als man denkt. Wenn man einen breiteren Blick hat, kann man Muster erkennen, wie Modelle die falschen Fragen gemeinsam gestellt bekommen.

Zum Beispiel beinhaltet eine grosse Bewertung namens MMLU-Pro über 12.000 Fragen. Wenn wir sehen, wie verschiedene Modelle fälschlicherweise antworten, können wir messen, wie ähnlich sie wirklich sind. Man könnte denken, dass verschiedene Modelle unterschiedlich handeln würden, aber die Daten zeigen, dass sie oft die gleichen Fehler machen. Das könnte zu einer Situation führen, in der das Kombinieren von Modellen nicht zu besseren Antworten führt – wie ein Gruppenprojekt, das nicht smarter wird, sondern alle nur verwirrt zurücklässt.

#Modelle clustern

Nachdem wir all diese Antworten analysiert haben, konnten wir die Modelle basierend darauf gruppieren, wie sie gepatzt haben. Einige Modelle hielten zusammen wie eine seltsame Familienfeier, während andere ihrer Wege gingen. Zum Beispiel verhielten sich proprietäre Modelle, die man bezahlen muss, oft anders als die Open-Source-Modelle. Es ist wie der Unterschied zwischen Fast Food und Gourmetessen – beide machen satt, aber das eine hat Flair, während das andere... naja, ein bisschen fettig ist.

#Universelle Fehler

Jetzt lass uns über etwas sprechen, das wir „universelle Fehler“ nennen. Das sind Fragen, die fast alle Modelle ratlos zurücklassen. Von all den Fragen in MMLU-Pro gibt es etwa 160, die alle 37 Modelle falsch beantworten. Also haben wir gefragt: Wählen sie alle die gleiche falsche Antwort?

Es ist lustig, denn wenn man denkt, sie sollten einfach zufällig raten und ihre Antworten verteilen, besteht die Chance, dass sie bei der gleichen falschen Antwort landen – wie alle in einem Wissensspiel, die „C“ antworten, weil sie denken, es ist ein glücklicher Buchstabe.

Aber Überraschung! Tatsächlich haben wir herausgefunden, dass sie manchmal bei der gleichen falschen Antwort übereinstimmen. Allerdings liegt das oft daran, dass die Frage schlecht gestaltet war, nicht weil sie alle schlau sind. Wie ironisch, oder?

#Die letzten Gedanken zu LLMs

Was haben wir also aus dieser Erkundung der Gedankenwelt der LLMs gelernt? Sie haben ein Talent dafür, uns zu überraschen, manchmal auf gute, manchmal auf... naja, sagen wir mal, sie haben ihre schlechten Tage. Wenn Modelle Mist bauen, tun sie das oft in Mustern, die ähnlicher sind, als man erwarten würde.

Es ist fast so, als hätten sie ihre eigenen kleinen Macken und Vorlieben. Wenn du nach genauen Antworten suchst, wird dir das Wissen um diese Muster helfen. Aber wenn du lachen willst, frag sie einfach, welche Farbe der Himmel hat!

Am Ende sind LLMs mehr als nur Werkzeuge zur Texterzeugung. Sie spiegeln die Macken und Fehler der Daten wider, aus denen sie lernen. Egal, ob sie uns zu einer grossartigen Antwort oder einem lustigen Fehler führen, sie halten die Dinge interessant. Und denk daran, das nächste Mal, wenn du deinem Modell eine Frage stellst, könnte es dich mit seiner Antwort überraschen – egal, ob sie richtig oder völlig daneben ist.