Beurteilung von Denkfähigkeiten in Sprachmodellen durch Spiele

Die Bewertung von grossen Sprachmodellen (LLMs) fokussiert sich meistens auf ihre Sprachfähigkeiten, aber dieser Ansatz könnte übersehen, wie gut diese Modelle generell logisch denken können. Wir haben uns angeschaut, ob LLMs wie GPT-3.5 und GPT-4 mehr draufhaben als nur Textverarbeitung. Wir glauben, dass diese Modelle breiter denken können, besonders bei Aufgaben, die nicht direkt mit Sprache zu tun haben.

Um diese Idee zu testen, haben wir verschiedene Spiele wie Tic-Tac-Toe, Connect Four und Battleship genutzt. Wir haben diese Spiele mit einfachen Textzeichen kodiert, um herauszufinden, wie gut die Modelle strategische Entscheidungen treffen können. Ausserdem haben wir zwei neue Spiele entwickelt, um unterschiedliche Fähigkeiten zu testen. Das erste Spiel, LEGO Connect Language (LCL), prüft, ob die Modelle räumliches Denken verstehen, indem sie Bauanleitungen folgen. Das zweite Spiel besteht darin, Formen in einem Zahlenraster zu identifizieren.

Mit einem "zeigen, nicht erzählen" Ansatz wollten wir sehen, was die Modelle in diesen Spielen wirklich leisten können, statt sie einfach zu fragen, wie man spielt. Unsere Ergebnisse zeigten, dass, während GPT-3.5 und GPT-4 einige sprachbezogene Aufgaben ganz gut meistern konnten, sie in Spielen, die strategisches Denken und räumliches Verständnis erforderten, ziemlich schlecht abschnitten. Zum Beispiel haben beide Modelle in Tic-Tac-Toe und Connect Four keine verlierenden Züge vorhergesehen und hatten Schwierigkeiten, die Regeln beim Spielen von Battleship zu befolgen. Im Formenidentifikationsspiel hat GPT-4 besser abgeschnitten als GPT-3.5, aber beide Modelle hatten bei den Montageaufgaben in LCL ihre Probleme.

#Was sind Sprachmodelle?

Sprachmodelle wie GPT-3.5 und GPT-4 sind fortschrittliche Systeme, die Texteingaben verarbeiten und Textausgaben erzeugen. Sie funktionieren, indem sie die Beziehungen zwischen Wörtern in einem Satz verstehen, was es ihnen ermöglicht, sinnvolle Sätze zu generieren. Dazu zerlegen sie den Text in kleinere Teile, wandeln diese Teile in numerische Formate um und analysieren dann die Bedeutung jedes Teils, um kohärente Antworten zu erzeugen.

Diese Modelle haben Millionen oder sogar Milliarden von Parametern. Modelle wie Alpaca haben etwa 7 Milliarden Parameter, während grössere wie LLaMA bis zu 65 Milliarden haben. Die umfangreichsten Modelle, wie PaLM, gehen sogar noch weiter mit 540 Milliarden Parametern. Diese schiere Grösse ermöglicht es ihnen, komplexe Sprachregeln zu behandeln, einschliesslich Syntax, Bedeutung, Kontext und sogar Stil.

#Aktuelle Methoden zur Testung von Sprachmodellen

Es wurden Tests entwickelt, um zu sehen, wie gut LLMs Sprache verstehen und erzeugen können. Verschiedene Datensätze, wie SQuAD und GLUE, bieten unterschiedliche Arten von Fragen und Aufgaben. Zum Beispiel können diese Aufgaben Multiple-Choice-Fragen, Leseverständnis oder das Vervollständigen von Gesprächen umfassen. Jeder Test beurteilt typischerweise, wie korrekt die Antworten sind, wie fliessend die Sprache erzeugt wird und ob das Gespräch relevant bleibt.

Um über Sprachaufgaben hinauszugehen, haben einige aktuelle Studien versucht, verschiedene Wege zu finden, um zu sehen, wie gut LLMs über Probleme nachdenken. In einer Studie verwendeten Forscher Tic-Tac-Toe, um die Modelle mit einer perfekten Spielstrategie, dem sogenannten Minimax-Algorithmus, zu bewerten. Obwohl einige LLMs gelegentlich anständig abschnitten, konnten sie im Allgemeinen nicht gegen diese optimale Strategie gewinnen.

Andere wichtige Arbeiten haben auf die Risiken hingewiesen, die LLMs nur basierend auf Sprachaufgaben falsch zu interpretieren. Während diese Modelle in vielen Sprachtests gut abschneiden, haben sie Schwierigkeiten mit tiefergehenden Überlegungen und dem Verständnis der Welt. Das wirft Fragen auf, wie gut diese Modelle logische Verbindungen herstellen und komplexe Ideen begreifen können.

Forschungsergebnisse haben auch Bedenken hinsichtlich der Zuverlässigkeit grosser Modelle geäussert. Der Mangel an Transparenz, wie diese Modelle aufgebaut sind, führt zu Fragen über ihre Vertrauenswürdigkeit. Einige Forscher argumentieren, dass die Fähigkeiten, die von LLMs behauptet werden, irreführend sein könnten, und dass solche Bewertungen einfach widerspiegeln könnten, wie die Evaluierungsmetriken ausgewählt wurden, statt echte Verbesserungen in den Denkfähigkeiten zu zeigen.

#Allgemeine Intelligenz in KI definieren

Wenn über Intelligenz in KI gesprochen wird, beziehen sich Forscher oft auf allgemeine Intelligenz (GI), die Fähigkeit zu denken, Probleme zu lösen und in verschiedenen Kontexten zu lernen. Traditionell umfasst GI Prozesse, die über spezifisches Wissen hinausgehen und stattdessen ein breites Spektrum kognitiver Fähigkeiten abdecken.

Ein bedeutendes Problem bei der Bewertung fortschrittlicher Modelle wie GPT-3.5 und GPT-4 ist, dass die Daten, die für das Training verwendet werden, sich mit den Tests überschneiden können, was zu unzuverlässigen Ergebnissen führt. Die oft verwendeten Datensätze zum Training dieser Modelle sind massiv und komplex, was es schwierig macht, genau zu wissen, welche Informationen die Modelle gelernt haben. Diese Unsicherheit kann viele Benchmarking-Bemühungen ineffektiv machen.

Einige Forscher versuchen, diesem Problem abzuhelfen, indem sie bewerten, wie oft generierte Antworten mit den Trainingsdaten übereinstimmen. Diese Methode hat jedoch Einschränkungen, da sie den Kontext, in dem Wörter erscheinen, nicht berücksichtigt und andere wichtige Aspekte vernachlässigen kann.

#Der Bedarf an besseren Intelligenzmessungen

Wir argumentieren, dass ein nuancierter Ansatz notwendig ist, um LLMs zu bewerten. Um die allgemeine Intelligenz in KI genauer zu messen, sollten Benchmarks sich darauf konzentrieren, wirklich das Denken und die Generalisierungsfähigkeiten auf realistische Weise zu bewerten.

In dieser Arbeit stellen wir ChildPlay vor, eine Reihe von Nicht-Sprachspielen, die entwickelt wurden, um Denken und strategisches Handeln sowie Mustererkennung zu messen. Der Einsatz von Spielen schafft klare Ziele, wodurch es einfacher wird zu sehen, wie gut die Modelle planen und Entscheidungen über die Zeit treffen können. Aufgrund der Natur dieser Spiele können sie reale Herausforderungen effektiver widerspiegeln.

#Spielebasierte Experimente

In unseren Experimenten haben wir Aufgaben aus dem BIG-bench Benchmark in eine spezifische Kategorie namens Zero-Shot-Testing eingeordnet. Bei diesen Tests bekommen die Modelle die Regeln für die Spiele ohne Beispiele oder vorherige Übung. Unser Ziel war es zu zeigen, ob die Modelle über räumliche Anordnungen nachdenken können, indem sie Sequenzen einfacher Textzeichen verwenden.

Wir haben Aufgaben wie LEGO-Montage sowie die Brettspiele Tic-Tac-Toe, Connect Four und Battleship sowie ein Formenidentifikationsspiel erstellt. Wir haben GPT-3.5 und GPT-4 in verschiedenen Szenarien eingesetzt, um zu sehen, wie sie reagieren würden.

#LEGO Connect Language (LCL)

Für die LEGO-Montage-Aufgabe haben wir eine strukturierte Sprache, LEGO Connect Language (LCL), entwickelt, um zu instruieren, wie man unter bestimmten Regeln baut. Die Modelle mussten bestimmen, ob gegebene LEGO-Konstruktionen gültig waren, basierend auf verschiedenen Kriterien.

Der erste Test bestand darin, die LLMs zu fragen, ob eine LEGO-Struktur korrekt gebaut war oder nicht. Die Modelle wurden herausgefordert, gültige Strukturen basierend auf Anweisungen zu erzeugen. Die Leistung wurde daran gemessen, wie viele gültige Strukturen die Modelle in Reaktion auf diese Tests produzierten.

#Brettspiele: Tic-Tac-Toe, Connect Four und Battleship

Als nächstes haben wir uns traditionelle Brettspiele angeschaut. Jedes Spiel bestand darin, den aktuellen Spielstand den Modellen zusammen mit einer kurzen Einführung in das Spiel zu geben. Die Modelle wurden auch darüber informiert, dass sie zuerst spielen. In Tic-Tac-Toe war ein kritischer Aspekt, ob die Modelle Gewinngrösse und verlierende Züge erkennen würden.

In Battleship haben wir Schiffe in zufälligen Konfigurationen aufgestellt und die Ergebnisse basierend auf den Vermutungen der Modelle verfolgt. Jedes Spiel sollte bestätigen, ob die Modelle die Spielregeln befolgen und strategische Entscheidungen treffen könnten. Leider zeigten die Ergebnisse, dass sowohl GPT-3.5 als auch GPT-4 oft die Regeln nicht korrekt befolgten, was zu Verlusten führte.

#Das Formen-Spiel

Im Formen-Spiel mussten die Modelle grundlegende geometrische Formen finden, die zwischen Zahlen versteckt waren. Die Ergebnisse zeigten, dass GPT-3.5 erheblich Schwierigkeiten hatte und auf zufälligem Niveau abschloss, während GPT-4 bessere Fähigkeiten zeigte, besonders bei der Erkennung von Dreiecken.

#Allgemeine Beobachtungen aus den Spielen

Bei der Analyse der Gesamtleistung wurde deutlich, dass kein Modell die Regeln konsequent befolgen konnte, insbesondere nicht in den Battleship- und LCL-Tests. Die Anzahl der Züge und Fehler stieg, als wir die Schwierigkeit erhöhten, was darauf hindeutet, dass die Modelle nicht effektiv strategisierten.

Höhere Temperatureinstellungen, die mehr zufällige Entscheidungen im Spiel ermöglichten, verbesserten nicht ihre Fähigkeiten, die Regeln zu befolgen oder bessere Entscheidungen zu treffen; im Gegenteil, sie führten oft zu mehr Fehlern.

#Die Einschränkungen der aktuellen Modelle

Unsere Arbeit zeigt, dass LLMs, trotz ihrer starken Sprachfähigkeiten, Schwierigkeiten mit Aufgaben haben, die strategisches Denken und echtes Verständnis erfordern. Spiele wie Tic-Tac-Toe, Battleship und Formenidentifizierung zeigten erhebliche Einschränkungen in den Denkfähigkeiten der Modelle.

Trotz einiger Erfolge bei einfachen Aufgaben schnitten sowohl GPT-3.5 als auch GPT-4 im Allgemeinen schlecht in den getesteten Spielen ab. Die Ergebnisse heben wichtige Lücken in ihrer Fähigkeit hervor, Probleme zu lösen und strukturierte Regeln zu befolgen.

#Zukünftige Arbeitsrichtungen

In Zukunft wollen wir mehr Modelle testen, einschliesslich Open-Source-Modelle, in der Hoffnung, bessere Leistungen im ChildPlay-Benchmark zu finden. Wir glauben, dass kein bestehendes Modell in unseren Tests glänzen wird, aber zukünftige Entwicklungen im Deep Reinforcement Learning könnten den Weg für bessere Ergebnisse ebnen.

Wir sehen grossen Wert darin, spielbasierte Benchmarks zur Bewertung von LLMs zu verwenden, da sie Einblicke in die Denk- und Problemlösungsfähigkeiten der Modelle bieten. LLMs mit Nicht-Sprachaufgaben zu testen, ist entscheidend, um ihre allgemeinen kognitiven Fähigkeiten zu verstehen.

#Fazit

Zusammenfassend bietet die Bewertung von LLMs mit Spielen eine neue Perspektive darauf, was diese Modelle wirklich leisten können. Indem wir uns auf ihre Leistung in einfachen Denkaufgaben konzentrierten, fanden wir heraus, dass selbst fortgeschrittene Modelle wie GPT-3.5 und GPT-4 oft hinter den Erwartungen zurückblieben. Ihre Unfähigkeit, Spiele effektiv zu spielen, deutet auf Einschränkungen in ihren Problemlösungsfähigkeiten und ihrer strategischen Entscheidungsfindung hin. Unsere Ergebnisse betonen den Bedarf an zusätzlichen Benchmarks, die diese Modelle über Sprachaufgaben hinaus herausfordern, um ein umfassenderes Verständnis ihrer Fähigkeiten zu gewährleisten.