Können Maschinen Analogien wie Kinder lösen?

Wenn du darüber nachdenkst, wie Kinder Rätsel wie „Körper : Füsse :: Tisch : ?“ lösen, fragst du dich vielleicht, ob Maschinen, wie grosse Sprachmodelle (LLMs), das auch können. Kinder lernen schon in jungen Jahren, ihr Wissen von einem Beispiel auf ein anderes anzuwenden. Sie sehen Muster und können Analogien lösen, was manchmal sogar Erwachsene ins Stutzen bringt. Neuere Studien legen nahe, dass LLMs zwar bestimmte Analogiefälle bewältigen können, aber nicht so gut wie Kinder in der Lage sind, ihre Problemlösungsfähigkeiten in verschiedenen Kontexten zu verallgemeinern.

#Was ist analoges Denken?

Analoges Denken ist, wenn du das, was du über eine Sache weisst, nutzt, um eine andere Situation zu verstehen. Wenn du zum Beispiel weisst, dass ein Körper Füsse hat, kannst du herausfinden, dass ein Tisch Beine hat. Das ist eine grundlegende Fähigkeit, die Menschen hilft, zu lernen und kreativ zu denken. Erwachsene schneiden bei diesen Aufgaben oft besser ab als Kinder, aber überraschenderweise können Kinder einfache Analogien schon mit drei oder vier Jahren lösen. Sie können ganz leicht von einer Art von Analogie zur anderen wechseln, was LLMs nicht besonders gut können, wie aktuelle Forschung zeigt.

#Die Studie

In unserer Studie wollten wir herausfinden, ob LLMs ihre Fähigkeiten zur Analogielösung genauso verallgemeinern können wie Kinder und Erwachsene. Wir haben Kinder, Erwachsene und LLMs gebeten, an Buchstabenanalogien zu arbeiten. Diese Analogien basieren auf einer Liste von lateinischen, griechischen und sogar erfundenen Symbolen, um zu testen, wie gut Menschen und Maschinen ihr Wissen auf neue Kontexte übertragen können.

#Buchstabenanalogien

Die Aufgabe mit den Buchstabenanalogien läuft so: Wenn du "abc" hast, das zu "abd" wird, was sollte dann "pqr" werden? Ähnliche Änderungen müssen vorgenommen werden, um das Rätsel zu lösen. Diese Art von Aufgabe ist einfach und hängt von grundlegenden Buchstabenveränderungen ab, die Menschen normalerweise richtig verstehen, da sie Muster leicht identifizieren und anwenden können.

#Wer hat teilgenommen?

Wir hatten 42 Kinder im Alter von 7-9 Jahren, 62 Erwachsene und wir haben Tests mit vier verschiedenen LLMs durchgeführt. Alle Teilnehmer bekamen die gleiche Aufgabenreihe in drei verschiedenen Alphabeten: Latein, Griechisch und Symbole.

#Wie haben alle abgeschnitten?

#Erwachsene und Kinder vs. LLMs

Unsere Vorhersage war, dass Erwachsene und Kinder mit dem lateinischen Alphabet gut zurechtkommen würden und dass die LLMs mit den Erwachsenen mithalten könnten. Während viele LLMs mit dem lateinischen Alphabet gut abschnitten, hatten sie Schwierigkeiten mit dem griechischen Alphabet, und ihre Leistung sank erheblich mit der Symbol-Liste. Das zeigte einen entscheidenden Unterschied: Während Erwachsene und Kinder sich gut anpassten, hatten LLMs Schwierigkeiten, sich anzupassen, als die Dinge weniger vertraut wurden.

#Gesamtresultate

Beim Vergleich der Leistungen über die verschiedenen Alphabete hinweg zeigen sowohl Kinder als auch Erwachsene ähnliche Ergebnisse und schnitten durchweg gut ab. LLMs hatten jedoch grössere Schwierigkeiten. Es war klar, dass es ihnen an der Fähigkeit fehlte, Regeln zu verstehen und flexibel anzuwenden, wenn sie mit Änderungen in den Arten von Buchstaben oder Symbolen konfrontiert wurden.

#Warum können LLMs nicht so gut verallgemeinern wie Kinder?

#Die schwierigen Teile

Um zu verstehen, warum LLMs Schwierigkeiten hatten, zu verallgemeinern, haben wir uns die Aufgaben genauer angeschaut. Es stellte sich heraus, dass die komplexeren Regeln, wie das Erkennen der Reihenfolge von Buchstaben, die schwierigsten für LLMs waren. Sie schnitten bei einfacheren Aufgaben viel besser ab, hatten aber Schwierigkeiten bei Aufgaben, die ein differenzierteres Verständnis von Mustern erforderten.

#Regelüberprüfung

Wir haben eine einfachere Version der Aufgabe ausprobiert, die sich nur auf bestimmte Regeln konzentrierte, wie „der nächste Buchstabe“ oder „der vorherige Buchstabe“. Die LLMs schafften es, diese in einer einfachen Liste richtig zu lösen, aber als wir wieder zu Analogien wechselten, die erforderten, dass sie diese Regeln mischen und anpassen, scheiterten sie erneut. Das deutet darauf hin, dass LLMs gut darin sind, Muster zu erkennen, wenn die Bedingungen stimmen, aber dass sie diese Fähigkeit nicht gut auf abstraktere Aufgaben übertragen können.

#Welche Fehler haben sie gemacht?

Als wir die Fehler von Kindern, Erwachsenen und LLMs analysierten, sahen wir deutliche Unterschiede. Kinder kamen manchmal weit von den richtigen Antworten ab, während LLMs dazu neigten, einem vorhersehbaren Muster falscher Antworten zu folgen. Interessanterweise verliessen sich LLMs oft auf eine „wörtliche“ Interpretation der Regeln, während Menschen das nicht taten. Das zeigt, dass sie gelernte Regeln starr anwenden, was die Flexibilität einschränken kann.

#Fazit

Zusammenfassend lässt sich sagen, dass LLMs zwar einfache Buchstabenanalogien lösen können, ihre Fähigkeit, über verschiedene Kontexte hinweg zu verallgemeinern, jedoch nicht mit der von Kindern mithalten kann. Das hebt eine Einschränkung in ihren Denkfähigkeiten im Vergleich zu Menschen hervor. Die Fähigkeit, Wissen an neue Situationen anzupassen und anzuwenden, scheint ein einzigartiges menschliches Merkmal zu sein, was darauf hindeutet, dass wir noch einen Weg vor uns haben, bevor Maschinen wie wir denken können. Also, wenn du das nächste Mal siehst, wie ein Kind ein Rätsel löst, denk dran, ihr Gehirn macht etwas, mit dem Maschinen immer noch versuchen, Schritt zu halten!