Lernen ohne Veränderung: Einblicke aus KI-Modellen

Das menschliche Gehirn kann lernen und sich an neue Situationen anpassen, indem es auf das zurückgreift, was es in der Vergangenheit gelernt hat. Ein gutes Beispiel dafür ist Fahrradfahren. Es braucht viel Übung, um diese Fähigkeit zu erlernen, aber jemand, der Erfahrung mit Skateboardfahren hat, könnte das Radfahren schnell lernen. Das liegt daran, dass sie ihre Gleichgewichts- und Koordinationsfähigkeiten vom Skateboardfahren nutzen können, um das Radfahren zu lernen. Diese Fähigkeit, vergangenes Wissen auf neue Situationen anzuwenden, wirft eine wichtige Frage auf: Wie viel kann ein Lernsystem von dem, was es bereits weiss, nutzen? Kann es komplexe Aufgaben nur auf Basis seines Wissens ausführen, ohne seine Struktur zu ändern?

Bei Menschen wird die Fähigkeit, sich im Gehirn zu verändern und anzupassen, als neuronale Plastizität bezeichnet. Bei künstlicher Intelligenz, besonders bei Modellen, die künstliche neuronale Netze genannt werden, entspricht diese Veränderung der Anpassung von Gewichten oder Parametern im Modell. Dieser Artikel beschäftigt sich damit, wie künstliche neuronale Netze lernen können, ohne ihre interne Struktur ändern zu müssen.

#Lernen in künstlichen neuronalen Netzen

Neuere Studien zeigen, dass fortschrittliche künstliche neuronale Netze, insbesondere grosse Sprachmodelle (LLMs), neue Aufgaben lernen können, indem sie sich nur ein paar Beispiele ansehen. Diese Fähigkeit, die als In-Context-Learning bekannt ist, deutet darauf hin, dass diese vortrainierten Systeme neue Aufgaben mit dem, was sie bereits wissen, ausführen können, ohne ihre interne Struktur anpassen zu müssen.

Statistisches Lernen ist eine Methode, die verwendet wird, um zu messen, wie gut Menschen Muster in neuen Daten erkennen können. Diese Methode erfordert oft Gehirnplastizität. Wir werden zwei Aufgaben des statistischen Lernens betrachten: Künstliches Grammatiklernen (AGL) und die serielle Reaktionszeitaufgabe (SRTT). AGL beinhaltet das Lernen von Regeln über Sequenzen, während SRTT misst, wie schnell eine Person auf eine Reihe von Stimuli reagieren kann.

Obwohl diese Aufgaben sich von den natürlichen Sprachdaten unterscheiden, die LLMs normalerweise verarbeiten, zeigen Studien, dass LLMs lernen können, neue statistische Muster zu erkennen, ohne ihre interne Struktur zu ändern.

#Frühere Forschung in der Neurowissenschaft

Einige neurowissenschaftliche Studien stimmen mit diesen Ergebnissen überein, betreffen jedoch normalerweise spezifischere Bedingungen oder begrenzte Anpassungen. Bestimmte Modelle des Hippocampus im Gehirn zeigen, dass sie Muster, die aus Beispielen gelernt wurden, verallgemeinern können, ohne weiteres Training. Diese Modelle erfordern spezielles Training und spezifische Kontexte, die dem, was sie bereits gelernt haben, sehr ähnlich sind.

Im Gegensatz dazu zeigen unsere Erkenntnisse, dass handelsübliche LLMs, die auf grossen Mengen natürlicher Sprache trainiert wurden, komplexe Muster verallgemeinern können, ohne Anpassungen vorzunehmen. Das deutet auf neue Einsichten darüber hin, wie Lernen im Gehirn funktioniert, und zeigt, wie Fortschritte in der künstlichen Intelligenz uns helfen können, mehr über grundlegende Konzepte in der Kognitionswissenschaft zu lernen.

#Testen der Flexibilität grosser Sprachmodelle

Unsere Experimente konzentrieren sich auf das Mistral-Modell, ein starkes Beispiel für ein grosses Sprachmodell, um zu sehen, wie gut es neue Strukturen lernen kann, ohne seine interne Einrichtung zu ändern. Wir haben die AGL- und SRTT-Aufgaben so eingerichtet, dass das Modell durch Beispiele lernt.

Wir nehmen während unserer Tests keine Anpassungen an den Parametern des Modells vor. Stattdessen geben wir Schritt für Schritt neue Eingaben, was uns ermöglicht zu sehen, wie gut das Modell die Strukturen, die an diesen Aufgaben beteiligt sind, lernen kann.

Ähnlich wie klassische Experimente zur Messung der Lerngeschwindigkeit haben wir unser Experiment in drei Teile unterteilt: eine Basislinie mit zufälligen Sequenzen, einen strukturierten Teil mit Sequenzen, die bestimmten Regeln folgen, und einen Nach-Lernteil mit weiteren zufälligen Sequenzen. Wir wollen Lernen zeigen, indem wir vergleichen, wie das Modell im strukturierten Teil im Vergleich zur Basislinie abschneidet.

Um sicherzustellen, dass unsere Ergebnisse zuverlässig sind, haben wir das Experiment mit verschiedenen Vokabel- und Sequenzsätzen wiederholt.

#Ergebnisse der Experimente

Die Ergebnisse heben die Fähigkeit des Modells hervor, in dem strukturierten Teil genauer Vorhersagen zu treffen als in der Basislinie. Wir sehen ein klares Verbesserungsschema, das zeigt, dass das Modell aus den strukturierten Sequenzen lernen kann.

Ein weiteres potenzielles Argument könnte sein, dass das Modell einfach Sequenzen auswendig lernt. Um dies zu überprüfen, haben wir weitere Experimente durchgeführt, indem wir doppelte Sequenzen ausgeschlossen haben. Selbst ohne Wiederholungen zeigte das Modell weiterhin Lernen im strukturierten Teil, was darauf hindeutet, dass es die zugrunde liegende Struktur erfasst und nicht nur spezifische Sequenzen auswendig lernt.

Als Nächstes haben wir das Vokabular in der Mitte der Eingabe gewechselt. Das bedeutet, dass wir andere Wörter verwendet haben, die immer noch der gleichen Struktur folgen. Das Modell hat sich schnell an diese Veränderung angepasst, was darauf hindeutet, dass es die Regeln versteht, die die Sequenzen bestimmen, und nicht nur die verwendeten Wörter.

Wir haben auch getestet, ob das Modell von zufälligen Sequenzen zu Beginn des Experiments lernt. Unsere Ergebnisse zeigen, dass eine längere Basislinie zufälliger Sequenzen das Lernen erschwert. Allerdings lernt das Modell weiterhin schnell, selbst wenn wir die Länge der zufälligen Phase anpassen, nachdem wir das Vokabular gewechselt haben.

#Das Verständnis des Modells für Strukturen

Ein zentrales Merkmal der AGL und SRTT ist, dass das Modell an verschiedenen Punkten unterschiedliche Entscheidungen treffen kann. Unsere Analyse zeigt, dass das Modell Wahrscheinlichkeiten für mögliche nächste Wörter gemäss den Regeln der Strukturen, die es lernt, zuweist. Das unterstützt die Idee, dass das Modell die tatsächlichen Muster der Sequenzen erfasst und nicht zufällige Assoziationen.

Unser Ansatz hebt die Fähigkeit des Modells hervor, Aufgaben zu lernen, die sich von seinen ursprünglichen Trainingsdaten unterscheiden, ohne weitere Anpassungen vorzunehmen. Frühere Studien erforderten oft Feinabstimmungen, die eine Änderung des Modells einschliessen, um neue Aufgaben zu lernen. Unsere Arbeit zeigt, wie gut vortrainierte Lernsysteme ihr Wissen auf völlig neue Aufgaben verallgemeinern können, ohne Anpassungen vorzunehmen.

#Verbindungen zwischen künstlicher Intelligenz und dem menschlichen Gehirn

Es gibt eine wachsende Ähnlichkeit zwischen der Art und Weise, wie das menschliche Gehirn Sprache repräsentiert und wie LLMs dasselbe tun. Das legt nahe, dass beide Systeme ähnlich auf Lernaufgaben reagieren könnten. Die Ergebnisse unserer Forschung zeigen, dass die reiche Repräsentation, die von LLMs erzeugt wird, ihnen helfen könnte, sich an neue Situationen anzupassen, ohne spezifisches Training zu benötigen.

Dieses Papier schlägt vor, dass das Gehirn möglicherweise mehr auf Berechnungen angewiesen ist, als zuvor gedacht. Es deutet darauf hin, dass bestimmte komplexe Aufgaben durch die Nutzung bestehenden Wissens bewältigt werden können, ohne dass die Netzwerkeinrichtung geändert werden muss. Das stellt die traditionelle Ansicht in Frage, wie Informationen im Gehirn verarbeitet werden.

#Fazit

Unsere Studie zeigt, dass vortrainierte KI-Systeme eine faszinierende Fähigkeit besitzen, komplexe Muster zu lernen und zu verallgemeinern, die weit über das hinausgehen, wofür sie ursprünglich trainiert wurden. Wir glauben, dass dies wertvolle Einblicke nicht nur in die künstliche Intelligenz, sondern auch in unsere eigenen kognitiven Prozesse bietet.

Die Fähigkeit dieser Modelle, zu lernen, ohne Anpassungen vorzunehmen, eröffnet Möglichkeiten für weitere Forschung darüber, wie Lernen und Plastizität in realen Situationen funktionieren. Die Ergebnisse legen nahe, dass Deep-Learning-Modelle bedeutende Einblicke in wichtige Ideen der Kognitionswissenschaft und Neurowissenschaft bieten können, was zu einem tieferen Verständnis sowohl menschlicher als auch künstlicher Lernsysteme führt.