Sprachmodelle und Gehirnaktivität: Eine Studie

Wir trainieren zwei verschiedene Sprachmodelle. Eines nutzt den GPT-2 Tokenizer und das andere LLaMA-2. Die GPT-2 Version hat vier Transformer-Schichten, während die LLaMA-2 Version drei hat. Denk an diese Modelle wie an zwei verschiedene Autos, die beide für dieselbe Strasse gebaut sind, aber mit leicht unterschiedlichen Motoren.

Relative Positionierung ist wichtig, wenn man Wörter vergleicht, deshalb verwenden wir etwas, das Relative Positional Encoding heisst. Es hilft dem Modell, zu verfolgen, wo jedes Wort in einem Satz steht. Die GPT-2 Version hat eine Grenze von 32 Positionen, während die LLaMA-2 Version 64 verarbeiten kann. Das ist wie ein grösserer Parkplatz für mehr Autos. Der Wortschatz beider Modelle stammt von ihren jeweiligen Vorgängern, sodass alles schön passt.

#Ähnlichkeitspaare mit Sprachmodellen erstellen

Um diese Modelle zu trainieren, benutzen wir LLaMA-2 als Mentor. Wir sammeln jede Menge Texte aus verschiedenen Quellen, um sie in jedes Modell einzuspeisen, je nach verwendeten Tokenizer. Während des Trainings wählen wir zufällig Sequenzen von 32 oder 64 Wörtern mit einer Batch-Grösse von 128 oder 256 aus. Das bedeutet, dass wir in jeder Trainingsrunde eine riesige Anzahl von Wortmöglichkeiten betrachten.

Dann erstellen wir Paare von Wörtern, die auf bestimmten Berechnungen basieren. Denk an Ähnlichkeitspaare wie an Freunde, die zusammen abhängen. Wir vergleichen, wie oft sie im Trainingsmaterial zusammen vorkommen. Die Modelle lernen, das nächste Wort basierend auf dem, was sie bisher gesehen haben, vorherzusagen. Sie verwenden eine Kombination verschiedener Verlustfunktionen zum Trainieren, was bedeutet, dass sie darauf abzielen, im Laufe der Zeit nähere Vorhersagen zu treffen. Dieses Training dauert eine Weile auf einigen leistungsstarken GPUs, die wie fancy Taschenrechner für diese Art von Arbeit sind.

#Den richtigen Schwellenwert für Schätzungen finden

Sobald wir unsere Modelle haben, müssen wir einen Schwellenwert für effektive Vorhersagen festlegen. Dieser Schwellenwert hilft zu bestimmen, wann das Modell gut abschneidet. Um die beste Zahl für diesen Schwellenwert zu finden, haben wir verschiedene Einstellungen mit einem Trainingssatz von 100 Millionen Tokens ausprobiert. Das ist wie das Ausprobieren verschiedener Rezepte, um das leckerste zu finden.

Wir haben uns sechs Datensätze angesehen, um zu sehen, wie unterschiedliche Einstellungen die Leistung des Modells beeinflussten. Für jeden Datensatz haben wir ihn zum Testen verwendet, während die anderen beim Aufbau des Hauptmodells geholfen haben. Dann haben wir verglichen, wie gut die Modelle abschnitten, als der effektive Schwellenwert auf unterschiedliche Werte gesetzt wurde. Wir haben festgestellt, dass der GPT-2 Tokenizer am besten bei 8 funktioniert, während der LLaMA-2 Tokenizer bei 9 besser abschneidet.

#Genauigkeit der nächsten Token vergleichen

In unseren Bewertungen haben wir verschiedene Datensätze als Referenz verwendet. Für einige Datensätze haben wir unsere eigenen Datenreferenzen erstellt, während wir für andere öffentlich verfügbare Modelle genutzt haben. Wir haben Tests durchgeführt, um zu überprüfen, wie gut die Modelle beim Vorhersagen des nächsten Wortes in einer Sequenz abschnitten.

Als wir die Modelle verglichen haben, fanden wir heraus, dass eines zwar länger braucht, um Antworten zu generieren, aber oft bessere Ausgaben produziert. Das ist wie das Warten auf ein leckeres Essen in einem Restaurant anstatt auf einen schnellen Snack. Das längere Warten kann zu einer zufriedenstellenderen Erfahrung führen.

Wir haben uns auch Beispiele angesehen, in denen die Modelle Wörter genau matchen konnten und wo sie auf unscharfe Übereinstimmungen angewiesen waren. Das ist wie zu versuchen, einen Freund in einer Menschenmenge zu erkennen – wenn du ihn nicht klar sehen kannst, kannst du trotzdem ein Gefühl dafür bekommen, wer er ist, basierend auf seiner Kleidung oder Frisur.

#Erkenntnisse aus fMRI-Daten

Wir haben uns auch die Gehirnaktivität mit fMRI angesehen, einer Methode, die hilft zu sehen, wie das Gehirn reagiert, während Leute Geschichten zuhören. Wir haben Daten von drei Personen gesammelt, während sie einige Podcasts genossen haben. Es war nicht nötig, dass sie antworteten; sie haben einfach zugehört.

Über mehrere Scan-Sitzungen hörten die Probanden etwa 20 Stunden einzigartiger Geschichten. Jede Sitzung lieferte viele Datenpunkte, die wir analysieren konnten. Wir haben einige coole Messungen vorgenommen, um zu sehen, wie gut das Gehirn auf die Geschichten reagierte und ein Modell erstellt, das die Gehirnaktivität basierend auf den gehörten Wörtern vorhersagt.

Um die Daten zu analysieren, haben wir Rauschen sortiert und sichergestellt, dass alles richtig ausgerichtet war. Wir haben sorgfältig Teile der Aufnahmen entfernt, die unsere Schlussfolgerungen verwirren könnten. Das Ziel war hier zu sehen, ob das Verständnis von Sprache mit spezifischen Gehirnfunktionen verknüpft werden konnte.

#Unscharfes Matching in Gehirnantworten

In unserer Studie der Hirndaten haben wir ein unscharfes Matching-Modell erstellt. Dieses Modell hilft herauszufinden, wie eng Wörter miteinander verbunden sind, selbst wenn sie keine genauen Übereinstimmungen sind. Wir haben etwas clevere Mathematik verwendet, um zu vergleichen, wie wahrscheinlich das nächste Wort basierend auf seiner Ähnlichkeit zu den vorherigen ist.

Indem wir unsere Daten an das Timing des Gehirns anpassten, konnten wir genauere Vorhersagen von Gehirnantworten machen, die mit den gehörten Wörtern übereinstimmten. Das half zu zeigen, wie unterschiedliche Wörter ähnliche Gehirnaktivität auslösen konnten, auch wenn sie nicht identisch waren.

#Vergleich der Vorhersageleistung

Als nächstes haben wir getestet, wie gut das unscharfe Matching-Modell im Vergleich zum genauen Matching-Modell abgeschnitten hat. Trotz unserer Bemühungen übertraf das unscharfe Induktionsmodell das genaue Matching-Modell nicht wesentlich. Das könnte daran liegen, dass die Hirndaten rauschig sind und nicht immer leicht zu interpretieren.

Denk mal so: Wenn du in einem vollen Raum ein Lied hörst, nimmst du die Melodie wahr, aber vielleicht nicht jedes Wort. Das unscharfe Modell ist so – es kann die allgemeine Stimmung aufnehmen, könnte aber die feinen Details übersehen. Die Ergebnisse zeigten, dass ähnliche Wörter zwar dieselben Gehirnareale aktivieren konnten, die Unterschiede jedoch oft subtil waren.

#Anwendungen in der realen Welt

Das Verständnis von Sprache und Gehirnverbindungen könnte in verschiedenen Bereichen hilfreich sein. Zum Beispiel könnte es helfen, Lehrmethoden zu verbessern, aufzuzeigen, wie man Menschen mit Sprachschwierigkeiten unterstützen kann, oder sogar dazu beitragen, KI zu entwickeln, die menschliches Verständnis auf präzisere Weise nachahmt.

Zusammenfassend wird beim Entwickeln dieser Modelle und beim Erkunden der Gehirnantworten klarer, wie Sprache auf verschiedenen Ebenen funktioniert – von den Algorithmen, die maschinelles Lernen antreiben, bis zu den neuronalen Schaltkreisen in unseren Gehirnen. Es ist ein spannendes Feld, voller Möglichkeiten, und obwohl der Lernprozess komplex sein kann, ist es auch ziemlich unterhaltsam!