Drinnen bei Transformers: Schichtdynamik und Leistung

Transformers werden in grossen Sprachmodellen viel verwendet, aber viele Leute verstehen nicht so richtig, wie die intern funktionieren. In diesem Artikel schauen wir uns an, was passiert, wenn wir ändern, wie Informationen durch die Schichten eines vortrainierten Transformers fliessen. Damit hoffen wir, herauszufinden, wie wir bestehende Modelle besser nutzen und ihre Designs verbessern können, um neue Versionen zu schaffen.

Wir haben mehrere Tests mit eingefrorenen Modellen durchgeführt, um die Unterschiede zwischen den unteren und oberen Schichten im Vergleich zu den mittleren Schichten zu beobachten. Wir haben festgestellt, dass die mittleren Schichten eine überraschend grosse Ähnlichkeit aufweisen. Ausserdem haben wir entdeckt, dass einige Aufgaben immer noch gut funktionieren können, selbst wenn wir Schichten überspringen, die Reihenfolge der Schichten ändern oder sie gleichzeitig ausführen.

Da Transformer-Modelle sehr gross sein können, ist es schwer zu verstehen, was sie nach dem Training machen. Jede Schicht in einem Transformer hat die gleiche Konfiguration, aber sie haben unterschiedliche Positionen in der Struktur und unterschiedliche Werte für ihre Parameter.

Um die mittleren Schichten eines Transformers zu erklären, können wir sie uns wie eine Montageleitung von Malern vorstellen. Jedes Eingangsbild ist eine Leinwand, die durch verschiedene Maler bewegt wird. Einige Maler sind besser darin, Vögel zu zeichnen, während andere sich auf Räder konzentrieren. Jeder Maler erhält die Leinwand vom Maler darunter, entscheidet, was er hinzufügen möchte, oder gibt sie einfach an den Maler darüber weiter.

In dieser Analogie verstehen alle Maler die gleichen Stile, sodass einer die Arbeit eines anderen empfangen kann, ohne dass es schädlich ist. Sie können auch neu angeordnet werden, ohne dass das Bild komplett ruiniert wird. Manchmal können alle Maler gleichzeitig an der Leinwand arbeiten. Diese Analogie hilft uns, darüber nachzudenken, wie Transformer-Schichten funktionieren.

Basierend auf dieser Analogie haben wir Tests durchgeführt, um zu sehen, ob bestimmte Ideen zutreffen. Die wichtigsten Fragen, die wir beantworten wollten, waren:

• Teilen die Schichten die gleiche Art, Informationen darzustellen?
• Sind alle Schichten nötig?
• Erfüllen mittlere Schichten die gleichen Aufgaben?
• Spielt die Reihenfolge der Schichten eine Rolle?
• Können Schichten gleichzeitig zusammenarbeiten?
• Ist die Reihenfolge für bestimmte Aufgaben wichtig?
• Kann das Schleifen die Arbeit der zusammenlaufenden Schichten verbessern?
• Welche Änderungen sind am wenigsten schädlich?

Um diese Fragen zu beantworten, haben wir eine Reihe von Experimenten an vortrainierten grossen Sprachmodellen durchgeführt. Wir haben verschiedene Möglichkeiten ausprobiert, wie der Transformer arbeiten kann, und gemessen, wie er bei verschiedenen Tests für sowohl Decoder-Only-Modelle (wie Llama) als auch Encoder-Only-Modelle (wie BERT) abgeschnitten hat. Unsere Experimente beinhalteten nie die Änderung der Parameter des Modells, ausser in einem Bewertungsschritt für BERT.

#Verschiedene Ausführungsstrategien

Wir haben uns auf zwei Haupt-Transformer-Modelle konzentriert: Llama2 und BERT-Large. Llama2 ist ein Decoder-Only-Modell mit 7 Milliarden Parametern und 32 Schichten, während BERT ein Encoder-Only-Modell mit 24 Schichten und 340 Millionen Parametern ist. Wir haben für unsere Tests die Standardversionen dieser Modelle verwendet.

Wir haben mehrere Benchmarks verwendet, um beide Modelle zu bewerten. Für Llama2 haben wir Aufgaben zu wissenschaftlichen Fragen, gesundem Menschenverstand, mathematischen Aufgaben und Wortvorhersagen betrachtet. Bei BERT haben wir Aufgaben aus einem bekannten Benchmark verwendet, der einen Feinabstimmungsschritt beinhaltet.

Unsere ursprüngliche Motivation war zu sehen, ob die Schichten im Modell zu einer grösseren Schicht kombiniert werden konnten. Wir dachten, dass die Art, wie die mittleren Schichten trainiert wurden, bedeuten könnte, dass sie das gleiche Verständnis von Informationen teilen. Das könnte wichtige Auswirkungen darauf haben, wie neues Wissen in diese Modelle integriert wird.

#Teilen die Schichten den gleichen Darstellungsraum?

Um zu sehen, ob die Schichten die gleiche Art der Informationsdarstellung verwenden, haben wir getestet, ob das Modell damit umgehen kann, einige Schichten zu überspringen oder die Reihenfolge benachbarter Schichten zu ändern. Zum Beispiel, wenn Schicht 6 normalerweise ihre Eingabe von Schicht 5 erhält, was passiert, wenn wir Schicht 6 stattdessen die Ausgabe von Schicht 4 geben?

Unsere Ergebnisse zeigen, dass das Überspringen von frühen Schichten einen signifikanten negativen Einfluss hatte, während das Modell robuster gegenüber dem Überspringen mittlerer Schichten war. Das deutet darauf hin, dass mittlere Schichten wahrscheinlich eine Art der Informationsdarstellung teilen, aber sich von den ersten und letzten Schichten unterscheiden.

Um dies zu bestätigen, haben wir die verborgenen Zustände verschiedener Schichten über unsere Benchmarks hinweg betrachtet. Wir haben festgestellt, dass die Aktivierungsmuster in den mittleren Schichten sehr ähnlich waren. Das deutet darauf hin, dass das Modell unterschiedliche Gruppen für die Anfangs-, Mittel- und Endschichten hat.

#Sind alle Schichten notwendig?

Als nächstes haben wir untersucht, ob die mittleren Schichten wirklich den gleichen Darstellungsraum nutzen. Wir haben experimentiert, indem wir Schichten überspringen, um zu sehen, ob die übersprungenen Schichten entscheidend für das Verständnis der Informationen durch das Modell waren. Unsere Tests zeigten, dass viele Benchmarks immer noch gut abschneiden, auch wenn wir einige mittlere Schichten überspringen, was darauf hinweist, dass nicht alle Schichten notwendig sind.

#Machen mittlere Schichten alle das Gleiche?

Selbst wenn mittlere Schichten einen Darstellungsraum teilen, heisst das nicht, dass sie die gleiche Arbeit machen. Wir haben die Gewichte der mittleren Schichten durch die Gewichte der Mittelschicht ersetzt. Das führte zu einem schnellen Leistungsabfall, was zeigt, dass mittlere Schichten unterschiedliche Rollen beim Erledigen der Aufgabe spielen.

#Spielt die Reihenfolge eine Rolle?

Unsere vorhergehenden Tests haben gezeigt, dass mittlere Schichten einen Darstellungsraum teilen, aber unterschiedliche Aufgaben erfüllen. Wir wollten sehen, wie wichtig die Reihenfolge dieser Aufgaben ist. Wir haben Experimente durchgeführt, bei denen wir die Reihenfolge der mittleren Schichten umgekehrt oder randomisiert haben.

Wir fanden heraus, dass sowohl das Umkehren als auch das Randomisieren der Reihenfolge es dem Modell immer noch erlaubte, sanft zu degradieren, was bedeutet, dass es trotz der Änderungen immer noch funktionsfähig war. Das Randomisieren der Reihenfolge schnitt besser ab als das Umkehren, was möglicherweise an der Art liegt, wie die Anordnung die Schichten beeinflusst.

#Können wir die Schichten parallel ausführen?

Wir haben auch untersucht, ob wir die mittleren Schichten unabhängig voneinander ausführen und ihre Ergebnisse später kombinieren können. Wir haben dies getestet, indem wir die mittleren Schichten gleichzeitig ausgeführt und anschliessend das durchschnittliche Ergebnis an die endgültigen Schichten gesendet haben. Die meisten Benchmarks zeigten wieder eine sanfte Degradation, ausser bei einer mathematischen Aufgabe, die bei diesem Ansatz schlecht abschnitt.

#Spielt die Reihenfolge für einige Aufgaben mehr als für andere eine Rolle?

Wir haben festgestellt, dass mathematische und reasoning Aufgaben viel mehr von der Änderung der Schichtenreihenfolge betroffen waren als semantische Aufgaben. Das bedeutet, dass Aufgaben, die präzise Argumentation erfordern, empfindlicher darauf reagieren, wie die Schichten organisiert sind.

#Hilft Schleifen den parallelisierten Schichten?

Wir haben getestet, ob das Zurückführen von Schichten in sich selbst die Leistung verbessern würde. Die Ergebnisse zeigten, dass das mehrmalige Ausführen parallelisierter Schichten eine bessere Leistung erzielen konnte als das einmalige Ausführen.

#Welche Varianten sind am wenigsten schädlich?

Nach dem Testen verschiedener Möglichkeiten zur Änderung der Schichten haben wir ihre Leistungen verglichen. Wir haben gesehen, dass das blosse Wiederholen einer mittleren Schicht den grössten Schaden verursachte, während das Randomisieren der Reihenfolge und das Schleifen der Schichten die geringsten negativen Auswirkungen hatten.

#Fazit

Unsere Experimente zeigen, dass es drei verschiedene Klassen von Schichten in Transformatoren gibt, wobei die meiste Komplexität in den mittleren Schichten liegt. Diese mittleren Schichten können eine Art der Informationsdarstellung teilen, sind aber nicht redundant. Die Art und Weise, wie die Schichten ausgeführt werden, kann die Leistung erheblich beeinflussen, besonders bei Mathematik- und reasoning Aufgaben.

Für zukünftige Arbeiten planen wir zu untersuchen, wie gut Transformers sich an neue Methoden anpassen können. Wenn Transformers unter unterschiedlichen Bedingungen feinabgestimmt werden können, könnte ihre Leistung noch weiter verbessert werden. Insgesamt bietet diese Forschung nützliche Einblicke, wie man Transformer-Modelle für bessere Effizienz und Effektivität bei gleichzeitiger Wahrung der Genauigkeit optimieren kann.