Bewertung von Sparse Autoencoders mit SHIFT und TPP

Sparse Autoencoders (SAEs) helfen dabei zu verstehen, wie neuronale Netzwerke funktionieren, indem sie deren Aktivierungen in nachvollziehbare Teile zerlegen. Ein grosses Problem in diesem Bereich ist, dass wir keine guten Möglichkeiten haben, zu messen, wie gut SAEs abschneiden. Die meisten früheren Studien haben Methoden verwendet, die nicht wirklich zuverlässig sind. In dieser Arbeit präsentieren wir neue Wege zur Bewertung von SAEs, indem wir eine Methode namens SHIFT verwenden, die hilft herauszufinden, welcher Teil eines neuronalen Netzwerks nicht bei der aktuellen Aufgabe hilft. Ausserdem führen wir die Targeted Probe Perturbation (TPP) Methode ein, die misst, wie gut ein SAE ähnliche Konzepte voneinander unterscheiden kann.

#Die Herausforderung

SAEs sind ein nützliches Werkzeug zum Verständnis von neuronalen Netzwerken. Dieses Jahr wurden viele neue Arten von SAEs entwickelt, wie TopK und Gated SAEs. Allerdings gibt es noch ein grosses Problem, dass wir keine zuverlässigen Metriken haben, um Fortschritte in diesem Bereich zu testen. Im Gegensatz zu anderen maschinellen Lernaufgaben, die klare Ziele haben, fehlt es bei der Bewertung von SAEs hinsichtlich Interpretierbarkeit an einem klaren Standard.

Die üblichen Metriken wie Sparsamkeit und Treue stimmen oft nicht mit dem überein, was wir in Bezug auf ein besseres Verständnis des Modells wollen. Diese Diskrepanz macht es schwer zu wissen, ob Verbesserungen bei SAEs tatsächlich deren Interpretierbarkeit erhöhen oder ob sie einfach diese Proxy-Metriken verbessern.

#Die Lösung

Um das anzugehen, schlagen wir vor, SAEs basierend darauf zu messen, wie gut sie für Aufgaben ausserhalb ihres Trainings funktionieren. Die SHIFT-Methode hilft dabei, zu bewerten, wie gut ein SAE Teile eines Modells identifizieren und entfernen kann, die zu voreingenommenen Vorhersagen beitragen. Mit SHIFT können Forscher sehen, welche Merkmale die Ausgaben eines neuronalen Netzwerks beeinflussen und welche nicht relevant sind. Wir haben neue Bewertungen basierend auf SHIFT erstellt, die als Spurious Correlation Removal (SCR) bezeichnet werden, um die Effektivität eines SAEs bei der Trennung verschiedener Konzepte zu bewerten.

SCR hat jedoch Einschränkungen, wenn es darum geht, über verschiedene Datentypen hinweg zu skalieren. Um dies zu überwinden, haben wir die TPP-Methode entwickelt, die untersucht, wie ein SAE eine spezifische Klasse identifizieren und ändern kann, während andere unberührt bleiben. Für sowohl SCR als auch TPP wählen wir SAE-Merkmale aus, indem wir Punkte verwenden, die widerspiegeln, wie sehr sie die Klassifizierungsaufgabe beeinflussen.

#Methoden und Beiträge

Unsere Hauptbeiträge sind:

1. Anpassung von SHIFT: Wir haben die Aufgabe zur Beseitigung von spurious correlations in SHIFT angepasst, damit sie als Bewertungsinstrument für SAEs fungiert.
2. Einführung von TPP: Wir haben die Targeted Probe Perturbation-Metrik entwickelt, um SAEs über verschiedene Datensätze hinweg zu bewerten.
3. Open-Source-Suite: Wir haben eine Sammlung von SAEs trainiert und unsere Metriken unter Verwendung verschiedener Sprachmodelle und Datensätze getestet.

SAEs zielen darauf ab, eine Reihe von verständlichen Merkmalen aus den inneren Abläufen eines neuronalen Netzwerks zu finden. Ein guter SAE sollte den Prozessen des Modells treu bleiben und in der Lage sein, menschlich verständliche Konzepte zu trennen.

Traditionell haben die Leute zwei Hauptmetriken verwendet, um SAEs zu bewerten:

1. Der wiederhergestellte Kreuzentropieverlust: Dieser prüft, wie gut die Leistung des ursprünglichen Modells durch die Vorhersagen des SAEs nachgeahmt werden kann.
2. Die L0-Norm der Merkmalsaktivierungen: Diese misst, wie viele Merkmale für einen bestimmten Input aktiviert sind.

Kürzlich haben Studien versucht, SAEs durch Brettspiele, Schaltungen und spezifische Sprachkonzepte zu bewerten. Das Ziel der Konzeptentfernung ist es, unerwünschte Ideen aus einem Modell zu finden und zu eliminieren, während die Gesamtleistung intakt bleibt. Unser Ziel ist nicht, aktuelle Methoden zur Entfernung von Konzepten zu verbessern, sondern diese Aufgaben in Metriken zur Bewertung des Fortschritts von SAEs umzuwandeln.

#Bewertung der Konzeptisolierung

In dieser Forschung konzentrieren wir uns darauf, wie gut ein SAE verschiedene Konzepte isolieren kann, als Hauptmass für seine Qualität. Um unsere Methoden zu testen, verfolgen wir einen systematischen Ansatz:

1. Trainiere einen Klassifikator für ein bestimmtes Konzept.
2. Identifiziere die SAE-Merkmale, die mit diesem Konzept in Verbindung stehen.
3. Überprüfen, ob das Entfernen von Merkmalen, die mit dem Konzept verbunden sind, die beabsichtigte Auswirkung auf den Klassifikator hat.

Ein guter SAE wird die Genauigkeit des Klassifikators erheblich beeinflussen, wenn relevante Merkmale entfernt werden. Unsere SHIFT- und TPP-Metriken operationalisieren diese Idee.

#Validierung und Plausibilitätsprüfungen

Um sicherzustellen, dass unsere Metriken gültig sind, führen wir mehrere Tests durch, um zu sehen, ob sie mit den erwarteten Eigenschaften von SAEs übereinstimmen. Jeder Unterabschnitt unten beschreibt die Evaluationsschritte, und weitere Informationen sind im Anhang verfügbar.

#SAE Latent Selection

Die Auswahl, welche SAE-Merkmale bewertet werden sollen, erfordert herauszufinden, welche am relevantesten für ein bestimmtes Konzept sind. Wir tun dies, indem wir ihre Auswirkungen auf einen Klassifikator bewerten und diese Merkmale möglicherweise zur Interpretierbarkeit filtern.

Um die relevantesten Merkmale zu finden, verwenden wir lineare Klassifikatoren, um Verbindungen aus den Modellausgaben zu erkennen. Wir sammeln Punkte, die widerspiegeln, wie viel jedes Merkmal beiträgt, und wählen dann die besten aus. Wir nutzen auch einen LLM-Judge, um zu bewerten, ob ein Merkmal basierend auf dem Kontext, den es aktiviert, verständlich ist.

#Anwendung von SHIFT und TPP

Die SHIFT-Methode benötigt Datensätze, die Text mit zwei binären Labels verbinden. Wir verwenden den Bias in Bios-Datensatz für Berufs- und Geschlechtsklassifikationen und den Amazon-Bewertungen-Datensatz für Produktkategorien und Bewertungen.

Wir filtern beide Datensätze nach zwei Labels und trainieren einen Klassifikator auf dem voreingenommenen Datensatz. Wir entfernen Merkmale aus dem Klassifikator, indem wir den zuvor beschriebenen Prozess verwenden, um zu sehen, wie gut der Klassifikator ohne die Vorurteile funktioniert.

Der TPP-Ansatz generalisiert SHIFT und funktioniert für jeden Textklassifizierungsdatensatz. Hier finden wir SAE-Merkmale, die helfen, Klassen zu unterscheiden, und überprüfen, wie gut deren Entfernung die Modellgenauigkeit beeinflusst.

#Experimentelle Ergebnisse

Wir haben SAEs auf zwei Modellen, Pythia-70M und Gemma-2-2B, trainiert, um unsere Metriken zu testen. Beide Metriken zeigen, dass SAEs effektiv Vorurteile entfernen und die Klassifikatorgenauigkeit verbessern können. Die SHIFT-Bewertung unterscheidet zwischen verschiedenen SAE-Typen und Architekturen.

#Ergebnisse

Die Ergebnisse zeigen konsistent, dass TopK- und JumpReLU-Architekturen die Standard-SAEs übertreffen. Wir stellen auch fest, dass die Leistung von SAEs während des Trainings steigt, wobei der erste Teil des Trainings erheblich zu den Gesamtpunktgewinnen beiträgt.

Unsere Ergebnisse zeigen, dass die meisten besten SAE-Merkmale, unabhängig von der Auswahlmethode, vom LLM-Judge als interpretierbar angesehen werden. Die rauschinformierte Methode, die keinen LLM benötigt, ist schneller und bietet angemessene Bewertungen.

#Diskussion und Einschränkungen

Unsere Experimente bestätigen, dass SHIFT und TPP erfolgreich zwischen verschiedenen SAE-Architekturen unterscheiden. Die besten Sparsamkeitsniveaus für jede Metrik variieren jedoch. Es ist mehr Arbeit nötig, um die TPP-Metrik mit Sparsamkeitsmessungen zu verbinden.

Der LLM-Judge, den wir verwendet haben, hat einen niedrigeren Standard für Interpretierbarkeit als andere Implementierungen. Während unsere einfacheren Methoden schneller und günstiger sind, können sie einige Interpretationen übersehen. Daher gibt es ein Gleichgewicht zwischen Qualität und Effizienz, wenn es darum geht, ob man den LLM-Judge verwendet.

SHIFT und TPP hängen von menschlich festgelegten Idealen ab, was SAEs lernen sollten, was möglicherweise nicht mit dem übereinstimmt, was das Modell tatsächlich darstellt. Diese Abhängigkeit kann wichtige Merkmale übersehen.

Trotz ihrer Stärken haben beide Metriken Einschränkungen hinsichtlich der Komplexität und undefinierter Parameter. Sie sollten andere Bewertungsmethoden ergänzen, anstatt als eigenständige Massnahmen zu dienen.

#Fazit

Die SHIFT- und TPP-Methoden bieten wertvolle Werkzeuge zur Bewertung von Sparse Autoencoders. Sie sind einfach auf verschiedene Datensätze anwendbar, zeigen Verbesserungen während des Trainings und können schnell berechnet werden. Wir empfehlen Forschern, unsere Metriken zur Bewertung ihrer eigenen SAEs zu nutzen und den Trainingsfortschritt im Blick zu behalten.

#Danksagungen

Diese Forschung wurde durch das ML Alignment Theory Scholars Program unterstützt. Wir danken allen, die während dieses Projekts ihre Einsichten und Expertise beigetragen haben. Ausserdem schätzen wir die rechnerischen Ressourcen, die von verschiedenen Labors bereitgestellt wurden.

#Zukünftige Richtungen

In Zukunft wollen wir Bewertungen verbessern, die nicht nur die kausale Isolation, sondern auch andere wichtige Qualitäten von SAEs abdecken. Wir erkennen an, dass die Entwicklung eines umfassenden Rahmens zur Untersuchung aller Aspekte der SAE-Qualität eine bedeutende Herausforderung bleibt.

#Probe-Training Einblicke

Bei der Schulung von Proben auf voreingenommenen Datensätzen ist es entscheidend, die erkannten Signale auszubalancieren. Wenn eine Probe stark auf ein Label voreingenommen ist, schränkt das die Effektivität ein, unerwünschte Merkmale zu entfernen. Wir haben herausgefunden, dass die Anpassung von Batchgrössen und Lernraten die Genauigkeit der Probe erheblich beeinflussen kann.

Um die Abhängigkeit von Datensatzlabels zu minimieren, haben wir die Punkte über mehrere Klassenpaare hinweg gemittelt. Indem wir Paare mit mindestens 60% Genauigkeit für beide Klassen auswählen, konnten wir die Zuverlässigkeit unserer Bewertungen verbessern.

#Sparse Autoencoder Trainingsverfahren

Wir trainieren und stellen eine Vielzahl von SAEs basierend auf den Modellen Pythia-70M und Gemma-2-2B zur Verfügung. Unsere Trainingsparameter zielen darauf ab, eine gute Merkmalsidentifikation über verschiedene Datensätze hinweg zu gewährleisten.

Mit unseren Ergebnissen hoffen wir, mehr Forschung zu den Bewertungsmethoden für SAEs anzuregen und das Verständnis dafür zu verbessern, wie diese Modelle funktionieren und sich im Laufe der Zeit verbessern.