Fortschritte bei leichten Vision-Transformern

In letzter Zeit gibt's immer mehr Interesse daran, Machine-Learning-Modelle kleiner und effizienter zu machen, besonders für Aufgaben, die Bildverarbeitung betreffen. Ein beeindruckendes Modell dafür heisst Vision Transformer (ViT). Diese Modelle haben gute Ergebnisse gezeigt, sind aber oft ziemlich gross, was sie langsam macht und schwer auf mobilen Geräten nutzbar. Forscher arbeiten hart daran, diese Modelle leichter zu machen, ohne dass ihre Effektivität verloren geht.

Ein neuer Ansatz nennt sich Mixture-of-Experts (MoE). Die Idee dahinter ist einfach: Statt ein komplexes Modell zu verwenden, können wir mehrere kleinere Experten benutzen. Jeder Experte kann sich um verschiedene Aspekte des Problems kümmern und wir können entscheiden, welche für eine bestimmte Aufgabe genutzt werden. Das bedeutet, dass ein Modell beim Verarbeiten von Daten nicht immer alle Ressourcen gleichzeitig nutzen muss. Stattdessen kann es sich nur auf die relevantesten Experten konzentrieren.

In diesem neuen leichten Modell ist jeder Experte mit einer spezifischen Struktur gebaut, die SwiGLU-Feedforward-Netzwerk genannt wird. Diese Struktur ermöglicht es dem Modell, Informationen effizient zu verarbeiten, während die Anzahl der Parameter niedrig bleibt. Parameter sind wichtig, weil sie bestimmen, wie gut ein Modell lernen und Vorhersagen treffen kann. Wenn die Anzahl der Parameter sorgfältig verwaltet wird, kann das Modell auch dann gut performen, wenn es viel kleiner ist als traditionelle Modelle.

Eine grosse Herausforderung bei kleineren Modellen ist, dass sie oft Schwierigkeiten haben, aus Datensätzen zu lernen, die nicht sehr gross sind. Zum Beispiel, wenn der Datensatz klein ist, wie nur ein paar tausend Bilder, kann die Leistung eines Modells sinken. Um das anzugehen, schauen Forscher sich Vortrainierungstechniken an. Vortraining bedeutet, ein Modell auf einem grossen Datensatz zu trainieren, bevor man es auf einem kleineren feintuned. So kann das Modell nützliche Merkmale lernen, die es dann auf die neue Aufgabe anwenden kann.

In der Studie zu diesem leichten Modell haben die Forscher mit zwei Typen experimentiert: einem ohne Vortraining und einem anderen, der eine Methode namens Masked Auto-Encoder (MAE) für das Vortraining verwendet. Die Forscher fanden heraus, dass das Modell mit MAE sogar effektiv aus kleineren Datensätzen lernen konnte. Das bedeutet, dass es zuerst vom grossen Datensatz profitieren und dann dieses Wissen nutzen kann, um Probleme mit einem kleineren Datensatz zu lösen.

Die Struktur des neuen Modells basiert darauf, Bilder in kleinere Teile, oder Patches, zu zerlegen. Jeder dieser Patches wird in eine Form umgewandelt, die das Modell verstehen kann, mithilfe von sogenannten Positions-Embeddings. Dann durchlaufen diese umgewandelten Teile mehrere Verarbeitungsstufen, wobei jede die MoE-Ansatz nutzt.

Ein weiterer interessanter Aspekt dieses leichten Modells nennt sich Grouped Query Attention (GQA). Statt mehrere Aufmerksamkeitsköpfe separat zu verwenden, gruppiert GQA sie. Das hilft, die Komplexität zu reduzieren und die Geschwindigkeit des Modells zu verbessern. Zum Beispiel hat ein Setup eine einzige Gruppe, die genauso funktioniert wie traditionelle Methoden, während ein anderes Arrangement die Aufmerksamkeit in mehr Gruppen aufteilt, was es sowohl schnell als auch effektiv macht.

Um die Nutzung dieser Experten besser zu verwalten, verwendet das Modell ein Gating-Netzwerk. Das ist ein Mechanismus, der entscheidet, welche Experten basierend auf den Eingabedaten verwendet werden. Mit diesem Setup sind nicht alle Experten zur gleichen Zeit aktiv, was den Ressourcenverbrauch niedrig hält und die Leistung hoch.

Ein weiteres wichtiges Konzept in diesem Design ist die depth-wise Skalierung. Im Gegensatz zu traditionellen Modellen, die eine konstante Grösse haben, ändert dieses neue Modell seine Grösse, während es durch seine Schichten geht. Das bedeutet, dass das Modell am Anfang grösser sein kann und dann kleiner wird, während es mehr Informationen verarbeitet, was die Leistung verbessern kann.

Die Studie hat sich auch verschiedene Grössen des Modells angeschaut, um zu sehen, wie sie performen. Es wurden drei Grössen getestet: klein (S), extra klein (XS) und doppelt extra klein (XXS). Die Forscher fanden heraus, dass selbst das kleinste Modell wettbewerbsfähig war und gute Genauigkeit bei verschiedenen Aufgaben erzielte. Das ist beeindruckend, da es weniger als eine Million Parameter hatte, was deutlich weniger ist als bei vielen bestehenden Modellen.

Als diese Modelle trainiert wurden, haben sie gezeigt, dass sie auch ohne spezielle Augmentierungstechniken effektiv lernen konnten. Das kleinste Modell, mmLiT-XXS, performed besser als einige grössere Modelle mit mehr Parametern, was zeigt, dass Grösse nicht alles ist, wenn es um Machine Learning geht. Das Potenzial für kleinere Modelle, genauso gut wie ihre grösseren Pendants zu performen, ist ein spannendes Forschungsgebiet für die Zukunft.

Während des Trainingsprozesses wurden Anpassungen an der Lernumgebung vorgenommen, um Overfitting zu vermeiden, was passiert, wenn ein Modell zu viel aus den Trainingsdaten lernt und nicht gut auf neuen Daten funktioniert. Das ist ein häufiges Problem, vor allem für kleinere Modelle, deshalb war eine sorgfältige Verwaltung des Trainings entscheidend.

Eine der wichtigsten Erkenntnisse war, dass die Leistung der Modelle erheblich besser wurde, als sie auf einem grösseren Datensatz vortrainiert wurden. Zum Beispiel konnte das kleinste Modell, mmLiT-XXS, nach nur 40 Epochen des Feintunings fast 90% Genauigkeit auf einem anderen Datensatz erreichen. Das zeigt, wie vorteilhaft Vortraining sein kann.

Die Forscher bemerkten auch, dass kleinere Modelle in vielen Aufgaben gut abschneiden können, sie aber manchmal Schwierigkeiten mit komplexeren Datensätzen haben, die mehr Details erfordern. Das wurde speziell bei fein-granularen Klassifikationsaufgaben beobachtet, wo grössere Bilder tendenziell besser abschneiden.

Zusammenfassend deuten die Ergebnisse darauf hin, dass die Verwendung einer optimierten MoE-Architektur zu erheblichen Verbesserungen in der Leistung leichter Vision Transformer führen kann. Durch das Teilen von Parametern über die verschiedenen Experten und das Anpassen der Modellgrösse, während es Daten verarbeitet, haben Forscher ein Modell geschaffen, das in der Lage ist, bei verschiedenen Aufgaben hervorragende Leistungen zu erbringen. Zudem fanden sie heraus, dass das Vortraining auf einem grösseren und vielfältigeren Datensatz die Fähigkeit des Modells, verschiedene Aufgaben effektiv auszuführen, weiter verbessern kann. Während die Modelle weiterhin kleiner werden, wird es ein wichtiger Fokus sein, Wege zu finden, um ihre Effektivität zu erhalten.

Der Ansatz mit diesen leichten Transformern zeigt vielversprechende Perspektiven für sowohl theoretische Fortschritte als auch praktische Anwendungen. In realen Szenarien, wo Rechenressourcen begrenzt sein können, könnte ein effektives, aber kleines Modell zu besserer Zugänglichkeit für verschiedene Aufgaben in der Bildverarbeitung und darüber hinaus führen. Während dieses Feld weiter wächst, werden Forscher wahrscheinlich noch mehr Wege finden, um zu verbessern und innovativ zu sein, was zu intelligenteren und effizienteren Modellen führen kann, die gut in vielen Umgebungen funktionieren.