DeiT-LT: Fortschritte bei Vision-Transformern für Long-Tailed Learning

In der Welt der Computer Vision ist eine neue Architektur namens Vision Transformer (ViT) ziemlich populär geworden für eine Vielzahl von Aufgaben. Die Grundidee hinter ViT ist es, Bilder in kleinere Stücke, sogenannte Patches, aufzuteilen und diese Patches dann mit einer Methode namens Self-Attention zu verarbeiten. Diese Methode hilft dem Modell, auf verschiedene Teile des Bildes zu achten, während es Vorhersagen trifft.

Im Gegensatz zu traditionellen Convolutional Neural Networks (CNNs), die stark von bestimmten Annahmen über Bilder abhängen (wie der Bedeutung von benachbarten Pixeln), hat ViT diese Annahmen nicht. Das bedeutet, dass ViT eine Menge Daten benötigt, um effektiv zu lernen. Es gab Anstrengungen, ViT besser mit kleineren Datensätzen arbeiten zu lassen, aber die meisten dieser Methoden konzentrieren sich auf ausgewogene Datensätze, bei denen alle Klassen eine ähnliche Zahl von Beispielen haben.

Viele reale Datensätze sind jedoch nicht ausgewogen. In diesen langschwänzigen Datensätzen haben einige Klassen viele Beispiele, während andere sehr wenige haben. Das stellt eine Herausforderung für Modelle dar, da sie oft Schwierigkeiten haben, von den Minderheitsklassen zu lernen. Um dies zu lösen, entwickeln wir eine neue Methode namens DeiT-LT, die speziell dafür entworfen wurde, ViTs auf langschwänzigen Datensätzen zu trainieren.

#Was ist DeiT-LT?

DeiT-LT steht für "Data-efficient Image Transformers for Long-Tailed Data." Diese Methode konzentriert sich darauf, wie man Vision Transformers von Grund auf trainiert, ohne grosse, bereits vorhandene Datensätze zu benötigen. Das Ziel ist es, die Fähigkeit des Modells zu verbessern, von Klassen zu lernen, die weniger Beispiele haben.

Eine der Schlüsselinnovationen von DeiT-LT ist ein Prozess namens Distillation. Bei der Distillation lernt ein kleineres Modell (der Schüler) von einem grösseren Modell (dem Lehrer). In unserem Fall ist der Schüler ein Vision Transformer und der Lehrer ist ein CNN. Der Lehrer hilft dem Schüler, wichtige Merkmale in den Daten zu erkennen.

In DeiT-LT verwenden wir ein spezielles Distillationstoken, das vom CNN-Lehrer lernt, mit einem Fokus auf Bilder, die nicht den typischen Trainingsbeispielen entsprechen. Dadurch kann sich das Modell mehr auf die Minderheitsklassen konzentrieren und seine Fähigkeit verbessern, genaue Vorhersagen für diese Klassen zu treffen.

#Die Herausforderung von langschwänzigen Daten

Langschwänzige Datensätze sind in vielen Bereichen verbreitet, von der Bilderkennung bis zur Verarbeitung natürlicher Sprache. Diese Datensätze haben einige Klassen mit vielen Beispielen und viele Klassen mit nur wenigen. Diese Ungleichheit erschwert es Modellen, gut zu lernen. Während das Modell bei Klassen mit vielen Beispielen gut abschneiden kann, scheitert es oft bei Klassen, die unterrepräsentiert sind.

Um dieses Problem anzugehen, haben Forscher verschiedene Strategien entwickelt. Einige konzentrieren sich darauf, die Verlustfunktion anzupassen, die dem Modell hilft, aus den Minderheitsklassen zu lernen. Andere setzen mehrere kleinere Modelle ein, die jeweils für verschiedene Teile des Datensatzes spezialisiert sind, und kombinieren ihre Vorhersagen.

Die meisten dieser Techniken wurden jedoch hauptsächlich auf CNNs angewendet, was eine Lücke in der Literatur hinsichtlich ihrer Wirksamkeit für Transformer-Architekturen hinterlässt. Mit der Einführung von DeiT-LT wollen wir diese Lücke schliessen, indem wir zeigen, wie Transformer-Modelle auch auf langschwänzigen Datensätzen gut abschneiden können.

#Schlüsselinnovationen von DeiT-LT

DeiT-LT führt mehrere wichtige Komponenten ein, um das Training von Vision Transformers auf langschwänzigen Datensätzen zu verbessern:

1. Distillation von CNN: Wir destillieren Wissen von einem CNN-Lehrer, damit der Vision Transformer lokale Merkmale lernen kann, die wichtig für genaue Vorhersagen sind, besonders bei Klassen mit weniger Beispielen.

2. Nutzung von Out-of-Distribution-Bildern: Durch die Einführung von Bildern, die normalerweise nicht in den Trainingsdaten erscheinen, schaffen wir eine herausforderndere Lernumgebung. Das hilft dem Modell, robuster zu werden und besser zu generalisieren, besonders für Minderheitsklassen.

3. Verzögerte Neugewichtung des Verlusts: Diese Strategie hilft, die Bedeutung der Minderheitsklassen während des Trainings zu betonen und stellt sicher, dass das Modell diesen Klassen mehr Aufmerksamkeit schenkt.

4. Lernen von Low-Rank-Features: Indem wir den CNN-Lehrer mit einer Methode trainieren, die als Sharpness Aware Minimization (SAM) bekannt ist, können wir Merkmale ableiten, die weniger komplex und für den Vision Transformer leichter zu lernen sind. Das hilft, die Leistung des Modells bei Klassen mit weniger Trainingsbeispielen zu verbessern.

Diese Innovationen ermöglichen es DeiT-LT, effektiv sowohl auf Haupt- (Mehrheits-) als auch auf Schwanz- (Minderheits-) Klassen im gleichen Modellrahmen zu fokussieren.

#Wie funktioniert DeiT-LT?

Der Trainingsprozess von DeiT-LT lässt sich in mehrere Schritte unterteilen:

1. Datenvorbereitung: Das Training beginnt mit einem Datensatz, der Bilder verschiedener Klassen enthält. Dieser Datensatz ist oft unausgewogen, wobei einige Klassen viel stärker vertreten sind als andere.

2. Training des Lehrer-Modells: Ein kleinerer CNN wird mit Standardtechniken auf diesem Datensatz trainiert. Das Lehrer-Modell ist darauf ausgelegt, wichtige Merkmale aus den Daten effizient zu lernen.

3. Erzeugung von Out-of-Distribution-Proben: Während der Distillationsphase erzeugen wir neue Proben mit starken Augmentierungen. Diese augmentierten Bilder dienen als Out-of-Distribution-Beispiele, die das Schüler-Modell dazu bringen, besser vom Lehrer zu lernen.

4. Distillationsprozess: Der Vision Transformer (der Schüler) lernt durch den Distillationsprozess vom CNN (dem Lehrer). Der Fokus liegt sowohl auf den Gesamtklassifikationen als auch auf den feineren Details der Merkmale.

5. Anpassung des Verlusts: Die Verlustfunktion wird angepasst, um den Vorhersagen über die Minderheitsklassen mehr Gewicht zu geben. Das ist entscheidend, da es ein besseres Lernen aus den weniger häufigen Beispielen fördert.

6. Endgültige Vorhersagen: Nach dem Training kann das Modell Vorhersagen für neue Bilder treffen. Die Vorhersagen integrieren Erkenntnisse, die sowohl aus den Haupt- als auch aus den Schwanzklassen gelernt wurden, was zu einer verbesserten Gesamtleistung führt.

#Experimentation und Ergebnisse

Um die Wirksamkeit von DeiT-LT zu validieren, führten wir Experimente mit verschiedenen Datensätzen durch. Diese Experimente reichten von kleinen Datensätzen wie CIFAR-10 und CIFAR-100 bis hin zu grossangelegten Datensätzen wie ImageNet und iNaturalist-2018.

#Kleine Datensätze

1. CIFAR-10 LT und CIFAR-100 LT: Diese Datensätze sind speziell dafür entwickelt worden, um Techniken des langschwänzigen Lernens zu testen. Sie enthalten Bilder, die in 10 und 100 Klassen kategorisiert sind, wobei viele Klassen nur eine begrenzte Anzahl von Beispielen haben.

   • Die Ergebnisse zeigten, dass DeiT-LT bestehende Modelle ohne jegliches Pre-Training deutlich übertreffen kann. Das Modell erzielte eine höhere Genauigkeit, insbesondere bei den Minderheitsklassen, im Vergleich zu anderen konventionellen Methoden.

2. Leistung von Haupt-, Mittel- und Schwanzklassen: Die Ergebnisse zeigten, dass das CLS-Token von DeiT-LT bei den Hauptklassen hervorragend abschnitt und über 90% Genauigkeit erreichte, während das DIST-Token bei Schwanzklassen glänzte. Das zeigt die Fähigkeit des Modells, sich je nach Klassenverteilung zu spezialisieren.

#Grossangelegte Datensätze

1. ImageNet-LT: Ein bekanntes Benchmark für langschwänziges Lernen. Wir verglichen DeiT-LT mit anderen Basis-Modellen. Unsere Methode übertraf deutlich traditionelle Modelle, die auf dem gleichen langschwänzigen Datensatz trainiert wurden, und zeigte Verbesserungen, insbesondere beim Erkennen von Minderheitsklassen.

2. iNaturalist-2018: Dieser Real-World-Datensatz bringt aufgrund der Ungleichheit in der Klassenrepräsentation verschiedene Herausforderungen mit sich. Hier konnte DeiT-LT eine bemerkenswerte Genauigkeit erzielen und festigte damit seine Position als robuste Option für langschwänziges Lernen.

#Verständnis der Ergebnisse

Die Experimente zeigten mehrere Erkenntnisse über die Trainingsdynamik von DeiT-LT:

• Wirksamkeit der Distillation: Die Nutzung eines CNN-Lehrers zur Anleitung des Vision Transformers erwies sich als vorteilhaft. Das Schüler-Modell konnte essentielle Merkmale lernen, die entscheidend für genaue Vorhersagen waren, insbesondere in den Schwanzklassen.

• Fokus auf Minderheitsklassen: Die Anpassungen in der Verlustfunktion zeigten deutliche Verbesserungen in der Fähigkeit des Modells, von Klassen mit weniger Beispielen zu lernen, was die Bedeutung massgeschneiderter Trainingsstrategien unterstreicht.

• Umgang mit Ausgabevielfalt: Die unterschiedlichen Rollen des CLS- und DIST-Tokens ermöglichten es dem Modell, sowohl bei Haupt- als auch bei Minderheitsklassen zu glänzen. Diese Vielfalt in der Ausgabe führte zu einem ausgewogenen Verständnis des Datensatzes.

#Zukünftige Richtungen

Obwohl DeiT-LT bedeutende Fortschritte zeigt, gibt es Bereiche für zukünftige Erkundungen:

1. Adaptive Lerntechniken: Die Entwicklung von Methoden, die sich adaptiv von CNN-Feedback zu echtem Label-Lernen verschieben können, würde die Leistung bei Schwanzklassen weiter verbessern.

2. Untersuchung anderer Lehrer-Modelle: Während wir hauptsächlich CNN-Lehrer verwendet haben, könnte die Bewertung der Auswirkungen verschiedener Architekturen auf den Distillationsprozess mehr Einsichten bringen.

3. Echtzeitanwendungen: Die Untersuchung, wie man diese Modelle in Echtzeitszenarien einsetzen kann, während man deren Leistung aufrechterhält, ist ein wertvolles Forschungsfeld.

4. Bias-Minderung: Sicherzustellen, dass das Modell keine Vorurteile aus vortrainierten Datensätzen oder Augmentierungsmethoden übernimmt, wäre auch entscheidend für ethische KI-Anwendungen.

#Fazit

DeiT-LT stellt einen vielversprechenden Fortschritt im Bereich der Vision Transformers dar, insbesondere bei der Bewältigung der Herausforderungen, die langschwänzige Datensätze mit sich bringen. Durch effektive Distillation von CNN-Modellen und innovative Trainingsstrategien hat es die Fähigkeit demonstriert, die Leistung über verschiedene Klassen hinweg zu verbessern, ohne auf grosse, vortrainierte Datensätze angewiesen zu sein.

Während die Computer Vision weiterhin evolviert, ebnen Methoden wie DeiT-LT den Weg für robustere Modelle, die in vielfältigen und unausgewogenen realen Szenarien gedeihen können.