Optimierung von Vision Transformers für ressourcenschwache Geräte

Vision Transformer haben sich in visuellen Lernaufgaben wie Bildklassifikation und Objekterkennung beliebt gemacht, weil sie sich auf verschiedene Bereiche eines Bildes konzentrieren und die Beziehungen zwischen diesen Bereichen verstehen können. Allerdings sind diese Modelle oft gross und benötigen viel Rechenleistung, was sie schwer nutzbar auf Geräten mit begrenzten Ressourcen macht, wie Drohnen oder Smartphones. In dieser Arbeit wollen wir Vision Transformer kleiner und schneller machen, damit sie effektiv auf Geräten mit niedrigen Ressourcen arbeiten können, um Anwendungen wie Überwachung und Umweltschutz zu ermöglichen.

#Problemstellung

Vision Transformer sind super darin, hohe Genauigkeit bei visuellen Aufgaben zu erzielen, aber ihre Grösse und ihre Ressourcenanforderungen können ein Problem sein. Zum Beispiel hat ein gängiger Vision Transformer etwa 86 Millionen Parameter, was ihn für kleinere Geräte unbrauchbar machen kann. Unser Ziel ist es, die Grösse und Komplexität dieser Modelle zu reduzieren, während wir ihre Fähigkeit erhalten, in Aufgaben wie Objekterkennung und Bildsegmentierung gut abzuschneiden. Wir konzentrieren uns auf Geräte wie Drohnen, die vielleicht nur über wenig Speicher und Batterieleistung verfügen.

#Techniken zur Kompression

Um unser Ziel zu erreichen, verwenden wir mehrere Techniken zur Modellerstellung:

1. Wissensdistillation: Bei dieser Methode wird ein kleineres Modell (der Schüler) trainiert, um ein grösseres, genaueres Modell (der Lehrer) nachzuahmen. Das kleinere Modell lernt aus den Vorhersagen des Lehrers, die als informativer angesehen werden als herkömmliche Trainingslabels.

2. Pruning: Diese Technik reduziert die Modellgrösse, indem Gewichte entfernt werden, die wenig Einfluss auf die Modellleistung haben. Es gibt zwei Arten von Pruning:

   • Unstrukturiertes Pruning: Entfernt einzelne Gewichte basierend auf bestimmten Kriterien, was zu unregelmässigen Mustern führen kann, die die Hardwarebeschleunigung komplizieren.
   • Strukturiertes Pruning: Zielt auf Gruppen von Parametern ab, wie z.B. ganze Kanäle oder Schichten, was die Optimierung auf Hardware erleichtert.

3. Quantisierung: Dabei wird die Anzahl der Bits reduziert, die verwendet werden, um die Gewichte des Modells darzustellen, wodurch das Modell komprimiert wird. Es gibt zwei Hauptmethoden:

   • Quantisierungsbewusste Ausbildung (QAT): Dabei wird das Modell mit Blick auf Quantisierung trainiert, um die Genauigkeit zu erhalten.
   • Post-Training-Quantisierung (PTQ): Dieser Ansatz wendet Quantisierung nach dem Training des Modells an, was die Ausführung erleichtert.

Durch die Kombination dieser Techniken hoffen wir, ein kleineres, effizientes Modell zu schaffen, das für Umgebungen mit niedrigen Ressourcen geeignet ist.

#Zielumgebung

Wir konzentrieren uns auf den Einsatz von Drohnen, die mit Batterien betrieben werden und begrenzten Speicher haben, ähnlich wie Geräte wie die NVIDIA Jetson Nano, die 4 GB RAM hat. Diese Geräte müssen Aufgaben genau ausführen, wie Objekte erkennen und Menschen bei Such- und Rettungsmissionen lokalisieren, und das alles bei niedriger Latenz für schnelle Reaktionen.

Unser Ziel ist es, eine schnelle Verarbeitung von Vision Transformers auf solchen Geräten zu ermöglichen, ohne zu viel Genauigkeit zu opfern. Das könnte zu ihrer Nutzung in verschiedenen praktischen Anwendungen bei Katastrophenhilfe, Umweltschutz und mehr führen.

#Verwandte Arbeiten

Frühere Forschungen haben gezeigt, dass Techniken zur Modellkompression in anderen Bereichen, insbesondere bei konvolutionalen neuronalen Netzwerken und der Verarbeitung natürlicher Sprache, möglicherweise nicht gut für Vision Transformer funktionieren. Ein Grossteil der bestehenden Forschung konzentriert sich auf einzelne Techniken, anstatt sie in ein einziges Modell zu integrieren. Einige haben versucht, verschiedene Methoden zu kombinieren, doch oft fehlt die Berücksichtigung der Quantisierung.

Wir wollen diese Lücke schliessen, indem wir mehrere Techniken in einem einheitlichen Rahmen integrieren, um Vision Transformer effektiv für praktische Anwendungen zu komprimieren.

#Implementierungsstrategie

Unser Rahmen kombiniert strukturiertes Pruning, um unnötige Teile des Modells zu entfernen, Wissensdistillation, um die Leistung kleinerer Modelle zu verbessern, und effiziente Quantisierung, um den Speicherbedarf zu reduzieren. Wir legen auch besonderen Wert auf die Art der Aufgaben, die wir durchführen möchten, wie z.B. die Segmentierung von Katastrophenszenen.

Indem wir uns auf eine spezifische Anwendung konzentrieren, die hohe Genauigkeit erfordert, aber auch auf Geräten mit begrenzten Ressourcen funktionieren muss, glauben wir, bedeutende Beiträge auf diesem Gebiet leisten zu können.

#Datensatznutzung

Um unser Modell zu validieren, verwenden wir einen Datensatz aus einer aktuellen Herausforderung, die speziell auf Katastrophenszenen ausgerichtet ist. Dieser Datensatz enthält Bilder, die von Drohnen aus verschiedenen Katastrophensituationen aufgenommen wurden, mit Labels, die bei der Ausbildung von Segmentierungsmodellen helfen. Durch die Nutzung dieses Datensatzes wollen wir die Entwicklung effektiver Systeme zur Katastrophenhilfe unterstützen, die auf Geräten mit niedrigen Ressourcen arbeiten können.

#Evaluationsmetriken

Um die Leistung unseres Modells zu bewerten, schauen wir uns mehrere Metriken an:

• Genauigkeit: Gemessen mit dem mittleren Intersection over Union (IoU), der vergleicht, wie gut unser Modell verschiedene Klassen in einem Bild identifiziert.
• Ausführungszeit: Die durchschnittliche Zeit, die das Modell benötigt, um jedes Bild zu verarbeiten.
• Modellgrösse: Wichtig, um sicherzustellen, dass wir die Grenzen des Gerätespeichers einhalten.

Zusätzlich werden wir Experimente durchführen, um zu sehen, wie gut jede Kompressionsmethode funktioniert, um Genauigkeit und Geschwindigkeit in Einklang zu bringen.

#Experimentelle Ergebnisse

In unseren Experimenten haben wir zuerst verschiedene Architekturen für Segmentierungsdecoder bewertet, um das beste Gleichgewicht zwischen Leistung und Effizienz zu finden. Dann haben wir verschiedene Backbones (die Hauptstrukturen unserer Modelle) mit dem oben genannten Datensatz zu Katastrophenszenen bewertet.

Wir haben festgestellt, dass bestimmte Decoder besser bei Segmentierungsaufgaben abschnitten und dabei die Modellgrösse im Rahmen blieb. Zum Beispiel stach UPerNet als gute Wahl für unsere Aufgaben hervor.

Beim Trainieren und Testen unserer Modelle haben wir mehrere Techniken genutzt, einschliesslich Wissensdistillation, um die Ausgabe unserer kleineren Modelle zu verbessern, indem wir von grösseren gelernt haben. Dieser Ansatz war effektiv, um die Genauigkeit unseres Modells zu steigern.

Wir haben auch festgestellt, dass unsere komprimierten Modelle immer noch in der Lage waren, wichtige Merkmale der Bilder zu erfassen, aber Schwierigkeiten hatten, komplexere Details zu identifizieren, insbesondere bei der Unterscheidung von Klassen, die sich ähnlich sehen, wie Strassen und Schlammlawinen.

#Herausforderungen

Trotz unserer Fortschritte hatten wir während unserer Experimente mit Herausforderungen zu kämpfen. Zum Beispiel haben unsere Versuche mit iterativem Pruning keine signifikanten Verbesserungen gebracht. Wir fanden heraus, dass MobileViT, das darauf ausgelegt ist, klein und effizient zu sein, nicht gut auf zusätzliches Pruning reagierte, ohne die Genauigkeit zu opfern.

Ausserdem entdeckten wir, dass die Klassenuungleichheit im Datensatz Probleme verursachte. Klassen mit geringer Frequenz, die in Katastrophenszenarien kritisch sind, wurden manchmal nicht genau segmentiert, da der Fokus stärker auf den dominanten Klassen in den Bildern lag.

#Zukünftige Richtungen

In Zukunft planen wir, unsere Modelle weiter zu verfeinern und zusätzliche Kompressionstechniken zu erkunden, die die Leistung auf noch stärker eingeschränkten Geräten verbessern könnten, wie z.B. eine Version des Jetson Nano mit nur 2 GB RAM.

Wir wollen auch neue Quantisierungsmethoden untersuchen, um die Verarbeitungszeit zu verkürzen und gleichzeitig die Genauigkeit hoch zu halten. Ein weiteres Interessengebiet wird die Auseinandersetzung mit den Einschränkungen bestehender Softwaretools für Quantisierung sein, um möglicherweise alternative Ansätze zu finden, die unsere Modelle besser ausführen.

Durch die fortlaufende Forschung und Implementierung adaptiver Pruning-Techniken hoffen wir, ein Gleichgewicht zwischen Sparsamkeit und Leistung zu finden, das es uns ermöglicht, kleinere, effiziente Modelle ohne umfangreiche Feinabstimmung zu erstellen.

Diese fortlaufende Arbeit ist entscheidend für die Entwicklung zuverlässiger Systeme, die in realen Katastrophenszenarien eingesetzt werden können und in herausfordernden Umgebungen kritische Unterstützung bieten.