Effizientes Video-Modelltraining auf Einzelmaschinen

In den letzten Jahren ist das Training grosser Modelle, um Videos zu verstehen, ein grosses Thema geworden. Allerdings brauchen diese Modelle oft viel Rechenleistung, und das typische Setup besteht darin, viele leistungsstarke Maschinen zusammenarbeiten zu lassen. Das macht es für Forscher an Universitäten schwer, die vielleicht nicht so viele Ressourcen zur Verfügung haben.

Dieser Artikel erklärt, wie man ein modernes Videomodell nur mit einer Maschine und acht Consumer-GPUs innerhalb eines Tages trainiert. Indem wir uns auf drei Hauptprobleme konzentrieren – Datenladen, CPU-Verarbeitung und GPU-Berechnungen – können wir den Trainingsprozess schneller und effizienter gestalten.

#Die Herausforderung beim Training von Videomodellen

Videos enthalten eine Menge Informationen und können sehr gross sein, was die Arbeit damit kompliziert macht. Das Training dieser Modelle dauert normalerweise mehrere Tage und benötigt viele GPUs. Dieser Trend hat dazu geführt, dass die meisten Entwicklungen solcher Modelle in der Industrie und nicht in der Wissenschaft stattfinden.

Videomodelle haben dank besserer Maschinen und grösserer Datensätze grosse Fortschritte gemacht. Allerdings führt das zu höheren Kosten, besonders mit dem Wechsel von älteren Modellen zu neueren, die Transformer genannt werden. Während diese Modelltypen oft auf erfolgreichen Bildmodellen basieren, stellen Videos einzigartige Herausforderungen dar.

Zum Beispiel sind Videos im Vergleich zu Bildern stark komprimiert. Das bedeutet, dass das Dekodieren viel Zeit in Anspruch nimmt und den gesamten Prozess verlangsamen kann. Zudem wächst die Datenmenge nicht nur mit jedem einzelnen Frame, sondern auch mit der Länge des Videos. Das kann viel Speicher verbrauchen und die Vorverarbeitung komplizieren.

#Analyse der Trainingspipeline

Wenn es um das Training von Videomodellen geht, gibt es drei Hauptbereiche, in denen wir die Effizienz verbessern können: das Modell selbst, wie wir die Videos laden und wie wir die Videodaten verarbeiten. Jeder dieser Bereiche beeinflusst die GPU-, CPU- und Eingabe/Ausgabe-(IO) Operationen auf unterschiedliche Weise.

Durch sorgfältiges Design haben wir Wege gefunden, den Trainingsprozess erheblich zu beschleunigen.

Von der Modellierungsseite aus haben wir mit einer grundlegenden Art von Vision Transformer (ViT) begonnen. Wir konnten den Speicherverbrauch durch eine Technik namens FlashAttention reduzieren. Diese Methode zerlegt die gesamte Datensequenz in kleinere, handhabbare Stücke, was es uns ermöglicht, den Speicherbedarf zu verringern und die Verarbeitung zu beschleunigen.

Durch diese Anpassung konnten wir mit grösseren Stapeln von Videos auf einmal arbeiten, was besonders nützlich für bestimmte Modelltypen ist, die viele Daten für ein effektives Training benötigen.

Selbst mit verbesserter Hardware kann das Training moderner Videomodelle immer noch lange dauern. Oft erfordert es die gleichwertige Rechenleistung von mehreren Jahren auf fortschrittlichen Maschinen. Wir haben jedoch gezeigt, dass es möglich ist, ein leistungsstarkes Modell auf einer einzigen Maschine in weniger als einem Tag zu trainieren.

#Optimierung des Video-Ladens und der Verarbeitung

Mit unserem neuen Ansatz mussten wir auch andere Herausforderungen angehen, die mit höheren Verarbeitungsgeschwindigkeiten einhergingen. Eine wesentliche Änderung betraf, wie wir Videodaten laden und dekodieren.

Anstatt gesamte Videos auf einmal zu laden, haben wir sie in kürzere Segmente aufgeteilt. Jedes Segment wird separat verarbeitet, was die Menge der gleichzeitig bearbeiteten Daten reduziert. Diese Änderung entlastet die Eingabe/Ausgabe-Operationen und beschleunigt den Video-Dekodierungsprozess.

Wir haben auch gängige Datenumwandlungen in die Video-Ladephase integriert. Zum Beispiel haben wir eine gängige Zuschneideoperation in den anfänglichen Dekodierungsschritt eingebaut. Das reduziert die Zeit, die für das Dekodieren unnötiger Teile des Videos aufgebracht wird.

Um CPU-Ressourcen freizugeben, haben wir viele Aufgaben zur Datenanreicherung auf die GPUs verlagert. So können sie gleichzeitig arbeiten und ihre Fähigkeit nutzen, viele Aufgaben gleichzeitig zu verarbeiten.

Wir haben unser Setup mit einer grossen Datenbank von Video- und Textpaaren getestet und ein Modell trainiert, um die Verbindung zwischen diesen zu verstehen. Unsere neue Pipeline konnte Ergebnisse erzielen, die mit denen vergleichbar sind, die viel leistungsstärkere Setups erfordern. Dies führte zu einem signifikant reduzierten Speicherverbrauch, weniger Zeitaufwand auf den GPUs und geringeren Kosten.

#Die Auswirkungen verbesserter Trainingstechniken

Unser System beschränkt sich nicht nur auf das Training eines bestimmten Modells. Die Methoden, die wir entwickelt haben, können auch mit anderen Modellen und Aufgaben arbeiten. Wir haben ähnliche Techniken erfolgreich auf das Training anderer Arten von Videomodellen angewendet, wie zum Beispiel Video Masked Auto-Encoders (MAE), was die Flexibilität und Nützlichkeit unseres Ansatzes weiter verdeutlicht.

#Frühere Forschung zur effizienten Videoerkennung

Videomodelle sind bekannt dafür, ressourcenintensiv zu sein, weshalb viele Forschungsbemühungen darauf abzielen, sie effizienter zu gestalten. Zu den Innovationen gehören verschiedene Arten von Faltungsverfahren, Anpassungen der Trainingspipelines und verschiedene Techniken zur Minimierung des Speicherverbrauchs.

Während andere Studien versucht haben, die Effizienz des Trainings von Videomodellen zu verbessern, sticht unsere Arbeit hervor, da sie spezifisch die IO- und CPU-Engpässe in typischen Video-Trainings-Setups anspricht.

#Speichereffizienz in Videomodellen

Um den Speicherverbrauch effektiv zu managen, konzentrieren sich viele Ansätze darauf, Videos in kleinere Frames oder Clips aufzubrechen und zusätzliche Modelle zur Bewegungsanalyse zu verwenden. Allerdings haben die meisten dieser Bemühungen darauf abgezielt, wie die Modelle in der Testphase abschneiden, anstatt wie sie trainiert werden.

Unser Fokus auf die Optimierung des tatsächlichen Trainingsprozesses für Videomodelle ermöglicht es unseren Techniken, breit über verschiedene Modelltypen hinweg angewendet zu werden.

#Die Standard-Videotraining-Pipeline

Die übliche Pipeline für das Training von Videomodellen ähnelt der für das Training von Bildmodellen. Zuerst wird das Video gelesen und in einzelne Frames dekodiert, die dann ausgewählt und in ein Format umgewandelt werden, das für das Modell geeignet ist. Dazu gehören verschiedene Anpassungen und Augmentierungen, die den Nutzen der Daten verbessern.

Typischerweise erfordern das Laden und Dekodieren von Videos erhebliche CPU-Ressourcen, während das Modell selbst auf der GPU läuft. Diese Trennung kann zu Ineffizienzen führen, insbesondere wenn die CPU mit den Anforderungen der GPUs nicht mithalten kann.

#Beschleunigung des Video-Ladens und der Verarbeitung

Wir haben den Einfluss langsamer Video-Ladeprozesse auf die gesamte Trainingszeit erkannt. Durch die Optimierung, wie Videos gespeichert und verarbeitet werden, konnten wir die für das Laden von Daten benötigte Zeit erheblich reduzieren.

Eine der wichtigsten Änderungen betraf die Reduzierung der Grösse einzelner Video Segmente, die in den Speicher geladen werden. Anstatt lange Videos zu lesen, haben wir sie in kleinere Stücke zerlegt, was schnelleren Zugriff und Verarbeitung ermöglicht.

#Die Fused DecodeCrop-Methode

Wir haben eine neue Methode namens Fused DecodeCrop entwickelt, mit der wir Videos dekodieren und gleichzeitig zuschneiden können. Dieser Ansatz minimiert unnötige Arbeit und beschleunigt den Datenladeprozess, der im Allgemeinen ein Engpass ist.

Der Erfolg von Fused DecodeCrop macht das Training von Videos nicht nur schneller, sondern eröffnet auch die Möglichkeit, zusätzliche Transformationen anzuwenden, ohne die Leistung negativ zu beeinflussen.

#Training mit langen Videos

Bei langen Videos haben wir oft Probleme im Zusammenhang mit Speicherplatz und Speicherverwaltung. Eine Lösung besteht darin, diese Videos basierend auf vordefinierten Zeitstempeln zu clippen, bevor sie durch das Modell laufen. Das kann jedoch zu erhöhtem Speicherbedarf führen und einige Teile der Videos unbrauchbar für das Training machen.

Stattdessen kann das Zerlegen von Videos in handhabbare Stücke die Zeit zum Lesen und Dekodieren reduzieren. Diese Methode ermöglicht es den Modellen, Videosegmente schneller zu verarbeiten und verhindert, dass Zeit mit unnötigen Daten verschwendet wird.

#Leistungsevaluation und Ergebnisse

Um die Effektivität unseres Ansatzes zu testen, haben wir einen bekannten Video-Datensatz für das Pre-Training verwendet und dann bewertet, wie gut unser Modell in einer bestimmten Videoerkennungsaufgabe funktioniert hat.

Unsere Methode ersetzte traditionelle Ansätze für die Gegenüberstellung von Video und Sprache und übertraf frühere Arbeiten sowohl in der Effizienz als auch in der Genauigkeit, selbst bei der Verwendung weniger Ressourcen.

#Vorteile des Trainings mit grossen Batchgrössen

Während unserer Tests haben wir beobachtet, dass die Verwendung grösserer Batchgrössen die Trainingsergebnisse erheblich verbessern kann. Grössere Batchgrössen führen zu einer besseren Modellleistung, insbesondere in Kombination mit grösseren Datensätzen.

Allerdings war es eine Herausforderung, diese grösseren Batchgrössen in traditionellen Trainingsansätzen für Videomodelle zu erreichen, aufgrund von Speichergrenzen und Verarbeitungsgeschwindigkeit. Unsere Optimierungen ermöglichten es uns, die Grenzen dessen, was in dieser Hinsicht möglich ist, zu erweitern.

#Fazit

Zusammenfassend haben wir gezeigt, dass es nicht nur möglich, sondern auch effizient ist, moderne Videomodelle auf einer einzigen Maschine zu trainieren. Indem wir die wichtigsten Engpässe beim Datenladen, der CPU-Verarbeitung und den GPU-Berechnungen angehen, haben wir die Trainingspipeline erheblich verbessert.

Diese Arbeit eröffnet neue Möglichkeiten für Forscher in der Wissenschaft, wodurch sie an hochmodernen Videomodellen arbeiten können, ohne Zugang zu riesigen Rechenclustern zu benötigen. Die Techniken, die wir skizziert haben, können als Grundlage für zukünftige Erkundungen im Bereich des Videoverstehens und der -erkennung dienen und das Videomodeling für alle, die an diesem spannenden Bereich interessiert sind, zugänglicher machen.