Fortschritte im Open-Set Action Recognition

In den letzten Jahren ist die Erkennung menschlicher Aktionen in Videos ein wichtiges Forschungsfeld geworden. Traditionelle Methoden gehen oft davon aus, dass alle Aktionen im Testset im Trainingsset enthalten sind. Diese Annahme gilt jedoch nicht für reale Szenarien, in denen unbekannte Aktionen auftreten können. Hier kommt die offene Aktionskennung (OSAR) ins Spiel. OSAR zielt darauf ab, bekannte Aktionen zu identifizieren und unbekannte abzulehnen, die während des Trainings nicht gesehen wurden.

#Die Bedeutung der Merkmalsdarstellung

Die meisten bestehenden Ansätze konzentrieren sich hauptsächlich auf die Berechnung von Unsicherheitswerten, die das Vertrauen des Modells in seine Vorhersagen anzeigen. Während Unsicherheitswerte wichtig sind, übersehen sie einen kritischen Aspekt: die Darstellung von Merkmalen, die aus den Aktionen abgeleitet sind. Merkmale müssen eine reiche semantische Vielfalt aufweisen, um die Leistung bei der Erkennung von Aktionen zu verbessern, insbesondere wenn unbekannte Aktionen vorhanden sind.

#Analyse der Merkmalsdarstellungen

Um OSAR zu verbessern, müssen wir analysieren, wie sich Merkmale während des Prozesses verhalten. Konkret können wir Informationen in Merkmalen in zwei Typen kategorisieren: instanzspezifische (IS) Informationen und klassen spezifische (CS) Informationen. IS Informationen helfen, zwischen Beispielen innerhalb derselben Klasse zu unterscheiden, während CS Informationen entscheidend sind, um Klassen zu identifizieren. Beide Informationsarten sind entscheidend für eine effektive Leistung in offenen Szenarien.

#Prototypische Ähnlichkeits-Lernrahmen

Um den Umgang mit IS- und CS-Informationen zu verbessern, haben wir einen neuen Rahmen namens Prototypische Ähnlichkeits-Lernen (PSL) entwickelt. Die Idee hinter PSL ist es, die Varianz zwischen den Merkmalen von Instanzen innerhalb derselben Klasse aufrechtzuerhalten, um die einzigartigen Eigenschaften jeder Instanz zu bewahren. Dieser Ansatz hilft, IS Informationen effektiv zu behalten.

Ausserdem ähneln unbekannte Aktionen oft in ihrem Erscheinungsbild bekannten Aktionen. Um dies zu bekämpfen, integriert unser PSL-Rahmen eine Technik namens Video-Mischen. Diese Technik hilft dem Modell, die Unterschiede in der temporalen Information zwischen Original- und gemischten Videos zu lernen, wodurch die CS-Information in der Merkmalsdarstellung gestärkt wird.

#Experimente und Ergebnisse

Um den PSL-Rahmen zu validieren, wurden umfangreiche Experimente über verschiedene Datensätze hinweg durchgeführt. Die Ergebnisse zeigten eine deutliche Verbesserung sowohl der offenen als auch der geschlossenen Leistung bei der Verwendung von PSL im Vergleich zu traditionellen Methoden. Das zeigt, dass die Anreicherung von IS- und CS-Informationen die Fähigkeit des Modells, mit offenen Situationen umzugehen, erheblich verbessern kann.

#Übersicht über Aktionskennungsmethoden

Jüngste Fortschritte in den Methoden zur Aktionskennung kombinieren Erscheinungs- und Bewegungsinformationen für bessere Ergebnisse. Häufige Ansätze, wie z. B. Zwei-Strom-Netzwerke, nutzen räumliche Informationen und temporale Dynamik. Andere Techniken verwenden auch 3D-Faltungnetzwerke, um beide Aspekte zu modellieren.

Trotz dieser Fortschritte sind viele bestehende Methoden immer noch hauptsächlich auf geschlossene Bedingungen abgestimmt. Dies stellt eine Herausforderung dar, wenn diese Methoden in realen Situationen angewendet werden, in denen unbekannte Aktionen auftreten können.

#Techniken zur offenen Aktionskennung

Es gibt einen zunehmenden Fokus auf OSAR, mit verschiedenen Methoden, die speziell entwickelt wurden, um unbekannte Aktionen zu identifizieren. Viele dieser Methoden passen Techniken aus der offenen Bildklassifikation auf den Videobereich an. Die Mehrheit dieser Techniken konzentriert sich jedoch hauptsächlich darauf, Unsicherheitswerte zu verfeinern, statt die Merkmalsdarstellungen zu verbessern.

Unser Ansatz über PSL ist anders, da er sich auf die Anreicherung der Merkmalsdarstellung verpflichtet, um eine bessere Differenzierbarkeit zwischen bekannten und unbekannten Aktionen zu erreichen.

#Die Rolle der Information Bottleneck Theorie

Um unseren Ansatz weiter zu rechtfertigen, wenden wir die Information Bottleneck (IB) Theorie an, um das Verhalten von Merkmalen während OSAR-Aufgaben zu verstehen. Laut dieser Theorie tendieren Modelle oft dazu, die minimal notwendigen Informationen für die spezifische Aufgabe zu lernen. Im Fall der Aktionskennung kann dies zu einem Verlust wertvoller IS-Informationen führen, die entscheidend sind, um unbekannte Aktionen zu identifizieren.

Indem wir uns auf IS- und CS-Informationen konzentrieren, beabsichtigt unser PSL-Rahmen, die relevanten Informationen in den Merkmalsdarstellungen zu maximieren, sodass das Modell gut gerüstet ist, um mit der offenen Aktionskennung umzugehen.

#Verbesserung von IS- und CS-Informationen

Der PSL-Rahmen zielt darauf ab, zwei Ziele zu erreichen: IS-Informationen zu bewahren und CS-Informationen zu erweitern. Durch sorgfältiges Entwerfen der Verlustfunktion ermutigen wir das Modell, ein gewisses Mass an Unähnlichkeit zwischen Instanzen derselben Klasse aufrechtzuerhalten, wodurch es weniger wahrscheinlich wird, dass IS-Informationen unterdrückt werden.

Darüber hinaus integrieren wir das Konzept von gemischten Videos, um die CS-Informationen zu verbessern. Diese Technik ermöglicht es dem Modell, sich auf zeitliche Unterschiede zwischen Original- und gemischten Videos zu konzentrieren, was es ihm ermöglicht, Aktionen zu unterscheiden, die auf den ersten Blick ähnlich erscheinen.

#Experimentprotokolle

Um unsere Methoden zu bewerten, verwendeten wir mehrere Datensätze, einschliesslich UCF101 für das Training und HMDB51 sowie MiT-v2 für die offene Bewertung. Der Trainingsprozess umfasste die Messung sowohl der geschlossenen Genauigkeit als auch der offenen Metriken wie Fläche unter der Receiver Operating Characteristic-Kurve (AUROC) und Fläche unter der Precision-Recall-Kurve (AUPR).

#Leistungsvergleich

Die Ergebnisse über verschiedene Methoden hinweg zeigten, dass unser PSL-Ansatz bestehende Spitzenmethoden sowohl in geschlossenen als auch in offenen Szenarien deutlich übertrifft. Besonders bemerkenswert ist, dass die Integration von gemischten Videos zu einer reichhaltigeren Merkmalslernung und verbesserten Leistungsmetriken beitrug.

Wir haben festgestellt, dass Modelle, die während des Trainings reichhaltigere semantische Informationen verwendeten, bei offenen Bewertungen besser abschnitten als solche, die dies nicht taten. Dies verstärkt die Vorstellung, dass eine vielfältige Palette an Merkmalsdarstellungen entscheidend für eine effektive Aktionskennung ist.

#Verständnis der Merkmalsdarstellungen

Um die Leistung unseres PSL-Rahmens besser zu verstehen, verwendeten wir die singuläre Wertzerlegung, um die gelernten Merkmalsdarstellungen zu analysieren. Die Analyse zeigte, dass PSL-Modelle mehr Informationen über verschiedene Dimensionen hinweg behielten als traditionelle Ansätze, was zu einer verbesserten Leistung führte.

#In-D und OoD Unsicherheitsanalyse

Wir untersuchten weiter die Unsicherheitsverteilungen zwischen In-Distribution (InD) und Out-of-Distribution (OoD) Proben. Unsere Ergebnisse deuteten darauf hin, dass andere Methoden oft sowohl InD- als auch OoD-Proben eine niedrige Unsicherheit zuweisen, während unser PSL-Ansatz eine klarere Unterscheidung aufrechterhielt. Dies ermöglicht es dem Modell, unbekannten Proben, die während des Trainings nicht bekannt waren, eine höhere Unsicherheit zuzuweisen.

#Fazit

Zusammenfassend ist die offene Aktionskennung ein wichtiges Studienfeld, insbesondere da reale Szenarien Herausforderungen darstellen, die von traditionellen Ansätzen nicht abgedeckt werden. Unser PSL-Rahmen hebt die Bedeutung reichhaltiger Merkmalsdarstellungen hervor, mit dem Ziel, IS- und CS-Informationen zu verbessern.

Durch umfassende Experimente haben wir gezeigt, dass der Fokus auf der Bewahrung von Informationen innerhalb der Merkmale die Leistung sowohl in offenen als auch in geschlossenen Szenarien erheblich verbessert. Durch die Übernahme dieser Erkenntnisse können zukünftige Forschungsanstrengungen weiterhin Fortschritte im Bereich der Aktionskennung erzielen und auf zuverlässigere und anpassungsfähigere Modelle hinarbeiten, die ein breiteres Spektrum an realen Situationen bewältigen können.