Vision-Transformer und visuelle Beziehungen

In den letzten Jahren haben Vision-Transformatoren (ViTs) in verschiedenen bildbezogenen Aufgaben grosse Erfolge gefeiert. Allerdings haben sie manchmal Schwierigkeiten mit Aufgaben, die das Verständnis von Beziehungen zwischen verschiedenen Objekten in Bildern erfordern. Das wirft eine wichtige Frage auf: Wie funktionieren ViTs, wenn sie herausfinden müssen, ob zwei visuelle Einheiten gleich oder unterschiedlich sind?

Frühere Forschung konzentrierte sich oft auf die grundlegenden visuellen Merkmale, die diese Modelle verarbeiten. Diesmal gehen wir das Problem jedoch anders an, indem wir die höheren Prozesse untersuchen, die ViTs für das Nachdenken über visuelle Beziehungen nutzen. Wir konzentrieren uns auf eine Schlüsselaufgabe: zu bestimmen, ob zwei Objekte in einem Bild gleich sind oder nicht. Unsere Erkenntnisse zeigen, dass, obwohl vortrainierte ViTs nicht mit klaren Regeln zur Unterscheidung dieser Aufgaben entwickelt wurden, sie anscheinend zwei verschiedene Verarbeitungsphasen durchlaufen.

#Die zwei Verarbeitungsphasen

Die Verarbeitungsphasen können wie folgt beschrieben werden:

1. Perzeptuelle Phase: In diesem ersten Schritt schaut das Modell auf die lokalen Eigenschaften von Objekten und erstellt eine klare Darstellung dieser Merkmale. Hier sammelt es Informationen über Form und Farbe.

2. Relationale Phase: Im zweiten Schritt vergleicht das Modell die Darstellungen, die es in der ersten Phase erstellt hat, um die Beziehungen zwischen den Objekten zu verstehen.

Interessanterweise haben wir festgestellt, dass vortrainierte ViTs in der Lage sind, abstrakte visuelle Beziehungen darzustellen, was eine Fähigkeit ist, von der Experten glaubten, dass sie über die Möglichkeiten künstlicher neuronaler Netzwerke hinausgeht. Probleme in einer der Verarbeitungsphasen können jedoch zu Fehlern führen und die Fähigkeit des Modells, einfache Aufgaben zu lösen, beeinträchtigen.

#Verständnis visueller Beziehungen

Visuelle Beziehungen sind entscheidend für verschiedene Aufgaben, wie zum Beispiel das Beantworten von Fragen zu Bildern. Wenn jemand fragt: "Wie viele Teller stehen auf dem Tisch?", muss das Modell jeden Teller als ein Exemplar desselben Objekts identifizieren. Ebenso muss es auch herausfinden, ob zwei Personen dasselbe Buch lesen. Die Fähigkeit, zu identifizieren, ob zwei Objekte gleich oder unterschiedlich sind, ist entscheidend nicht nur für Menschen, sondern wird auch bei verschiedenen Tierarten beobachtet.

#Untersuchte Aufgaben

Unsere Forschung analysierte ViTs durch zwei Hauptaufgaben:

1. Identitätsdiskriminierungsaufgabe: Diese Aufgabe konzentriert sich darauf, zu erkennen, ob zwei Objekte hinsichtlich Form und Farbe identisch sind.

2. Relationale Match-to-Sample-Aufgabe (RMTS): Diese beinhaltet einen komplexeren Prozess, bei dem das Modell Paare von Objekten bewerten und das Konzept von Gleichheit oder Unterschied auf einer tieferen Ebene verstehen muss.

Wir beobachteten, dass die von den Modellen verwendeten Algorithmen einen erheblichen Einfluss darauf hatten, wie gut sie diese Aufgaben erfüllten.

#Techniken und Methoden

Um besser zu verstehen, wie ViTs Beziehungen zwischen Objekten angehen, haben wir neue Methoden aus der mechanistischen Interpretierbarkeit genutzt. Durch die Untersuchung der internen Funktionsweise dieser Modelle konnten wir Einblicke in ihre Implementierung relationaler Operationen gewinnen.

#Analyse des Aufmerksamkeitsmusters

Einer der Hauptaspekte, auf die wir uns konzentriert haben, waren die Aufmerksamkeitsmuster von ViTs. Aufmerksamkeitshäupter sind Komponenten im Modell, die sich auf spezifische Teile der Eingabedaten konzentrieren können. Wir haben diese Köpfe in zwei Typen kategorisiert:

• Lokale Aufmerksamkeitshäupter: Diese konzentrieren sich hauptsächlich auf Merkmale innerhalb eines einzelnen Objekts.
• Globale Aufmerksamkeitshäupter: Diese Kopfarten überprüfen Beziehungen zwischen verschiedenen Objekten.

Indem wir beobachteten, wie sich diese Köpfe durch mehrere Schichten des Modells verhielten, konnten wir den Übergang von lokalen Operationen zu globalen Operationen sehen, was auf die Verarbeitungsphasen hinweist, die wir zuvor diskutiert haben.

#Analyse der perzeptuellen Phase

Während der perzeptuellen Phase bleibt die Aufmerksamkeit zwischen den Token hauptsächlich innerhalb desselben Objekts. Diese Phase ist dafür verantwortlich, klare Darstellungen jedes Objekts zu erzeugen, einschliesslich seiner Form und Farbe. Unser Ziel war es, zu bestimmen, wie gut das Modell diese Eigenschaften unterschied.

#Verteilte Ausrichtungsanalyse (DAS)

Wir verwendeten eine Methode namens Verteilte Ausrichtungsanalyse (DAS), um zu identifizieren, ob die Darstellung von Objekten in Bezug auf ihre Form und Farbe gut getrennt war. Dies beinhaltete den Test, ob wir die Form eines Objekts unabhängig von seiner Farbe und umgekehrt manipulieren konnten.

Die Ergebnisse zeigten, dass die frühen Schichten des Modells getrennte Darstellungen für Form und Farbe erzeugen. Als wir jedoch tiefer in das Modell vorgedrungen sind, wurden diese Darstellungen weniger klar und relevant für Entscheidungen.

#Analyse der relationalen Phase

In der relationalen Phase geht das Modell über das blosse Erkennen von Merkmalen hinaus und beginnt, sie zu vergleichen. Hier geht es bei der Aufmerksamkeit mehr um die Beziehungen zwischen Token von verschiedenen Objekten. Wir wollten untersuchen, ob die Fähigkeit des Modells, relationale Aufgaben auszuführen, von den spezifischen Eigenschaften der verglichenen Objekte abstrahiert werden konnte.

In unserer Analyse fanden wir heraus, dass die während der relationalen Phase durchgeführten Operationen etwas abstrakt waren. Das Modell war in der Lage, Darstellungen zu vergleichen, ohne sich auf frühere Erinnerungen an einzelne Objekte zu stützen. Das bedeutet, es konnte sein Verständnis der Gleichheits-Differenz-Operation in verschiedenen Kontexten generalisieren.

#Erkundung von Zwischenurteilen

Wir führten Tests durch, um zu sehen, ob die Zwischenurteile, die das Modell während der relationalen Phase abgab, unabhängig von den perzeptuellen Qualitäten der Objektpaare konsistent waren. Die Ergebnisse waren ziemlich aufschlussreich. Wir identifizierten klare Verbindungen zwischen den internen Darstellungen, die vom Modell verwendet wurden, und seiner Leistung bei verschiedenen Aufgaben.

#Generalisierung und Leistung

Unsere Forschung zeigte, dass klare, distincte Darstellungen den Modellen helfen könnten, sich besser an neue Situationen anzupassen. Wir testeten die Leistung der Modelle in drei Szenarien:

1. Vergleich bekannter Paare von Formen und Farben.
2. Bewertung neuer Paare, die die Modelle noch nicht gesehen hatten.
3. Tests mit völlig neuen Kombinationen von Formen und Farben.

Die Ergebnisse deuteten darauf hin, dass je klarer Objekte hinsichtlich Form und Farbe dargestellt wurden, desto besser das Modell bei der Ausführung von Aufgaben in verschiedenen Szenarien war.

#Fehlerarten

Es wurde offensichtlich, dass Probleme entweder in der perzeptuellen oder in der relationalen Phase auftreten konnten. Wir fanden heraus, dass Modelle, die von Grund auf trainiert wurden, keinen klaren Übergang von der perzeptuellen zur relationalen Verarbeitung zeigten.

Um dies zu testen, führten wir einen zusätzlichen Verlust ein, der den Modellen helfen sollte, bessere Objektrepräsentationen zu entwickeln. Während dieser Ansatz die Leistung in der Diskriminierungsaufgabe verbesserte, brachte er jedoch nicht die gleichen Vorteile für komplexere Aufgaben wie RMTS.

#Fazit

Wir haben gezeigt, dass vortrainierte Vision-Transformatoren eine zweiphasige Verarbeitungspipeline nutzen, um gleich-ungleich Aufgaben zu bewältigen. Sie beginnen mit der perzeptuellen Verarbeitung, bei der sie distincte Darstellungen von Objekten bilden. Dann gehen sie zur relationalen Verarbeitung über, bei der sie diese Darstellungen vergleichen. Unsere Erkenntnisse deuten darauf hin, dass es eine bemerkenswerte Korrelation zwischen der Fähigkeit des Modells gibt, perzeptuelle Eigenschaften zu trennen, und seiner Leistung bei generalisierten Aufgaben.

Zukünftige Forschungen könnten tiefer untersuchen, warum einige Modelle besser abschneiden als andere und wie wir ihr Verständnis komplexer visueller Beziehungen verbessern können. Durch die Verbesserung dieser Modelle können wir den Weg für anspruchsvollere künstliche visuelle Systeme ebnen, die in der Lage sind, eine breitere Palette von Aufgaben zu bewältigen.

#Letzte Gedanken

Während die Bild­erkennung und -verarbeitung sich weiterentwickeln, können die Einblicke, die wir aus dem Studium von Vision-Transformatoren gewonnen haben, erhebliche Auswirkungen auf verschiedene Bereiche wie künstliche Intelligenz, Computer Vision und sogar kognitive Wissenschaft haben. Indem wir kontinuierlich die Grenzen dessen, was diese Modelle erreichen können, verschieben, können wir darauf hinarbeiten, Systeme zu entwickeln, die ein besseres Verständnis visueller Informationen zeigen, und so ihr Potenzial für Anwendungen in realen Szenarien nutzen.

Die Reise, wie Maschinen visuelle Daten interpretieren, ist alles andere als vorbei. Jede Entdeckung eröffnet neue Fragen und führt die Forscher in unbekanntes Terrain auf der Suche nach verbesserter künstlicher Intelligenz. Die Fähigkeit, abstrakte Urteile über visuelle Beziehungen zu fällen, ist nur ein Schritt auf einem langen Weg, Maschinen zu schaffen, die denken und schlussfolgern können, wie Menschen es tun.