Verbesserung der Interpretierbarkeit in Deep Learning-Modellen mit DCLS

Deep-Learning-Modelle werden oft für Aufgaben wie Bildklassifizierung genutzt. Sie können ziemlich genau sein, verhalten sich aber häufig wie Black Boxes. Das heisst, es ist schwer nachzuvollziehen, wie sie Entscheidungen treffen. Erklärbarkeit-Methoden zielen darauf ab, Licht ins Dunkel zu bringen, wie diese Modelle zu ihren Ergebnissen kommen. Ein Bereich, in dem diese Methoden gut funktionieren, ist die Bildklassifizierung, wo gängige Modelle Schichten verwenden, die Convolutions und Attention-Mechanismen genannt werden.

Wenn ein Modell nur aus Convolution-Schichten besteht, ist es ein vollständig konvolutionales neuronales Netzwerk oder CNN. Hat es nur Attention-Schichten, nennt man es Transformer, und im Bereich der Computer Vision einen Vision Transformer. Hybride Modelle beinhalten beide Schichtentypen. Trotz ihrer hohen Genauigkeit mangelt es vielen dieser Modelle an Transparenz. Das wirft Bedenken hinsichtlich Vertrauen, Fairness und Zuverlässigkeit auf, besonders in sensiblen Anwendungen wie medizinischer Diagnose oder autonomem Fahren.

Ein neuer Fortschritt in diesem Bereich ist eine Methode namens Dilated Convolution with Learnable Spacings (DCLS). Diese Methode zeigt vielversprechende Ansätze zur Verbesserung der Leistung bei Bildklassifizierung, Segmentierung und Objekterkennung. Obwohl die Genauigkeit von DCLS ermutigend ist, muss seine Black-Box-Natur noch angegangen werden. Daher gibt es einen Anreiz, Erklärbarkeitsmassnahmen zu untersuchen, die speziell auf DCLS abzielen und den Entscheidungsprozess zu klären.

#Erklärbarkeit in KI

In der KI-Forschung ist Erklärbarkeit ein wichtiges Thema. Es gibt viele Ansätze dafür. Generell teilen Forscher die Erklärbarkeitsmethoden in zwei Hauptkategorien ein: globale und lokale Methoden. Globale Methoden betrachten das Gesamtverhalten eines Modells und heben allgemeine Muster sowie die Wichtigkeit von Merkmalen hervor. Zu diesen Methoden gehören Partial Dependence Plots und SHapley Additive Erklärungen. Lokale Methoden konzentrieren sich darauf, einzelne Vorhersagen zu verstehen und erklären, warum das Modell eine Entscheidung für einen bestimmten Input getroffen hat. Beispiele sind Local Interpretable Model-Agnostic Explanations und Gradient-weighted Class Activation Mapping (Grad-CAM).

Grad-CAM ist eine beliebte Technik, die zeigt, welche Teile eines Bildes für die Entscheidung des Modells am wichtigsten sind. In unserer Studie haben wir eine aktualisierte Version von Grad-CAM namens Threshold-Grad-CAM gemacht. Dieses neue Verfahren zielt darauf ab, einige Probleme zu beheben, die bei traditionellem Grad-CAM aufgetreten sind, insbesondere bei den Modellen ConvFormer und CAFormer.

#Forschungsziele

Dieses Paper hat zwei Hauptziele. Erstens wollen wir die Erklärbarkeitswerte verschiedener hochmoderner Modelle in der Computer Vision vergleichen, wie ConvNeXt, ConvFormer, CAFormer und FastViT. Zweitens wollen wir denselben Vergleich zwischen diesen Modellen und ihren DCLS-verbesserten Versionen durchführen.

Wir haben eine visuelle Ähnlichkeit zwischen Human Attention Heatmaps, die aus einem Datensatz namens ClickMe stammen, und denen, die von Modellen mit DCLS erzeugt werden, festgestellt. Um diesen Punkt zu demonstrieren, haben wir Bilder aus dem ClickMe-Datensatz ausgewählt, die visuell signifikant waren. Anschliessend bestätigten wir die Übereinstimmung von DCLS-Modellen mit Human Attention Heatmaps durch eine gründliche Analyse.

#Überblick über den Datensatz

Der ClickMe-Datensatz fängt menschliche Aufmerksamkeitsstrategien für Bildklassifizierungsaufgaben ein. Er wurde über ein Einzelspieler-Online-Spiel gesammelt, in dem die Spieler die informativsten Teile eines Bildes markieren, um Objekte zu erkennen. Indem wir die vom Modell erzeugten Heatmaps mit denen aus dem ClickMe-Datensatz vergleichen, messen wir, wie nah die Aufmerksamkeitsstrategie eines Modells an menschlichen Strategien dran ist.

#DCLS-Methode erklärt

Während grössere Convolution-Kerne die Leistung steigern können, erhöhen sie auch die Anzahl der Parameter und die Rechenlast. Um dem entgegenzuwirken, wurde eine Methode namens dilated convolution eingeführt, die Kerne vergrössert, ohne zusätzliche Parameter hinzuzufügen. Allerdings verwendet traditionelle dilated convolution ein festes Gitter, was die Leistung einschränken kann.

Die DCLS-Methode baut auf diesem Konzept auf. Statt feste Abstände zwischen den Nicht-Null-Elementen im Kern zu haben, erlaubt DCLS, dass diese Abstände während des Trainings gelernt werden. Eine Interpolationsmethode wird verwendet, um die notwendigen Eigenschaften für das Lernen zu erhalten und gleichzeitig die diskrete Natur der Abstände zu handhaben.

#Grad-CAM und Threshold-Grad-CAM-Techniken

Grad-CAM bietet visuelle Erklärungen für die Entscheidungen, die von Deep-Learning-Modellen getroffen werden. Es nutzt die Gradienten eines Zielkonzepts, um eine Lokalisierungskarte zu erstellen, die Teile des Eingabebildes hervorhebt, die entscheidend für die Vorhersage sind. In unserer Studie haben wir festgestellt, dass die Anwendung der ReLU-Aktivierungsfunktion manchmal nützliche Informationen unterdrücken konnte. Dieses Problem war hauptsächlich bei den Modellen ConvFormer und CAFormer zu sehen, wo die Ausgabewärmebilder nicht informativ waren.

Um dieses Problem anzugehen, schlagen wir vor, ReLU vor der Summierung der Aktivierungskarten anzuwenden. Die Heatmaps werden dann normalisiert, und wir behalten nur die Werte über einem bestimmten Schwellenwert, der durch Experimente als optimal bestimmt wurde. Dieser aktualisierte Grad-CAM-Prozess hat signifikante Verbesserungen in der Interpretierbarkeit für die Modelle ConvFormer und CAFormer gezeigt.

#Verwandte Arbeiten zur Interpretierbarkeit

Das Feld der interpretierbaren KI hat in letzter Zeit viel Interesse geweckt. Forscher haben daran gearbeitet, Schlüsselkonzepte wie Interpretierbarkeit und Erklärbarkeit zu definieren. Sie haben auch Methoden entwickelt, um zu bewerten, wie gut Modelle erklärt werden können. Einige Studien haben auf die Kompromisse hingewiesen, die mit höherer Genauigkeit einhergehen, und darauf hingewiesen, dass Modelle möglicherweise weniger mit menschlichen Strategien übereinstimmen. Im Gegensatz dazu hat unsere Analyse mit Grad-CAM keinen solchen Kompromiss gezeigt, was an den unterschiedlichen Methoden zur Erklärung liegen könnte.

#Experimentelle Einrichtung

Um die Modellleistung und die Interpretierbarkeit zu vergleichen, haben wir den ImageNet1k-Validierungsdatensatz verwendet. Zur Bewertung der Interpretierbarkeit haben wir den Spearman-Korrelationskoeffizienten verwendet, um den Vergleich zwischen den von Menschen erzeugten Heatmaps aus dem ClickMe-Datensatz und den vom Modell erzeugten Heatmaps zu bewerten. Unsere Experimente umfassten fünf Modelle: ResNet, ConvNeXt, CAFormer, ConvFormer und FastViT. Wir haben jedes Modell trainiert und die tiefen-separablen Convolutions durch DCLS ersetzt, um zu sehen, wie sich das auf die Interpretierbarkeit auswirkte.

#Ergebnisse

Die Ergebnisse zeigten eine Verbesserung der Interpretierbarkeit bei allen Modellen, mit Ausnahme von FastViT sa24. ConvNeXt, ausgestattet mit DCLS, zeigte eine bessere Übereinstimmung mit den von Grad-CAM und Threshold-Grad-CAM erzeugten Heatmaps. Wir fanden auch heraus, dass DCLS die Genauigkeit in den meisten Modellen erhöhte, mit Ausnahme von CAFormer s18 und FastViT sa36.

Für FastViT könnte die verwendete Testmethode die DCLS-Leistung beeinträchtigt haben. Das könnte erklären, warum seine Interpretierbarkeit und Genauigkeit nicht so stark korrelierten wie bei anderen Modellen. Unsere Ergebnisse sind bemerkenswert, da wir mehrere Trainingssamen für das ConvNeXt-T-dcls-Modell getestet haben, was seine verbesserte Genauigkeits- und Interpretierbarkeitswerte bestätigte.

#Diskussion

Letztendlich haben wir festgestellt, dass die Verwendung von DCLS die Interpretierbarkeit des Netzwerks verbessert hat. DCLS-ausgestattete Modelle stimmten besser mit der menschlichen visuellen Wahrnehmung überein, was darauf hinweist, dass diese Modelle relevante Merkmale ähnlich wie menschliches Verständnis erfassen. Zukünftige Arbeiten könnten sich weiter mit der Erklärbarkeit von DCLS durch verschiedene Black-Box-Methoden beschäftigen.

#Fazit

In dieser Studie haben wir die Interpretierbarkeit beliebter Deep-Learning-Modelle mit aktualisierten Grad-CAM-Techniken untersucht. Wir haben festgestellt, dass die Integration von DCLS die Interpretierbarkeit des Modells im Allgemeinen verbessert und die von den Modellen erzeugten Heatmaps mit menschlichen Aufmerksamkeitsstrategien in Einklang bringt. Das deutet darauf hin, dass Modelle, die DCLS verwenden, effektiver darin sind, kritische Merkmale in Bezug auf ihre Vorhersagen zu identifizieren. Unsere Forschung trägt zur Verbesserung der Transparenz von Deep-Learning-Modellen bei, was sie für Anwendungen, bei denen das Verständnis der Entscheidungen des Modells wichtig ist, besser geeignet macht.