Untersuchung von Erklärungsmethoden in der multivariaten Zeitreihenkategorisierung

Die Klassifikation multivariater Zeitreihen beschäftigt sich mit Daten, die über die Zeit von mehreren Quellen gesammelt werden. Ein alltägliches Beispiel ist eine Smartwatch, die die Bewegungen einer Person durch verschiedene Sensoren verfolgt. Durch die Analyse dieser Daten können wir etwas über menschliche Aktivität und Fitnesslevel lernen. Aber nur die Daten zu klassifizieren reicht nicht; wir wollen auch verstehen, warum das Modell bestimmte Vorhersagen trifft. In diesem Papier wird untersucht, wie man Ergebnisse der Klassifikation multivariater Zeitreihen (MTSC) erklärt, wobei der Schwerpunkt auf salienz-basierten Methoden liegt, die wichtige Datenpunkte hervorheben.

#Verständnis multivariater Zeitreihendaten

Echte Datensätze sind oft multivariant, das heisst, sie enthalten Daten, die von verschiedenen Quellen über die Zeit erfasst wurden. Zum Beispiel können Daten von einem tragbaren Gerät, das Bewegungen aufzeichnet, helfen, Aktivitäten wie Gehen oder Laufen zu identifizieren. Ein weiteres Beispiel sind Verkehrssensordaten, die an verschiedenen Stadtpunkten gesammelt werden, um die Strassenutzung zu überwachen.

Während viel Forschung zu univariaten Zeitreihendaten (Daten, die von einer einzigen Quelle gesammelt werden) gemacht wurde, wächst das Interesse an multivariaten Zeitreihen, insbesondere für Klassifikationsaufgaben. Forscher haben Benchmarks erstellt, um die Entwicklung von MTSC-Methoden zu beschleunigen.

Mit der zunehmenden Komplexität von maschinellem Lernen und Deep Learning wird es immer wichtiger, diese Modelle zu verstehen. Frühere Arbeiten konzentrierten sich hauptsächlich darauf, Modelle zu erklären, die mit Text und Bildern arbeiten, aber einige Methoden können für die Analyse von Zeitreihen angepasst werden.

#Ähnlichkeiten und Unterschiede zwischen Zeitreihen und Bildern

Bilder werden typischerweise durch drei Farbkanäle (RGB) dargestellt, die alle wichtig sind, um den Inhalt zu verstehen. Im Gegensatz dazu tragen nicht alle Kanäle in Zeitreihendaten gleichmässig bei; einige können sogar die Klassifikation verwirren. Ausserdem ändern sich die Pixelwerte in Bildern tendenziell gleichmässig, während Zeitreihendaten wild und chaotisch über die Kanäle hinweg variieren können. Elemente wie Normalisierung spielen auch eine grössere Rolle in Zeitreihendaten.

Dieses Papier konzentriert sich darauf, MTSC-Methoden zu erklären, was entscheidend ist, um zu verstehen, wie die Systeme funktionieren. Wenn jemand zum Beispiel einen Beschleunigungssensor beim Training verwendet, ist es nicht nur wichtig festzustellen, ob alles korrekt gemacht wird, sondern auch, um Feedback zu geben, das erklärt, welche Fehler basierend auf den gesammelten Daten gemacht wurden.

#Erklärungsmethoden in multivariaten Zeitreihen

In diesem Papier wird eine Erklärung für multivariate Zeitreihen als 2D-Salienzkarte dargestellt. Diese Karte zeigt die Wichtigkeit jedes Datenpunkts über Kanäle und Zeitrahmen für die Klassifikationsentscheidung an. Eine gute Erklärungsmethode sollte in der Lage sein, relevante Zeitpunkte in einem Kanal zu identifizieren, unabhängig von ihrer Position in der Zeitreihe. Einige Methoden wie CAM wurden für einkanalige Daten entwickelt und können nicht bestimmen, welche Zeitpunkte über verschiedene Kanäle hinweg von Bedeutung sind.

Die Analyse der Erklärungsmethoden für MTSC zeigt eine bedeutende Lücke in der aktuellen Forschung. Viele bestehende Methoden sind auf Deep Learning ausgelegt und bieten Raum für Wachstum bei der Entwicklung massgeschneiderter Methoden, die speziell auf multivariate Daten zugeschnitten sind.

#Forschungsziele und Beiträge

Diese Studie zielt darauf ab, bestehende Erklärungsmethoden für MTSC zu analysieren, um die Lücke in der aktuellen Literatur zu schliessen.

1. Die Literaturübersicht zeigt einen Mangel an massgeschneiderten Methoden für MTSC, die hauptsächlich auf Deep-Learning-Modelle fokussiert sind.
2. Wir wählen dCAM aus, eine Erweiterung einer populären Erklärungsmethode, CAM.
3. Wir führen Experimente mit bemerkenswerten Klassifikatoren und Erklärungsmethoden durch und untersuchen, wie Anpassungen von SHAP mit multivariaten Daten funktionieren können.
4. Mit synthetischen und realen Datensätzen vergleichen wir Klassifikatoren und Erklärungsansätze, um deren Effektivität zu bewerten.

#Klassifikationsmethoden

Die in dieser Studie verwendeten Klassifikatoren umfassen:

• ROCKET: Entworfen für univariate Zeitreihen, aber für multivariate Daten angepasst. Es wendet mehrere zufällige Faltungskerne an, um die Zeitreihe in ein für die Klassifikation geeignetes Format zu transformieren.
• dResNet: Eine Version von ResNet, die für die Klassifikation von Zeitreihen massgeschneidert ist. Sie verwendet Abkürzungsverbindungen zur Verbesserung des Trainings und besteht aus mehreren Faltungsebenen.
• Ridge-Klassifikator: Ein klassisches Modell, das als Basislinie für den Vergleich dient.

#Erklärungsmethoden

Wir betrachten in diesem Papier mehrere Erklärungsmethoden:

• SHAP: Diese Methode misst die Wichtigkeit von Merkmalen basierend darauf, wie viel die einzelnen Merkmale zu den Vorhersagen des Modells beitragen. Sie analysiert verschiedene Konfigurationen, um die Wichtigkeit jedes Merkmals zu quantifizieren.
• dCAM: Diese Methode berechnet eine Salienzkarte für jeden Kanal und aggregiert die Ergebnisse, um den Gesamtbeitrag der verschiedenen Kanäle zur Klassifikation darzustellen.
• Ridge: Als intelligibles Modell bietet es direkt Erklärungen basierend auf den während des Trainings gelernten Koeffizienten.

#Verwendung der Datensätze in der Studie

Wir untersuchen drei synthetische Datensätze, die erstellt wurden, um Klassifikationsmethoden zu testen, sowie zwei reale Datensätze, die menschliche Bewegungen während Übungen widerspiegeln.

#Synthetische Datensätze

Diese Datensätze sind so gestaltet, dass sie eine kontrollierte Umgebung zum Testen von Klassifikationsmethoden bieten.

#Reale Datensätze

1. Counter Movement Jump (CMJ): Dieser Datensatz besteht aus Beschleunigungsmessungen, die von Teilnehmern während einer Sprungübung gemacht wurden. Die Daten gehören zu drei Klassen, die auf der Sprungform basieren.
2. Military Press (MP): Hierbei handelt es sich um Daten von Teilnehmern, die eine Gewichtheberübung ausführen. Wir konzentrieren uns auf ausgewählte Körperpunkte, die als entscheidend für das Verständnis der Leistung gelten.

#Genauigkeitsanalyse

Bevor wir die Erklärungen bewerten, müssen wir zuerst die Genauigkeit der Klassifikatoren einschätzen. Jeder Klassifikator wurde mehrfach ausgeführt, um die effektivsten Modelle zu bestimmen.

• In den synthetischen Datensätzen hat Ridge sehr gut abgeschnitten, sogar besser als andere Klassifikatoren.
• Bei CMJ zeigten die Modelle unterschiedliche Genauigkeitsniveaus, wenn es darum ging, Daten zu verketten im Vergleich zur Verwendung multivariater Klassifikatoren.

Insgesamt fanden wir heraus, dass multivariate Modelle tendenziell besser abschneiden, wenn die Daten wirklich mehrere Kanäle für eine genaue Klassifikation benötigen.

#Bewertung der Erklärungsmethoden

Die Bewertung der Erklärungsmethoden beinhaltet die Überprüfung, wie effektiv sie kritische Bereiche in den Daten hervorheben können. Wir wenden bestehende Bewertungsrahmen an, die für univariate Datensätze entwickelt wurden, und passen sie für multivariate Szenarien an.

#Methodologie

1. AMET: Dieses Bewertungsframework bewertet, wie gut eine Erklärungsmethode wichtige Segmente einer univariaten Zeitreihe anzeigen kann. Es funktioniert, indem es Erklärungen mit dem Leistungsabfall vergleicht, der auftritt, wenn wichtige Bereiche maskiert werden.
2. Bewertung der Ausgaben: Bei der Analyse der Ergebnisse wird deutlich, dass einige Methoden Ergebnisse liefern, die nahezu dem Zufall entsprechen, was einen erheblichen Verbesserungsbedarf zeigt.

#Fazit

In dieser Studie haben wir die Stärken und Schwächen verschiedener Methoden zur Erklärung von MTSC untersucht. Unsere Ergebnisse zeigen, dass Anpassungen von SHAP gut für MTSC funktionieren und sogar massgeschneiderte Methoden wie dCAM übertreffen können. Ausserdem haben wir auch wichtige Herausforderungen in Bezug auf die Rechenzeit und die Notwendigkeit besserer synthetischer Datensätze hervorgehoben. Zukünftige Arbeiten werden darauf abzielen, die Effizienz der Erklärungsmethoden zu verbessern und Rahmenbedingungen für die Evaluierung massgeschneiderter Lösungen zu entwickeln, die auf multivariate Zeitreihen zugeschnitten sind.