Optimierung von Ensemble-Methoden in AutoML: Eine Studie

Automatisiertes Machine Learning (AutoML) ist für viele Anwendungen wichtig geworden, weil es Nutzern hilft, Modelle zu bauen, ohne dass sie tiefgehende technische Kenntnisse benötigen. Ein wichtiger Schritt in AutoML ist das Kombinieren von Modellen, um die Genauigkeit zu verbessern. Dieser Prozess wird oft als Ensembling bezeichnet. In diesem Zusammenhang bezieht sich post hoc Ensembling auf das Auswählen und Kombinieren von Modellen, nachdem sie erstellt wurden.

Eine beliebte Methode, um diese Ensembles zu erstellen, ist die sogenannte greedy ensemble selection (GES). Dieser Ansatz wählt Modelle so aus, dass die Fehler basierend auf ihrer Leistung auf Validierungsdaten reduziert werden. Allerdings kann die Verwendung von nur minderwertigen Validierungsdaten zu Problemen wie Overfitting führen, wo ein Modell auf dem Validierungsdatensatz gut abschneidet, aber schlecht auf unbekannten Daten.

In dieser Studie untersuchen wir, wie eine bestimmte Optimierungstechnik, die Covariance Matrix Adaptation Evolution Strategy (CMA-ES), im Vergleich zu GES beim Erstellen von Ensembles abschneidet. Wir wollen herausfinden, ob CMA-ES GES übertreffen kann und unter welchen Bedingungen das der Fall ist. Ausserdem schauen wir uns Techniken an, um CMA-ES zu verbessern und Overfitting zu reduzieren.

#Hintergrund

Ensembling ist eine Methode, bei der mehrere Modelle zu einer finalen Vorhersage beitragen. Die gängige Idee ist, dass verschiedene Modelle die Schwächen des jeweils anderen abdecken können. GES wurde in AutoML-Systemen weit akzeptiert, da es effizient besser funktionierende Ensembles erstellen kann. Allerdings wurde festgestellt, dass diese Methode nicht immer die beste ist, insbesondere wenn es um Overfitting geht.

CMA-ES ist ein Optimierungsalgorithmus, der für verschiedene Probleme im Machine Learning an Popularität gewonnen hat. Er zielt darauf ab, die Auswahl der Gewichte für Modelle in einem Ensemble zu verbessern. Durch den Vergleich von CMA-ES mit GES unter Verwendung hochwertiger Validierungsdaten hoffen wir, die jeweiligen Stärken und Schwächen besser zu verstehen.

#Vergleich der Methoden

Um unsere Forschungsfrage zu bewerten, haben wir Experimente mit 71 Klassifikationsdatensätzen durchgeführt. In diesen Experimenten verglichen wir die Leistung von CMA-ES und GES und massen, wie gut sie Ensembles erstellt haben. Unser Ziel war es, zu verstehen, wie jede Methode basierend auf verschiedenen Metriken, insbesondere ROC AUC und balancierte Genauigkeit, abschnitt.

#Überblick über die Ergebnisse

Unsere Ergebnisse zeigten, dass die Effektivität von CMA-ES und GES stark von der verwendeten Metrik abhängt. Bei der Verwendung von ROC AUC als Leistungsmass stellte sich heraus, dass CMA-ES dazu neigte, zu overfitten und schlecht abzuschneiden, wenn es auf Testdaten bewertet wurde. Im Gegensatz dazu hielt GES seine Leistung sowohl auf dem Validierungs- als auch auf dem Testdatensatz stabil.

Andersherum schnitt CMA-ES bei der Bewertung der Modelle mit balancierter Genauigkeit deutlich besser ab als GES. Das legt nahe, dass die Wahl der Metrik beeinflussen kann, welche Ensemble-Methode am besten für die jeweilige Aufgabe geeignet ist.

#Umgang mit Overfitting

Overfitting ist ein Problem, das auftritt, wenn ein Modell Rauschen oder zufällige Schwankungen in den Trainingsdaten lernt, anstatt das zugrunde liegende Muster. Das kann zu einer schlechten Leistung auf neuen, nicht gesehenen Daten führen. Um dieses Problem anzugehen, wollten wir CMA-ES so modifizieren, dass es nicht overfitten kann, wenn ROC AUC verwendet wird.

Unser Ansatz bestand darin, die Vorhersagen von CMA-ES zu normalisieren. Dadurch wollten wir sicherstellen, dass die Ausgaben konsistent blieben und die Chancen auf Overfitting reduziert werden, ähnlich den Prinzipien von GES. Wir haben mehrere Normalisierungstechniken implementiert und verglichen, um ihre Effektivität bei der Reduzierung von Overfitting zu bewerten.

#Normalisierungstechniken

Wir haben drei Normalisierungsverfahren für CMA-ES vorgeschlagen:

1. Softmax-Normalisierung: Diese Methode beinhaltet die Anwendung einer Softmax-Funktion auf die von CMA-ES erzeugten Gewichte, bevor die Vorhersagen aggregiert werden. Das hilft, eine Wahrscheinlichkeitsverteilung der Modellgewichte aufrechtzuerhalten.

2. Implizite GES-Normalisierung: Diese Methode simuliert einen Gewichtungsvektor, der dem von GES erzeugten ähnelt, indem die Gewichte auf die nächste Bruchzahl gerundet werden. So schaffen wir eine Darstellung, die die Eigenschaften von Sparsamkeit und Diskretheit beibehält.

3. Explizite GES-Normalisierung: Diese Technik schneidet explizit Basis-Modelle, indem bestimmte Gewichte basierend auf einem definierten Schwellenwert auf null gesetzt werden. Dadurch stellen wir sicher, dass der Gewichtungsvektor eng mit den Eigenschaften von GES übereinstimmt.

#Bewertung der Leistung

Nachdem wir die Normalisierungsmethoden implementiert hatten, haben wir unsere Experimente erneut durchgeführt, um zu sehen, wie gut CMA-ES mit jedem Ansatz abschnitt. Wir verglichen die Ergebnisse mit denen von GES und dem einzelnen besten Modell, das als Basis diente.

Insgesamt zeigten die Ergebnisse, dass alle Normalisierungsmethoden die Leistung von CMA-ES bei der Betrachtung von ROC AUC verbesserten. Unter den drei Methoden lieferte die explizite GES-Normalisierung die besten Ergebnisse, reduzierte Overfitting erheblich und ermöglichte es CMA-ES, Ergebnisse zu produzieren, die mit denen von GES vergleichbar waren.

#Fazit

Unser Vergleich von GES und CMA-ES legt nahe, dass beide Methoden ihre Stärken im Automatisierungsprozess der Modellauswahl haben. Während GES oft bei minderwertigen Validierungsdaten überlegene Ergebnisse liefert, kann CMA-ES bei hochwertigeren Daten und geeigneten Normalisierungstechniken besser abschneiden.

Die Erkenntnisse aus dieser Forschung tragen zum Verständnis bei, wie man Ensembling-Strategien in AutoML-Systemen effektiv nutzen kann. Zukünftige Arbeiten könnten sich darauf konzentrieren, diese Methoden weiter zu verfeinern und zusätzliche Techniken zur Optimierung der Modellauswahl und -leistung zu erkunden.

Da sich AutoML weiterhin entwickelt, sind diese Erkenntnisse entscheidend für Praktiker und Forscher, die das volle Potenzial des automatisierten Machine Learning in realen Anwendungen nutzen möchten.