Bewertung der Rolle von AutoML in Empfehlungssystemen

Automatisiertes Maschinelles Lernen (AutoML) verändert, wie wir Maschinelles Lernen (ML) nutzen. Es hilft Leuten, ML-Techniken in verschiedenen Bereichen anzuwenden, wie zum Beispiel bei Modellkompression und beim Übersetzen von Sprachen. Ein Bereich, der von AutoML profitieren kann, sind Empfehlungs- systeme (RecSys). RecSys hat das Ziel, vorherzusagen, was ein Nutzer mögen könnte, wie Filme oder Produkte.

Allerdings gab es bisher nicht viel Interesse daran, AutoML in der RecSys-Community zu nutzen. Bekommen RecSys und die AutoML-Community genug Aufmerksamkeit voneinander? Momentan gibt es nur ein paar einfache Bibliotheken für automatisierte Empfehlungs- systeme (AutoRecSys), die hauptsächlich aus Studentenprojekten stammen und nicht die Tiefe der etablierten AutoML-Bibliotheken haben.

In dieser Arbeit wollen wir herausfinden, wie gut AutoML abschneidet, wenn es von jemandem genutzt wird, der keine Erfahrung im Aufbau von Empfehlungs- systemen hat. Wir werden die Leistung von AutoML, AutoRecSys, standard ML und RecSys-Algorithmen anhand verschiedener Datensätze vergleichen. Der Fokus liegt darauf, wie diese Algorithmen mit den Standardeinstellungen abschneiden, was oft das ist, was ein unerfahrener Nutzer tun würde.

#Die Herausforderung

Ein Empfehlungs- system aufzubauen kann ganz schön knifflig sein. Nutzer müssen die richtigen Algorithmen auswählen, Features picken und viele Einstellungen optimieren, die als Hyperparameter bekannt sind. Wenn jemand unerfahren ist und nicht alles richtig einstellt, können die Empfehlungen möglicherweise nicht den Bedürfnissen der Nutzer entsprechen, was sich negativ auf ein Geschäft auswirken kann.

AutoML hilft, ML-Anwendungen zugänglicher zu machen, sodass selbst die, die keinen Hintergrund in ML haben, Algorithmen effektiv umsetzen können. In einigen Fällen kann AutoML sogar besser abschneiden als Experten, die traditionelle ML-Methoden nutzen.

RecSys verwendet oft ML-Ansätze, um Nutzern Items vorzuschlagen oder Bewertungen vorherzusagen. Allerdings kann das Einrichten eines RecSys so kompliziert sein wie jedes andere ML-Projekt. Es gibt viele Algorithmen, und jeder hat unterschiedliche Hyperparameter, die feinjustiert werden müssen. Ein unerfahrener Nutzer könnte es schwierig finden, diesen Prozess zu navigieren, was zu unzufriedenstellenden Ergebnissen führen kann.

Zusätzlich gibt es einen Mangel an ausgereiften automatisierten Bibliotheken speziell für RecSys. Die aktuellen Auto-Bibliotheken bieten oft nicht die Funktionen und Robustheit, die etablierte Bibliotheken haben. Nutzer können auch RecSys-Aufgaben als Klassifikations- oder Regressionsprobleme formulieren, aber die Herausforderungen bleiben die gleichen.

#Forschungsfokus

Das führt uns zu unserer Forschungsfrage: Wie ist die Leistung von AutoML-Algorithmen bei RecSys-Aufgaben im Vergleich zu AutoRecSys, ML und RecSys-Algorithmen unter Verwendung von Standard-Hyperparametern?

Unser Ziel ist es, den Stand der Technik für Anfänger in diesem Bereich zu bewerten. Wir schauen nicht darauf, warum bestimmte Algorithmen besser abschneiden als andere; wir wollen einfach nur evaluieren, wie sie in der Praxis abschneiden.

Dazu vergleichen wir mehrere Algorithmen aus verschiedenen Bibliotheken auf RecSys-Datensätzen mit explizitem Feedback, was entscheidend für die Vorhersage von Nutzerbewertungen ist.

#Verwandte Arbeiten

Soweit wir wissen, gab es keine umfassende Untersuchung von AutoML-Bibliotheken über mehrere RecSys-Datensätze hinweg. Einige bestehende Arbeiten haben sich mit der Verwendung von AutoML zum Erstellen von Ensembles in RecSys beschäftigt, aber der Fokus lag nicht auf dem Leistungvergleich.

AutoML hat auch Anwendungen in anderen Bereichen wie Computer Vision und maschineller Übersetzung gesehen. Es gibt mehrere Benchmarks zum Vergleich verschiedener AutoML-Frameworks, aber eine standardisierte Methode zur Bewertung von RecSys-Algorithmen fehlt. Das bedeutet, dass es keine umfassende Datensammlung für die RecSys-Forschung gibt.

#Methodik

Um die Leistung verschiedener Algorithmen zu bewerten, verwenden wir Datensätze, die speziell explizites Feedback enthalten. Diese Datensätze umfassen Kunden-IDs, Artikel-IDs und Zeitstempel, die entscheidende Merkmale beim Bewerten von Produkten sind.

In unserer Bewertung wird der Root Mean Squared Error (RMSE) berechnet, um die prädiktive Leistung jedes Algorithmus zu bestimmen. Alle Algorithmen werden mit den Standardeinstellungen ausgeführt, um die Perspektive eines unerfahrenen Nutzers zu simulieren.

Wir haben ein Docker-basiertes Evaluierungstool und Preprocessing-Skripte für alle RecSys-Datensätze verwendet. Die Berechnungen fanden auf einer leistungsstarken Workstation über einen Zeitraum von 25 Tagen statt.

Unsere Bewertung konzentriert sich ausschliesslich auf explizites Feedback innerhalb der RecSys-Aufgabe, ohne in implizites Feedback oder Online-Evaluationen einzutauchen.

#Ausgewählte Datensätze

Wir haben mehrere bekannte Datensätze für unsere Studie ausgewählt, die Folgendes beinhalten:

• MovieLens: Dieser Datensatz enthält Nutzerbewertungen für Filme und wird in der RecSys-Community häufig verwendet. Wir haben drei Versionen genutzt: 100k, 1M und die neuesten 100k.

• Amazon Bewertungen: Wir haben verschiedene Produktkategorien betrachtet, einschliesslich Elektronik und Mode. Wir verwendeten die 5-Core-Versionen und konzentrierten uns auf Nutzerbewertungen zusammen mit Artikel-Metadaten.

• Sonstige Quellen: Wir haben auch das Yelp Open Dataset und das Netflix Prize Dataset einbezogen, letzteres wurde aufgrund von Ressourcen-Engpässen auf zehn Millionen Instanzen skaliert.

Alle ausgewählten Bibliotheken für unseren Vergleich sind Open Source und können explizites Feedback vorhersagen.

#Verglichene Algorithmen

Die in unserem Vergleich enthaltenen Algorithmen stammen aus mehreren Bibliotheken, wie:

• Auto-Surprise: Diese Bibliothek ist eine Erweiterung der Surprise-Bibliothek und behandelt sowohl die Auswahl von Algorithmen als auch von Hyperparametern.

• AutoRec: Auch wenn sie die Nutzung von AutoKeras erlaubt, bietet sie nicht genug Automatisierung, um als AutoRecSys-Bibliothek zu qualifizieren.

• Auch mehrere andere Bibliotheken wie LensKit und XGBoost wurden in unserer Studie verwendet.

Wir haben eine Basislinie erstellt, die immer die durchschnittliche Bewertung basierend auf den Trainingsdaten vorhersagt.

#Experimentaufbau

Wir haben die Datensätze vorverarbeitet, um die Kompatibilität mit RecSys- und ML-Algorithmen sicherzustellen. Die Verarbeitungsschritte wurden so gestaltet, dass die Daten so nah wie möglich an ihrer ursprünglichen Form bleiben.

Für jeden ausgewählten Datensatz haben wir die Anzahl der Kunden, Artikel, Instanzen und zusätzliche Merkmale dokumentiert.

Die Standardeinstellungen für jeden Algorithmus wurden angewendet, und wir haben ein zeitliches Limit festgelegt. Wenn ein Algorithmus länger als die angegebene Dauer benötigte, wurde er beendet, um effiziente Vergleiche sicherzustellen.

Algorithmen, die nicht innerhalb der Zeit- oder Ressourcenlimits abgeschlossen wurden, wurden ebenfalls zuletzt in unseren Analysen eingestuft.

#Ergebnisse

Durch unsere Bewertungen fanden wir unterschiedliche Erfolgsraten bei verschiedenen Algorithmen. Während einige gut abschnitten, erreichten viele entweder die Speichergrenzen oder blieben zeitlich hängen.

Die Auto-Surprise-Bibliothek zeigte die beste Leistung insgesamt und erreichte hohe Ränge bei vielen Datensätzen. AutoML-Tools wie FLAML und H2O schnitten ebenfalls bemerkenswert gut ab, während standard ML-Algorithmen oft niedriger eingestuft wurden.

Unsere Ergebnisse heben hervor, dass AutoML- und AutoRecSys-Bibliotheken für unerfahrene Nutzer empfohlen werden. Diese Bibliotheken schnitten oft besser ab als traditionelle RecSys-Bibliotheken und bieten zugänglichere und benutzerfreundlichere Lösungen.

#Diskussion

Die Ergebnisse deuten darauf hin, dass AutoML-Ansätze im Kontext von RecSys vielversprechend sind, besonders weil sie traditionelle Methoden übertreffen können. Obwohl RecSys-Algorithmen immer noch ihre Stärken haben, besteht klare Bedarf an besseren automatisierten Bibliotheken, die sich auf RecSys-Aufgaben konzentrieren.

Diese Analyse zeigt auf, dass es einen zunehmenden Bedarf an ausgeklügelten AutoRecSys-Bibliotheken gibt, die die Lücke zwischen den Fortschritten in AutoML und den Anforderungen von RecSys schliessen können.

#Fazit

Zusammenfassend können AutoML- und AutoRecSys-Bibliotheken unerfahrenen Nutzern helfen, in die Welt der Empfehlungs- systeme einzutauchen. Unsere Forschung unterstreicht die Wichtigkeit benutzerfreundlicher Tools und hebt die Notwendigkeit gewisser Anleitung bei der Auswahl von Algorithmen hervor.

Die Studie ebnete den Weg für zukünftige Erkundungen in diesem Bereich. Es gibt immer noch Spielraum für Verbesserungen, insbesondere bei der Entwicklung robusterer automatisierter Bibliotheken, die den vielfältigen Bedürfnissen von RecSys-Anwendungen gerecht werden können.

Indem wir uns darauf konzentrieren, AutoML-Frameworks in den RecSys-Raum zu erweitern, können wir die Implementierung dieser Systeme erleichtern und damit ihre Anwendbarkeit und Zugänglichkeit erweitern.

Das Potenzial für bessere Leistungen, besonders bei Datensätzen mit implizitem Feedback, bleibt ein offenes Gebiet zur Erkundung. Insgesamt soll diese Arbeit weiteres Interesse und Innovation im Bereich automatisierter Empfehlungssysteme anregen.