Valutare il ruolo dell'AutoML nei sistemi di raccomandazione

L'Automated Machine Learning (AutoML) sta cambiando il modo in cui usiamo il Machine Learning (ML). Aiuta le persone a applicare tecniche di ML in vari settori, come la compressione dei modelli e la traduzione delle lingue. Un'area che può trarre vantaggio dall'AutoML è quella dei Sistemi di Raccomandazione (RecSys). I RecSys mirano a prevedere cosa potrebbe piacere a un utente, come film o prodotti.

Tuttavia, non c'è stato molto interesse nell'utilizzare l'AutoML all'interno della comunità RecSys. Allo stesso modo, i RecSys ricevono abbastanza attenzione dalla comunità AutoML? Attualmente, esistono solo alcune semplici librerie per i Sistemi di Raccomandazione Automatizzati (AutoRecSys), principalmente derivanti da progetti di studenti e carenti della profondità delle librerie AutoML affermate.

In questo lavoro, vogliamo scoprire quanto bene funzioni l'AutoML quando usato da qualcuno che non ha esperienza nella costruzione di sistemi di raccomandazione. Confronteremo le prestazioni di AutoML, AutoRecSys, ML standard e Algoritmi RecSys utilizzando diversi dataset. L'attenzione è su come questi algoritmi performano con le impostazioni predefinite, che è spesso ciò che un utente inesperto farebbe.

#La Sfida

Costruire un sistema di raccomandazione può essere piuttosto difficile. Gli utenti devono scegliere gli algoritmi giusti, selezionare le caratteristiche e ottimizzare molte impostazioni, note come iperparametri. Se qualcuno è inesperto e non imposta tutto correttamente, le raccomandazioni potrebbero non soddisfare le esigenze degli utenti, il che può avere un impatto negativo su un'azienda.

L'AutoML aiuta a rendere le applicazioni di ML più accessibili, permettendo anche a chi non ha una formazione in ML di implementare gli algoritmi in modo efficace. In alcuni casi, l'AutoML può persino performare meglio degli esperti che usano metodi ML tradizionali.

I RecSys utilizzano spesso un approccio ML per suggerire articoli agli utenti o prevedere le valutazioni. Tuttavia, impostare un RecSys può essere complicato quanto qualsiasi altro progetto ML. Esistono molti algoritmi, e ognuno ha diversi iperparametri che devono essere ottimizzati. Un utente inesperto può trovare difficile orientarsi in questo processo, rischiando risultati insoddisfacenti.

Inoltre, c'è scarsità di librerie automatizzate mature specificamente per i RecSys. Le attuali librerie automatiche spesso mancano delle caratteristiche e della robustezza di quelle affermate. Gli utenti possono anche formulare compiti RecSys come problemi di classificazione o regressione, ma le sfide rimangono le stesse.

#Focus della Ricerca

Questo ci porta alla nostra domanda di ricerca: Qual è la performance degli algoritmi AutoML sui compiti RecSys rispetto ad AutoRecSys, ML e algoritmi RecSys utilizzando iperparametri predefiniti?

Il nostro obiettivo è valutare lo stato dell'arte per i principianti in questo campo. Non stiamo cercando di capire perché alcuni algoritmi performano meglio di altri in questo momento; semplicemente vogliamo valutare come si comportano in pratica.

Per fare questo, confronteremo diversi algoritmi provenienti da diverse librerie su dataset RecSys contenenti feedback espliciti, che sono cruciali per prevedere le valutazioni degli utenti.

#Lavori Correlati

Per quanto ne sappiamo, non c'è stata un'analisi approfondita delle librerie AutoML su più dataset RecSys. Alcuni lavori esistenti hanno esaminato l'uso dell'AutoML per costruire ensemble nei RecSys, ma il focus non è stato sulla comparazione delle performance.

L'AutoML ha trovato applicazioni in altri campi, inclusi la visione artificiale e la traduzione automatica. Esistono diversi benchmark per confrontare diversi framework AutoML, ma manca un metodo standardizzato per valutare gli algoritmi RecSys. Questo significa che non c'è una raccolta di dataset completa per la ricerca sui RecSys.

#Metodologia

Per valutare le prestazioni di vari algoritmi, utilizziamo dataset che coinvolgono specificamente feedback espliciti. Questi dataset contengono ID cliente, ID articolo e timestamp, che sono caratteristiche chiave quando si valutano i prodotti.

Nella nostra valutazione, l'Errore Quadratico Medio (RMSE) verrà calcolato utilizzando la validazione hold-out per determinare le performance predittive di ciascun algoritmo. Tutti gli algoritmi verranno eseguiti con impostazioni predefinite, simulando il punto di vista di un utente inesperto.

Abbiamo utilizzato uno strumento di valutazione basato su Docker e script di preprocessing per tutti i dataset RecSys. Le esecuzioni computazionali si sono svolte su una potente workstation per un periodo di 25 giorni.

La nostra valutazione si concentra esclusivamente sul feedback esplicito all'interno del compito RecSys, senza entrare nel feedback implicito o nelle valutazioni online.

#Dataset Selezionati

Abbiamo scelto diversi dataset ben noti per il nostro studio, che includono:

• MovieLens: Questo dataset contiene valutazioni degli utenti per i film ed è ampiamente utilizzato nella comunità RecSys. Abbiamo utilizzato tre versioni: 100k, 1M e l'Ultima 100k.

• Amazon Reviews: Abbiamo esaminato varie categorie di prodotti, inclusi elettronica e moda. Abbiamo utilizzato le versioni 5-core, focalizzandoci sulle valutazioni degli utenti insieme ai metadati degli articoli.

• Altre Fonti: Abbiamo incluso anche il Dataset Aperto di Yelp e il Dataset del Netflix Prize, quest'ultimo ridotto a dieci milioni di istanze a causa di vincoli di risorse.

Tutte le librerie selezionate per il nostro confronto sono open source e possono prevedere feedback espliciti.

#Algoritmi Confrontati

Gli algoritmi inclusi nel nostro confronto provengono da diverse librerie, come:

• Auto-Surprise: Questa libreria è un'estensione della libreria Surprise e affronta sia la selezione dell'algoritmo che quella degli iperparametri.

• AutoRec: Anche se permette l'uso di AutoKeras, non fornisce abbastanza automazione per qualificarsi come libreria AutoRecSys.

• Diverse altre librerie come LensKit e XGBoost sono state anche utilizzate nel nostro studio.

Abbiamo creato un baseline che prevede sempre la valutazione media basata sui dati di addestramento.

#Impostazione dell'Esperimento

Abbiamo preprocessato i dataset per garantire la compatibilità con gli algoritmi RecSys e ML. I passaggi di preprocessing sono stati progettati per mantenere i dati il più vicino possibile alla loro forma originale.

Per ciascun dataset selezionato, abbiamo documentato il numero di clienti, articoli, istanze e eventuali caratteristiche aggiuntive.

Le impostazioni predefinite per ciascun algoritmo sono state applicate e abbiamo implementato un limite di runtime. Se un algoritmo impiegava più tempo di una durata specificata, veniva terminato per garantire confronti efficienti.

Gli algoritmi che non completavano entro i limiti di tempo o di risorse venivano anche classificati ultimi nelle nostre analisi.

#Risultati

Attraverso le nostre valutazioni, abbiamo trovato tassi di successo variabili tra i diversi algoritmi. Anche se alcuni hanno performato bene, una percentuale notevole ha raggiunto limiti di memoria o è andata in timeout.

La libreria Auto-Surprise ha mostrato le migliori performance complessive, raggiungendo i primi posti su molti dataset. Strumenti AutoML come FLAML e H2O hanno anche performato notevolmente, mentre gli algoritmi ML standard spesso si sono classificati più in basso.

I nostri risultati hanno messo in evidenza che le librerie AutoML e AutoRecSys sono raccomandate per utenti inesperti. Queste librerie hanno spesso performato meglio delle librerie RecSys tradizionali, offrendo soluzioni più accessibili e user-friendly.

#Discussione

I risultati indicano che gli approcci AutoML mostrano molta promessa nel contesto dei RecSys, soprattutto perché possono superare i metodi tradizionali. Anche se gli algoritmi RecSys hanno ancora i loro punti di forza, c'è una chiara necessità di librerie automatizzate migliori focalizzate sui compiti RecSys.

Questa analisi punta verso un bisogno crescente di librerie AutoRecSys sofisticate che possano colmare il divario tra i progressi dell'AutoML e le esigenze dei RecSys.

#Conclusione

In conclusione, le librerie AutoML e AutoRecSys possono aiutare utenti inesperti a esplorare il mondo dei Sistemi di Raccomandazione. La nostra ricerca sottolinea l'importanza di strumenti user-friendly mettendo in evidenza la necessità di qualche forma di guida nella scelta degli algoritmi.

Lo studio ha aperto la strada a future esplorazioni in questo campo. C'è ancora spazio per miglioramenti, in particolare nello sviluppo di librerie automatizzate più robuste che possano soddisfare pienamente le diverse esigenze delle applicazioni RecSys.

Concentrandoci sull'estensione dei framework AutoML nello spazio RecSys, possiamo semplificare l'implementazione di questi sistemi, espandendo così la loro applicabilità e accessibilità.

Il potenziale per migliori performance, specialmente con dataset di feedback implicito, rimane un'area aperta da esplorare. In generale, questo lavoro mira a stimolare ulteriori interessi e innovazioni nel campo dei sistemi di raccomandazione automatizzati.