Avanzamenti nel riconoscimento delle espressioni facciali usando l'apprendimento auto-supervisionato

Il riconoscimento delle espressioni facciali (FER) è fondamentale per la comunicazione umana. Quando parliamo, usiamo sia la voce che le espressioni del viso per capire le emozioni. Questa tecnologia può aiutare le macchine a capire queste emozioni. La sfida è insegnare alle macchine a riconoscere queste espressioni senza dover usare tantissimi dati etichettati, che possono essere costosi e richiedere tempo per essere raccolti.

Attualmente, ci sono molti video online che mostrano persone che esprimono diverse emozioni. Questo lavoro punta a creare un metodo che possa imparare da questi video senza che siano etichettati con emozioni specifiche. Ci concentriamo su un processo chiamato Apprendimento Auto-Supervisionato, che permette al modello di imparare dai dati stessi senza bisogno di etichette aggiuntive.

#Perché l'Apprendimento Multi-modale?

La comunicazione umana si basa su signals multipli come espressioni facciali, tono della voce e gesti. Per costruire un sistema che capisca questi segnali, è fondamentale combinare diversi tipi di dati. In questo studio, utilizziamo video, audio e sottotitoli per insegnare a una macchina come riconoscere le emozioni.

Il sistema che abbiamo sviluppato utilizza tre compiti principali:

1. Apprendimento Contrastivo: Questo metodo insegna al modello a raggruppare espressioni simili e separare quelle diverse.
2. Clustering: Questo aiuta il modello a capire la struttura generale dei dati raggruppando rappresentazioni simili.
3. Ricostruzione dei dati: Questo permette al modello di imparare prevedendo come dovrebbero apparire i dati in base a ciò che apprende.

Ogni compito offre vantaggi unici e, se combinati, aiutano il modello a imparare in modo più efficace.

#Set di Dati Utilizzati

Abbiamo utilizzato diversi set di dati per addestrare e testare i nostri modelli:

1. VoxCeleb2: Questo set di dati contiene numerosi video di diverse persone che parlano. Fornisce audio e sottotitoli, ma non etichetta le emozioni.
2. CAER: Estratto dalla serie TV "Friends", questo set di dati include 13.000 video e audio, contrassegnati con espressioni emozionali di base.
3. MELD: Simile a CAER, questo set di dati proviene anch'esso da "Friends" e ha video focalizzati su personaggi individuali, insieme a etichette emotive.
4. CMU-MOSEI: Questo set di dati include 3.000 video da YouTube, con persone che parlano direttamente alla telecamera. Fornisce valutazioni emotive su una scala, che possono essere discretizzate in etichette.

Utilizzando questi set di dati, puntiamo ad addestrare i nostri modelli in modo che possano comprendere le emozioni dai dati del mondo reale.

#Costruzione del Modello

Il nostro modello è composto da diverse parti che lavorano insieme per elaborare i dati multi-modali.

#Estrazione delle Caratteristiche

Iniziamo estraendo caratteristiche dai dati di input. Questo significa che prendiamo le informazioni necessarie dai video, dalle tracce audio e dai sottotitoli. Per i fotogrammi video, utilizziamo una rete neurale ben nota chiamata ResNet. Per l'audio, convertiamo il suono in un formato visivo chiamato spettrogramma Mel. Infine, utilizziamo un modello chiamato DistilBERT per estrarre caratteristiche dai sottotitoli di testo.

#L'Architettura Principale

La nostra architettura è composta da tre teste principali:

1. Testa di Rappresentazione: Questa parte crea rappresentazioni dei dati per i compiti di addestramento.
2. Testa di Proiezione: Questa trasforma i dati di input in proiezioni per un miglior apprendimento.
3. Testa di Clustering: Questa produce gli embedding essenziali per i compiti di clustering.

Ogni testa gioca un ruolo importante nel far funzionare efficacemente il modello.

#Tecniche di Apprendimento Auto-Supervisionato

#Apprendimento Contrastivo

Nell'apprendimento contrastivo, insegniamo al modello a riunire istanze simili e a separare quelle diverse. Questo processo è cruciale perché aiuta il modello a capire la relazione tra diverse espressioni. Il modello impara a vedere che diversi movimenti facciali possono trasmettere emozioni simili.

#Clustering

Il clustering viene utilizzato per raggruppare rappresentazioni simili. Imparando a raggruppare le istanze in base alle loro somiglianze, il modello può migliorare la sua comprensione di come le espressioni siano correlate. Invece di trattare ogni istanza separatamente, il clustering consente al modello di vedere il quadro generale.

#Ricostruzione dei Dati

La ricostruzione dei dati coinvolge il modello che prevede come dovrebbero apparire i dati di input. Questo compito aiuta il modello a imparare la struttura sottostante dei dati, che può essere utile per comprendere espressioni facciali complesse.

#Combinare i Compiti

Per rendere il nostro modello più potente, combiniamo i tre compiti sopra menzionati. Facendo questo, puntiamo a sfruttare i punti di forza di ciascun compito. Il processo coinvolge l'apprendimento congiunto dai compiti di contrasto, clustering e ricostruzione in modo che il modello possa catturare rappresentazioni più ricche delle espressioni facciali.

#Valutazione del Modello

Dopo aver costruito il nostro modello, abbiamo condotto esperimenti per valutare le sue prestazioni. L'abbiamo confrontato con diversi benchmark per vedere quanto bene può riconoscere le espressioni facciali. I risultati hanno dimostrato che il nostro modello ha superato molti altri modelli auto-supervisionati e supervisionati.

#Metriche di Prestazione

Abbiamo utilizzato diverse metriche per valutare le prestazioni, inclusi accuratezza, punteggio F1, precisione e richiamo. Utilizzando queste metriche, possiamo misurare quantitativamente quanto bene il modello si comporta in diversi set di dati.

#Risultati e Analisi

Il nostro modello, chiamato ConCluGen, ha mostrato miglioramenti significativi rispetto ai metodi all'avanguardia. In particolare, ha superato molti modelli che erano stati progettati per compiti di FER, dimostrando l'efficacia dell'apprendimento auto-supervisionato.

#Confronto con Altri Modelli

Abbiamo confrontato ConCluGen con altri modelli per vedere dove si posizionava. I risultati indicano che il nostro modello, che ha appreso da più tipi di dati, è stato più efficiente rispetto ai modelli che utilizzavano solo un singolo tipo di dati o che erano completamente supervisionati.

#Vantaggi dell'Apprendimento Multi-Modale

Gli esperimenti hanno confermato che l'utilizzo di più modalità (video, testo e audio) ha migliorato la capacità del modello di riconoscere le espressioni facciali. L'aggiunta di caratteristiche testuali, in particolare, ha fornito un contesto prezioso che ha aiutato a migliorare le prestazioni.

#Approfondimenti sulle Strategie di Apprendimento

Abbiamo scoperto che combinare l'apprendimento contrastivo con il clustering ha portato a migliori prestazioni rispetto all'uso di un metodo solo. Questo suggerisce che questi metodi si completano bene, aiutando il modello a comprendere le relazioni semantiche tra le espressioni facciali.

#Conclusione

In questa ricerca, abbiamo sviluppato un metodo multi-task multi-modale auto-supervisionato per riconoscere le espressioni facciali. I nostri risultati mostrano che utilizzare una combinazione di compiti e vari tipi di dati porta a prestazioni migliorate nella comprensione delle emozioni. Il metodo è promettente per applicazioni in cui le macchine devono riconoscere le emozioni umane in scenari reali.

In futuro, intendiamo ampliare il nostro approccio includendo più modalità, come punti di riferimento facciali, per migliorare ulteriormente il modello. Puntiamo anche a testare il nostro metodo su diversi compiti, come il rilevamento delle unità di azione facciale o l'analisi del sentiment. I modelli e il codice sviluppati in questo studio sono condivisi pubblicamente affinché altri possano costruire su questo lavoro.