Confrontare la comprensione delle espressioni facciali tra umani e intelligenza artificiale

Il riconoscimento delle espressioni facciali (FER) è fondamentale per capire il comportamento umano. Con l'aumento del deep learning, alcuni modelli ora riescono a identificare le espressioni facciali meglio degli esseri umani. Tuttavia, non è ancora chiaro quanto questi modelli replicano il modo in cui gli umani comprendono le espressioni facciali. Questo studio esamina quanto siano simili i modelli di deep learning alla percezione umana analizzando dodici modelli diversi, compresi classificatori di immagini generali e quelli specificamente progettati per FER.

#Importanza delle Espressioni Facciali

Le espressioni facciali forniscono informazioni preziose nella comunicazione umana. Rappresentano visivamente emozioni, offrendo indizi che aiutano gli altri a capire come si sente qualcuno. Anche se alcuni credono che le espressioni facciali possano variare tra le culture, molti studi supportano l'idea che ci siano espressioni di base riconosciute universalmente, come rabbia, felicità, sorpresa, disgusto, tristezza e paura.

#La Crescita del Riconoscimento Automatico delle Espressioni Facciali

Negli ultimi anni, i ricercatori sono stati attivi nello sviluppo di sistemi automatici di FER a causa dei loro usi pratici, come nei campi medico, analisi del comportamento umano e interazione uomo-computer. Inizialmente, l'attenzione era rivolta all'estrazione delle caratteristiche dalle immagini facciali. Tuttavia, con i progressi nel deep learning, in particolare con tecniche come le Reti Neurali Convoluzionali (CNN), questi sistemi hanno fatto progressi notevoli nel riconoscere le espressioni facciali.

#Antropomorfismo Cognitivo e IA

Gli esseri umani tendono ad attribuire qualità umane ai sistemi di IA, assumendo che funzionino come noi. Anche se un modello di deep learning può raggiungere un'alta accuratezza nel riconoscere le espressioni, non significa che i processi dietro il riconoscimento siano gli stessi del pensiero umano. Studi recenti hanno iniziato a valutare le somiglianze tra deep learning e visione umana, ma le comparazioni dettagliate sono ancora rare.

#Confronto tra Comportamento Umano e IA

Alcuni ricercatori hanno analizzato come gli esseri umani classificano le espressioni rispetto a come lo fanno i modelli di IA. Suggeriscono modi per migliorare i modelli per allinearsi meglio a come gli esseri umani riconoscono le emozioni. Questo può aiutare a ridurre gli errori e migliorare le prestazioni delle reti di deep learning.

#Metodi di Analisi delle Espressioni Umane

I ricercatori usano diversi sistemi per studiare i movimenti facciali umani, come il Facial Action Coding System (FACS). Il FACS scompone i movimenti facciali in Unità di Azione, che corrispondono a specifici movimenti muscolari. Analizzando queste unità, gli esseri umani possono identificare espressioni comuni e le loro emozioni collegate.

#Obiettivo di Questo Studio

Questo studio si concentra sulle reti di deep learning addestrate a riconoscere le espressioni facciali. L'obiettivo è vedere se queste reti osservano gli stessi movimenti facciali degli esseri umani e quanto sia simile il loro processo. Applichiamo tecniche di IA spiegabile per analizzare quanto da vicino queste reti replicano il processo umano.

#Obiettivi della Ricerca

Ci sono due obiettivi principali che guidano questo lavoro:

1. Esaminare le somiglianze tra le reti di deep learning e le unità di azione facciale utilizzando tecniche di spiegabilità.
2. Confrontare diverse CNN per determinare se enfatizzano regioni facciali simili nel riconoscere le espressioni.

#Revisione della Letteratura sul Riconoscimento delle Espressioni Facciali

C'è stata una ricerca limitata che confronta la percezione umana e i sistemi di deep learning in FER. Anche se alcuni studi hanno esplorato l'IA spiegabile in questo campo, la maggior parte non si è concentrata sulle somiglianze o differenze in come gli esseri umani e IA percepiscono le espressioni. Altri lavori hanno indagato se le reti neurali avessero imparato le unità di azione facciale nei compiti di riconoscimento. Tuttavia, nessuno di questi studi ha condotto un confronto approfondito su come i modelli apprendono rispetto a come gli esseri umani percepiscono gli indizi facciali.

#Tipi di Dataset Utilizzati

Diversi dataset standard sono comunemente usati negli studi sulle espressioni facciali, tra cui:

• Il dataset Extended Cohn-Kanade (CK+)
• Il dataset BU-4DFE
• Il dataset JAFFE
• Il dataset WSEFEP
• Il dataset Facial Expression, Gender and Age (FEGA)

Questi dataset contengono immagini o sequenze di diversi soggetti che esprimono varie emozioni.

#Pre-Processing e Aumento dei Dati

Prima dell'addestramento, le immagini devono essere standardizzate. Questo comporta il rilevamento dei volti, l'allineamento in base ai punti di riferimento facciali chiave, la conversione delle immagini in scala di grigi e il ridimensionamento per l'input delle CNN. Tecniche di aumento dei dati come il cambiamento di illuminazione e la variazione delle posizioni facciali vengono anche utilizzate per migliorare il dataset di addestramento.

#Panoramica delle Architetture CNN

Dodici diversi modelli CNN sono stati addestrati per riconoscere le espressioni facciali. Questo include nove modelli popolari e tre specificamente progettati per FER. Alcuni di questi modelli sono ben consolidati nei campi della visione computerizzata e neuroscienza.

• AlexNet, WeiNet, SongNet, SilNet: Questi modelli hanno strutture più semplici.
• VGG16 e VGG19: Questi usano filtri convoluzionali 3x3 e presentano architetture più profonde.
• ResNet50 e ResNet101V2: Questi consentono reti più profonde tramite connessioni di salto.
• InceptionV3 e Xception: Questi impiegano tecniche avanzate per prestazioni migliorate.
• MobileNetV3 e EfficientNetV2: Mirati all'efficienza, soprattutto su dispositivi mobili.

Ogni modello è stato addestrato e valutato su vari dataset, concentrandosi su quanto efficacemente riconoscono e classificano le espressioni facciali.

#Addestramento e Valutazione delle Reti

Ogni modello ha subito una validazione incrociata k-fold per il test. I partecipanti sono stati raggruppati per garantire una valutazione equa attraverso diversi dataset. L'addestramento preliminare ha aiutato a determinare il numero di epoche necessarie affinché ogni modello raggiungesse buone prestazioni.

#Misurare le Prestazioni

I modelli sono stati valutati in base alla loro accuratezza sui set di test. La maggior parte delle reti ha performato bene, con accuratezze che si aggirano attorno all'80% fino all'84%, anche se alcuni, come ResNet50, hanno avuto prestazioni leggermente inferiori.

#Comprendere le Zone Importanti per il Riconoscimento

Le mappe di calore generate dalle CNN hanno evidenziato le zone facciali considerate importanti per il riconoscimento di ogni espressione. Analizzare queste mappe di calore offre spunti su quali aree del volto le reti si concentrano per le loro classificazioni.

#Osservazioni delle Mappe di Calore

1. Rabbia: Le zone rilevanti si estendono attraverso il volto, in particolare intorno alla bocca e alla fronte.
2. Disgusto: Il naso e la bocca hanno giocato un ruolo critico nella classificazione.
3. Paura: La bocca e il mento erano significativi, così come gli occhi.
4. Felicità: La bocca era la caratteristica centrale.
5. Tristezza: Le zone importanti erano più disperse attraverso il volto.
6. Sorpresa: Le regioni degli occhi e della bocca erano particolarmente cruciali.

Questi schemi sono coerenti e si allineano con le percezioni umane delle espressioni.

#Confronto tra Modelli Pre-addestrati e Non Pre-addestrati

Le mappe di calore dei modelli pre-addestrati mostrano spesso un'importanza più localizzata rispetto a quelle che non sono state pre-addestrate, che tipicamente mostrano regioni di interesse più disperse. Questo allineamento potrebbe influenzare la coerenza e l'accuratezza del riconoscimento delle espressioni.

#Confronto tra Heatmap di IA e Umane

Per valutare quanto siano simili le reti alla percezione umana delle espressioni, sono state utilizzate metriche IoU (Intersection over Union) per confrontare le mappe di calore con le maschere di Ekman derivate dalle unità di azione. I risultati hanno indicato che, anche se alcuni modelli hanno performato meglio di altri, nessuno ha raggiunto un accordo significativo con le maschere di Ekman definite dagli umani.

#Risultati Chiave dal Confronto

1. Prestazioni IoU: La migliore media IoU si aggirava attorno a 0.33, indicando un allineamento limitato tra i modelli di IA e la comprensione umana.
2. Specificità dell'Espressione: L'espressione di disgusto ha mostrato una corrispondenza notevolmente migliore rispetto alle altre, con alcuni modelli che hanno ottenuto punteggi alti.
3. Mancanza di Coerenza: Sebbene alcune reti si concentrino su aree simili, la mancanza complessiva di accordo con le definizioni di Ekman mostra che il riconoscimento dell'IA potrebbe non rispecchiare quello umano.

#Dendrogrammi e Analisi di Similarità

I dendrogrammi, costruiti utilizzando coefficienti di correlazione normalizzati, hanno aiutato a visualizzare le somiglianze tra le mappe di calore di diverse reti. Sono emersi due principali cluster: uno per le reti che utilizzano pesi pre-addestrati e un altro per quelle addestrate da zero. Questo suggerisce che il pre-addestramento può aiutare i modelli a convergere verso soluzioni simili.

#Conclusione

Usando varie architetture CNN, questa ricerca ha mirato a indagare la relazione tra il riconoscimento delle espressioni facciali umano e quello dell'IA. Anche se la maggior parte delle reti ha raggiunto un'accuratezza soddisfacente nel riconoscere le espressioni, i risultati hanno mostrato discrepanze significative nel modo in cui interpretano le zone facciali importanti. Notavelmente, i modelli pre-addestrati tendono ad allinearsi più strettamente rispetto a quelli addestrati da zero. Tuttavia, la scarsa somiglianza complessiva tra i modelli di IA e le regioni percepite dagli esseri umani indica la necessità di un lavoro futuro per migliorare la comprensione e l'allineamento.

#Lavori Futuri

Ci sono ancora molti aspetti da esplorare. La ricerca futura potrebbe guardare a diversi tipi di modelli oltre alle CNN. È anche fondamentale considerare se allineare la visione dell'IA con la percezione umana sia cruciale per costruire fiducia nei sistemi automatizzati. In generale, migliorare la relazione tra il riconoscimento umano e quello dell'IA potrebbe aumentare sia le prestazioni che la fiducia degli utenti nei sistemi di analisi delle espressioni facciali.