L'AI impara a prevedere le intenzioni di parlare

Gli esseri umani spesso riescono a capire quando qualcun altro sta per parlare. Questa abilità può essere utile in molte situazioni, specialmente quando un robot o un'IA aiutano a guidare le conversazioni. L'obiettivo di questa ricerca è insegnare all'IA a riconoscere quando le persone intendono parlare basandosi sui dati degli accelerometri, che sono dispositivi che misurano il movimento. Utilizzare gli accelerometri è una scelta azzeccata perché rispettano la privacy delle persone e possono essere facilmente utilizzati in situazioni reali con dispositivi come badge intelligenti.

In questo studio, abbiamo usato dati di un evento sociale reale per addestrare un Modello di machine learning per identificare quando qualcuno vuole parlare. Abbiamo contrassegnato alcuni casi in cui le persone intendevano parlare ma non hanno avuto l'opportunità. Il modello è stato addestrato a riconoscere tentativi di parola riusciti e testato su tentativi sia riusciti che non riusciti. Abbiamo scoperto che ci sono alcune informazioni nei dati degli accelerometri riguardo le intenzioni di parlare, ma non abbastanza per fare previsioni accurate. Ad esempio, le persone spesso cambiano postura quando vogliono parlare, ma cambiano anche postura per altri motivi e potrebbero comunque voler parlare senza muoversi. Questo suggerisce che potremmo aver bisogno di metodi aggiuntivi per aiutare l'IA a essere migliore nel prevedere quando qualcuno sta per parlare.

#Introduzione e Motivazione

Se l'IA potesse capire quando qualcuno vuole parlare, potrebbe aiutare in varie situazioni sociali. Ad esempio, un robot potrebbe guidare una discussione di gruppo e riconoscere quando qualcuno vuole contribuire ma non ha la possibilità. Questo potrebbe rendere le conversazioni più produttive, permettendo a tutti di condividere i propri pensieri.

Un'IA che riconosce le intenzioni di parlare potrebbe anche aiutare le persone timide a sentirsi più incluse e coinvolte nelle discussioni. Favorisce dinamiche di gruppo migliori e assicura che tutti abbiano la possibilità di partecipare. Molti sistemi di IA potrebbero trarre vantaggio da questa abilità, specialmente i robot sociali che facilitano le conversazioni. Se un robot può notare quando qualcuno sembra pronto a parlare, potrebbe gentilmente invitarli a condividere i propri pensieri, rendendo la conversazione più piacevole.

La previsione del prossimo parlante è un po' diversa dal rilevare le intenzioni di parlare. Si concentra non solo su quando qualcuno intende parlare, ma anche su quando perde opportunità di farlo. Prevedere queste intenzioni è complicato perché spesso derivano da sentimenti personali piuttosto che da segnali chiari. Anche se alcuni segnali sociali potrebbero indicare che qualcuno è pronto a parlare, non tutte le intenzioni sono visibili. La ricerca esistente si è principalmente concentrata su chi parlerà dopo piuttosto che sulle intenzioni di parlare.

Attualmente, non ci sono molte tecniche mirate a rilevare queste intenzioni al di fuori di ambienti di laboratorio. Questa ricerca mira a colmare il divario tra prevedere chi parla dopo e comprendere le intenzioni dietro il voler parlare.

#Lavori Correlati

Questo studio è legato a tre aree di ricerca: il turno di parola nelle conversazioni, la previsione di chi parlerà dopo e la comprensione delle singole intenzioni di parlare. La maggior parte delle ricerche si è concentrata sulla gestione dei turni di conversazione e sulla previsione del prossimo parlante, con meno studi che mirano alle vere intenzioni di parlare.

#Turno di Parola

Gestire i turni di parola è fondamentale per le discussioni interattive e coinvolge comportamenti sociali complessi. Gli studi hanno esaminato come i turni di parola vengano organizzati durante le conversazioni. È comune che le conversazioni abbiano sovrapposizioni brevi con più di un parlante, e varie tecniche possono aiutare a gestire queste transizioni.

Alcune ricerche hanno identificato segnali sociali, chiamati segnali di inizio turno, che si correlano con l'ottenere il turno successivo. Ad esempio, distogliere lo sguardo o fare movimenti delle labbra si verifica spesso prima che qualcuno prenda la parola. Questi segnali possono essere indicatori chiave e, se combinati, possono aiutare a prevedere chi parlerà dopo.

#Intenzioni Umane

La ricerca nelle scienze sociali sottolinea come gli esseri umani siano bravi a inferire le intenzioni altrui dalle loro azioni. Le persone spesso simulano ciò che osservano negli altri per stimare cosa potrebbero pensare. Sapere come gli esseri umani interpretano le intenzioni degli altri può aiutare a costruire modelli che prevedono meglio le intenzioni di parlare.

Uno studio si è concentrato sull'identificazione delle intenzioni di parola non realizzate osservando i modelli respiratori, suggerendo che la respirazione può indicare se qualcuno intende prendere il turno. Sebbene i segnali respiratori possano essere sottili, possono fornire informazioni utili.

#Tecniche di Previsione del Prossimo Parlante

Molti metodi esistenti per prevedere chi parlerà dopo si basano sia su segnali verbali che non verbali. Esaminando queste tecniche, possiamo raccogliere informazioni su come rilevare le intenzioni di parlare. Alcune ricerche hanno esplorato i modelli di respirazione e di apertura della bocca per prevedere le transizioni di parola. È stato dimostrato che i modelli di respirazione cambiano a seconda che un parlante mantenga il proprio turno o lo passi a qualcun altro.

Utilizzare più segnali insieme, come la direzione dello sguardo, può migliorare le previsioni. Ad esempio, quando un parlante guarda un ascoltatore, spesso incoraggia una risposta, mostrando il legame tra il comportamento visivo e il comportamento di parola.

#Domanda di Ricerca

Questa ricerca cerca di scoprire quanto bene i dati degli accelerometri possano prevedere le intenzioni di parlare in situazioni reali. La domanda principale riguarda se i dati degli accelerometri possono identificare efficacemente sia le intenzioni di parlare riuscite che quelle non riuscite.

Per capire meglio ciò, abbiamo due sub-domande:

1. Quanto bene possono i dati degli accelerometri prevedere le intenzioni di parlare riuscite?
2. Quanto bene possono prevedere le intenzioni di parlare non riuscite?

Nella nostra ricerca, definiamo "intenzioni di parlare" specificamente come l'intenzione di prendere un turno e parlare ad alta voce, ignorando segnali come i back-channel.

Per testare le nostre sub-domande, proponiamo due ipotesi:

1. Un modello addestrato con dati degli accelerometri che mostrano intenzioni di parlare riuscite funzionerà meglio rispetto a un'ipotesi casuale.
2. Un modello addestrato con gli stessi dati sarà anche migliore nel prevedere intenzioni di parlare non riuscite rispetto a ipotesi casuali.

L'ipotesi casuale è la baseline che usiamo per verificare se i dati degli accelerometri hanno qualche informazione utile per rilevare le intenzioni di parlare.

#Approccio Sperimentale

Iniziamo concentrandoci sull'inferire le intenzioni di parola riuscite e poi esaminiamo anche quelle non riuscite. Inizialmente, abbiamo cercato di costruire un modello basato su tecniche esistenti per prevedere il prossimo parlante, ma le abbiamo trovate inadatte ai nostri obiettivi. Invece, abbiamo adattato codice esistente per utilizzare solo i dati degli accelerometri rispettando la privacy.

Abbiamo assunto che le intenzioni di parlare possono essere trattate direttamente come una domanda di sì o no: o qualcuno vuole parlare o non lo vuole. Per valutare il nostro modello, abbiamo ispezionato i casi classificati come falsi positivi, in cui ha previsto un'opportunità di parlare in modo errato. Abbiamo annotato gli istanti di intenzioni di parola non riuscite per analizzare sia le intenzioni riuscite che quelle non riuscite.

Nel nostro studio esplorativo, abbiamo esaminato attentamente i dati degli accelerometri per scoprire caratteristiche che potrebbero indicare intenzioni di parlare. Attraverso le nostre osservazioni, abbiamo raccolto dati da un evento di social networking in cui le persone interagivano liberamente tra loro.

#Estrazione di Casi Riusciti

Per identificare le istanze di parola riuscita, abbiamo utilizzato dati del microfono che indicano quando un partecipante sta parlando. Abbiamo dovuto risolvere problemi come:

1. Microfoni che catturano rumori di fondo.
2. Brevi risposte di back-channel contate come discorsi completi.
3. Classificazione errata a causa di brevi pause mentre qualcuno sta ancora parlando.

Una volta elaborati i dati del microfono, abbiamo estratto finestre temporali che mostrano le intenzioni di iniziare a parlare. Questo ha comportato trovare momenti nei dati in cui qualcuno ha iniziato a parlare e contrassegnare i momenti che hanno preceduto questo.

#Estrazione di Casi Non Riusciti

Per comprendere le intenzioni di parola non riuscite, abbiamo annotato un segmento specifico di 10 minuti dell'audio dell'evento. Durante questo tempo, abbiamo notato quando i partecipanti intendevano parlare ma non lo facevano, etichettando questi come intenzioni di inizio o continuazione.

Abbiamo registrato vari segnali che indicavano che qualcuno voleva parlare, come cambi di postura o segnali udibili come schiocchi di labbra. Dopo aver completato le annotazioni, le abbiamo convertite in un formato utilizzabile per la nostra analisi.

#Il Modello

Per rispondere alle nostre domande principali e testare le nostre ipotesi, abbiamo adattato un modello che originariamente combinava dati di accelerometri, audio e video. Tuttavia, ci siamo concentrati esclusivamente sui dati degli accelerometri per la nostra ricerca.

Il modello elabora intervalli di tempo delle registrazioni degli accelerometri prima che qualcuno parli, etichettati come esempi positivi. Abbiamo impostato intervalli di tempo specifici per vedere quale durata producesse le migliori previsioni, assicurandoci di utilizzare gli intervalli correttamente per la valutazione.

Per determinare le prestazioni del modello, abbiamo misurato l'area sotto la curva ROC (AUC). Questo punteggio aiuta a valutare quanto bene il modello distingue tra intenzioni di parola riuscite e non riuscite.

#Approfondimenti dallo Studio Esplorativo e Annotazioni

Dallo studio esplorativo, abbiamo scoperto che alcuni segnali sociali sono buoni indicatori di quando le persone intendono parlare. Abbiamo notato che comportamenti come schioccare le labbra o avvicinarsi a qualcuno indicavano un desiderio di parlare. Inoltre, il levarsi di gola è stato percepito come un segnale iniziale per parlare.

#Valutazione Quantitativa del Modello

Abbiamo testato il nostro modello sotto vari intervalli di tempo per vedere quanto bene potesse prevedere le intenzioni di parlare. Utilizzando quattro diverse tempistiche da 1 a 4 secondi, abbiamo potuto confrontare le prestazioni del modello in vari scenari.

Per ogni caso-sia prevedere tutte le intenzioni di parlare, le intenzioni riuscite o quelle non riuscite-abbiamo assicurato che i campioni positivi fossero correlati alle effettive istanze di parola e che i campioni negativi non si sovrapponessero ai periodi di parola.

#Analisi Statistica

Per analizzare le prestazioni del modello, abbiamo utilizzato t-test per confrontare i nostri risultati con l'ipotesi casuale. Abbiamo verificato se il modello avesse funzionato significativamente meglio rispetto al caso random.

I risultati hanno indicato quanto bene il modello potesse distinguere tra diverse intenzioni di parola e hanno evidenziato alcune tendenze basate sui diversi intervalli di tempo che abbiamo testato.

#Ricerche Future

Basandoci sui risultati e sulle limitazioni dei nostri esperimenti, suggeriamo vari percorsi di ricerca futuri. Innanzitutto, aumentare il numero di intenzioni di parola non riuscite annotate aiuterebbe a raffinare l'accuratezza del modello. Inoltre, addestrare il modello sia su campioni riusciti che non riusciti insieme potrebbe fornire migliori intuizioni.

Abbiamo anche riconosciuto la necessità di ottimizzare ulteriormente i parametri del modello. Incorporare altre modalità, come audio o video, potrebbe migliorare le prestazioni. Comprendendo tutti i segnali che portano alle intenzioni di parlare, potremmo costruire un sistema più robusto per riconoscere quando le persone pianificano di parlare.

#Considerazioni sul Dataset

Scegliere un dataset appropriato è stato cruciale all'inizio del processo di ricerca. Abbiamo confrontato quattro dataset in base alle loro caratteristiche, disponibilità di dati degli accelerometri e impostazioni durante la raccolta dei dati. Alla fine, è stato scelto il dataset REWIND grazie alle sue ricche registrazioni da un evento di social networking in diretta in cui le persone comunicavano liberamente.

#Conclusione

Questa ricerca si è concentrata sulla previsione delle intenzioni di parlare utilizzando dati degli accelerometri. Abbiamo categorizzato le intenzioni in casi riusciti e non riusciti e annotato un sottoinsieme dei casi non riusciti. I nostri esperimenti hanno dimostrato che i dati degli accelerometri possono prevedere sia le intenzioni di parola riuscite sia alcune intenzioni non riuscite meglio di una semplice ipotesi casuale. Tuttavia, i risultati indicano che è necessario migliorare l'affidabilità e il lavoro futuro dovrebbe esplorare schemi più espliciti che possano aiutare a inferire questi segnali sociali.