Presentiamo il Dataset di Dialoghi sugli Eventi della Vita

Recentemente, c'è stato un sacco di interesse per il lifelogging, che riguarda il documentare eventi della vita quotidiana. Questo metodo ha vari usi, come dare raccomandazioni personalizzate o aiutare con la memoria. Tuttavia, raccogliere e identificare eventi personali può essere complicato. La gente di solito condivide le proprie esperienze attraverso conversazioni, ma trovare eventi di vita in queste discussioni non è stato studiato a fondo.

In questo articolo, presentiamo un nuovo dataset chiamato Life Event Dialog, che contiene annotazioni dettagliate di eventi di vita nei dati conversazionali. Lanciamo anche un nuovo compito chiamato estrazione di eventi di vita conversazionali, che è diverso dall'estrazione di eventi da social media o altre fonti come i microblog. Per affrontare questo compito, esaminiamo tre diversi sistemi di estrazione di informazioni: OpenIE, estrazione di relazioni ed estrazione di eventi.

La nostra analisi di questi sistemi mostra che hanno ancora difficoltà a estrarre eventi di vita da conversazioni quotidiane. Questo dataset e il nostro studio dettagliato dei metodi di estrazione di informazioni supporteranno future ricerche sull'estrazione di eventi di vita da discussioni.

#Importanza delle Conversazioni Quotidiane

Le conversazioni quotidiane sono ricche di informazioni personali, coprendo background, interessi, hobby, connessioni con gli altri e vari eventi di vita. Estrarre questi eventi ci aiuta a capire meglio le persone. Gli eventi che estraiamo possono costruire una base di conoscenze personali e aiutare in vari compiti, come comprendere gli stili di vita e fornire supporto alla memoria.

La maggior parte delle ricerche passate sull'estrazione di eventi di vita si è concentrata su dati provenienti da piattaforme come Twitter. Tuttavia, gli eventi condivisi su queste piattaforme sono spesso fissi e non cambiano. Al contrario, gli eventi menzionati durante le conversazioni possono cambiare dinamicamente mentre le persone interagiscono. Le conversazioni permettono ai partecipanti di fare domande e raccogliere più informazioni sugli eventi di vita, rivelando un interesse più ampio per diversi aspetti della vita di qualcuno.

Ad esempio, quando qualcuno menziona un viaggio, gli altri potrebbero chiedere con chi ha viaggiato, quanto è costato o quando è avvenuto. Nonostante questo potenziale per estrarre eventi di vita dalle conversazioni, c'è stata una limitata esplorazione in quest'area. I metodi esistenti spesso rilevano solo tipi di eventi ampi o poco chiari e di solito non riconoscono i partecipanti o lo stato mutevole degli eventi, il che ostacola analisi più profonde e applicazioni.

#Dataset Life Event Dialog

Presentiamo il dataset Life Event Dialog (LED), che ha annotazioni dettagliate di eventi di vita nelle conversazioni. Definiamo gli eventi di vita come attività che accadono nella vita quotidiana di una persona, concentrandoci sui verbi. Per ogni evento, assegniamo tre livelli di dettaglio: Verb, Class e Frame. A differenza della scrittura formale o dei post sui social media, le conversazioni hanno spesso uno stile più informale e indiretto, rendendo più difficile identificare gli eventi in modo esplicito.

Ad esempio, in un dialogo dove una persona chiede se può prendere un caffè e l'altra risponde "De-caff," la parola "ordine" non appare, ma è intesa come un evento di ordine. Per affrontare questo, introduciamo il concetto di Esplicità per un evento. Se il tipo di evento non può essere estratto dal dialogo, assegniamo un verbo per rappresentare l'attività e lo etichettiamo come evento implicito.

Insieme ai tipi di evento, segnaliamo anche il Soggetto e l'Oggetto di ogni evento, identificando chi è coinvolto. Man mano che le conversazioni evolvono, possono emergere più dettagli attraverso domande di follow-up o chiarimenti, mostrando come la natura di un evento possa cambiare durante il dialogo. Monitoriamo tre aspetti dello stato dell'evento: Polarità, Modalità e Tempo, fornendo un quadro più completo degli eventi di vita e permettendoci di monitorarne i cambiamenti.

#Compito di Estrazione di Eventi di Vita Conversazionali

Passando dal semplicemente classificare gli eventi di vita, introduciamo il compito di Estrazione di Eventi di Vita Conversazionali, che si concentra sull'identificazione sia del tipo di evento che dei suoi partecipanti dalle conversazioni. Questo compito è più complesso rispetto all'estrazione di eventi pubblici tradizionali a causa della natura variegata degli eventi di vita e dello stile informale delle conversazioni.

Identificare i partecipanti all'evento può essere complicato, poiché spesso non sono chiaramente definiti e possono cambiare durante il dialogo. Nessun modello esistente affronta specificamente questa sfida. In questo articolo, valutiamo più sistemi di estrazione di informazioni: OpenIE, estrazione di eventi e estrazione di relazioni.

I nostri esperimenti rivelano che i modelli di estrazione attuali, anche quelli avanzati, faticano a estrarre eventi di vita in modo efficace dalle conversazioni. Analizziamo i vantaggi e gli svantaggi di ciascun modello e sottolineiamo la necessità di metodi migliorati per l'estrazione di eventi di vita conversazionali.

#Ricerche Correlate

#Estrazione di Eventi di Vita

La crescita dei social media ha portato a un aumento dei dati personali, che possono essere utili per compiti di lifelogging. La maggior parte delle ricerche si è concentrata su dati provenienti da piattaforme come Twitter, che tende ad avere tipi di eventi limitati. Alcuni studi hanno raccolto tweet relativi a eventi di vita specifici e sviluppato sistemi per estrarre questi eventi.

In contrasto con i social media, dataset come NTCIR14 Lifelog includono lifelogs multimodali con immagini e metadati, ma si concentrano principalmente sul recupero visivo piuttosto che sull'estrazione di eventi di vita. Pertanto, mentre tutti questi studi considerano eventi di vita, il nostro lavoro sull'estrazione di eventi di vita conversazionali è distinto perché ci concentriamo sui dialoghi piuttosto che sui post statici dei social media.

#Estrazione di Eventi Conversazionali

Ci sono stati tentativi di progettare sistemi per l'estrazione di eventi da conversazioni, ma questi differiscono dal nostro obiettivo di identificare gli eventi di vita condivisi tra i partecipanti. Studi precedenti hanno valutato sistemi esistenti su varie forme di dialogo, ma i dataset utilizzati erano piccoli e non condividevano pubblicamente tutti i dati rilevanti.

Ci sono alcuni studi che hanno raccolto conversazioni e miravano a classificare le caratteristiche degli eventi, eppure mancano delle informazioni supplementari complete che forniamo nel nostro dataset. Il nostro lavoro si concentra sull'estrazione di eventi di vita personali da conversazioni reali e fornisce annotazioni dettagliate che includono lo stato degli eventi e i partecipanti coinvolti.

#Definizione di Evento di Vita

Nella nostra ricerca, definiamo gli eventi di vita come attività, abitudini, esperienze o informazioni personali condivise dai partecipanti. Tuttavia, non consideriamo conoscenze generali, questioni pubbliche o espressioni puramente emotive come eventi di vita. Gli eventi che non è garantito che accadano, come suggerimenti o situazioni ipotetiche, non sono etichettati come eventi di vita.

#Schema degli Eventi

Cataloghiamo gli eventi di vita in tre livelli di dettaglio: Verb, Class e Frame. Il Verb è l'azione che innesca l'evento. La Class rappresenta tipi di eventi più specifici e il Frame è un tipo di evento più ampio selezionato dagli annotatori. Ad esempio, la parola "prendere" può appartenere a diverse categorie di Frame, rendendo necessario etichettare ogni evento sia con la Class che con il Frame.

#Costruzione del Dataset

Abbiamo costruito il dataset LED campionando conversazioni dal dataset DailyDialog, che include conversazioni sulla vita quotidiana. Abbiamo estratto interazioni focalizzandoci su vari argomenti quotidiani, assicurandoci che il nostro dataset catturi scenari realistici con e senza eventi di vita.

Abbiamo annotato 2.186 eventi di vita unici da 4.485 espressioni, con una parte significativa che è Eventi Impliciti. Lo stato di ciascun evento è stato registrato, inclusa la Polarità (positiva o negativa), la Modalità (reale o ipotetica) e il Tempo (quando è avvenuto l'evento).

#Sfide e Limitazioni

Una sfida chiave nel nostro lavoro è la natura dinamica delle conversazioni. Molti eventi possono cambiare significato o stato, a seconda del contesto e del flusso del dialogo. Inoltre, il fatto che il nostro dataset si basi su una fonte specifica come DailyDialog potrebbe limitarne l'applicabilità ad altre forme di comunicazione, come conversazioni tra più parti o dialoghi più lunghi.

Sebbene abbiamo annotazioni dettagliate, la dimensione del dataset potrebbe non essere sufficiente per i modelli affamati di dati di oggi. Puntiamo ad espandere il nostro dataset e le annotazioni nel lavoro futuro, includendo più tipi di conversazione e coprendo una gamma più ampia di eventi di vita.

#Dichiarazione Etica

Il nostro dataset è stato sviluppato da un dataset pubblico esistente, e la privacy è una priorità. Tutti i partecipanti nella versione originale sono stati anonimizzati. Condivideremo solo le annotazioni degli eventi di vita, assicurandoci che le informazioni personali rimangano protette.

La ricerca è stata sostenuta da varie sovvenzioni e istituzioni, che hanno facilitato il processo di annotazione e lo sviluppo di questo lavoro. Gli annotatori sono stati compensati equamente per i loro sforzi, e l'intero processo ha richiesto circa 1,5 mesi per essere completato.

#Conclusione

Questo lavoro presenta il dataset Life Event Dialog, una risorsa completa per studiare eventi di vita estratti da dati conversazionali. La nostra ricerca evidenzia le caratteristiche uniche degli eventi di vita conversazionali, sottolineando la loro natura dinamica. Introducendo il compito di Estrazione di Eventi di Vita Conversazionali, puntiamo a far progredire la comprensione e lo sviluppo di metodi per estrarre in modo efficace eventi di vita personali dalle conversazioni.

Il lavoro futuro si concentrerà sul perfezionamento dei metodi di estrazione, sul miglioramento delle prestazioni nell'identificazione degli oggetti e sull'affrontare le sfide legate agli eventi impliciti. L'obiettivo è sviluppare un modello migliore che possa gestire le complessità dell'estrazione di eventi di vita conversazionali, ampliando nel contempo il dataset per applicazioni più ampie.