Collegare Suono e Testo nella Poesia
Un dataset unico che collega poesie scritte con letture audio.
― 6 leggere min
Indice
La poesia è una parte importante delle culture di tutto il mondo. È stata usata per condividere conoscenze e esperienze per molte generazioni. Le poesie possono variare molto, dalle filastrocche ai detti tradizionali. Analizzare queste opere può essere complicato, soprattutto quando vogliamo vedere come il suono della poesia si collega al testo scritto.
Per questo, abbiamo creato una raccolta di poesie che collega testo e registrazioni audio. Questa collezione si concentra su poeti famosi. Allineiamo ogni riga di testo con il suo suono corrispondente. Includiamo anche dettagli su come le poesie vengono lette, enfatizzando ritmo e schemi di accento. Il nostro obiettivo è fornire risorse per i ricercatori che vogliono studiare questa relazione tra testo e suono nella poesia.
Scansione
L'importanza dellaQuando guardiamo alla poesia, spesso pensiamo a ritmo e suono. Questo ci porta a un processo chiamato scansione. La scansione aiuta a scomporre il ritmo di una poesia segnando schemi specifici e Analizzando le rime. Comporta il dividere le righe in parti più piccole chiamate piedi.
Ad esempio, quando leggiamo una poesia ad alta voce, possiamo sentire un forte battito ritmico. Questo battito può guidare il nostro modo di interpretare la poesia. Analizzando il ritmo, possiamo vedere come i schemi sonori influenzano il significato complessivo e l'emozione di un pezzo.
Creazione del corpus
L'obiettivo del nostro progetto è creare un dataset di poesie che includa sia testo che audio. Abbiamo selezionato poesie di due poeti famosi le cui opere sono ampiamente studiate. La collezione che abbiamo costruito include circa 12,5 ore di tempo di lettura e presenta quasi 100.000 parole.
Nel nostro dataset, il testo è suddiviso in righe, parole, sillabe e suoni, tutti abbinati a segmenti audio. Abbiamo anche eseguito la scansione su ogni poesia per analizzare il ritmo. Questo processo di scansione utilizza un approccio tecnologico moderno per garantire accuratezza.
Lavori correlati e ricerche precedenti
Diverse iniziative si sono concentrate sull'analisi della poesia attraverso il suono e il testo scritto. Alcuni hanno cercato schemi ritmici nella poesia in verso libero o esplorato le letture dei sonetti. Il nostro progetto è simile, ma su una scala più piccola, concentrandosi su poeti specifici e ritmi più tradizionali.
Esistono molti dataset di poesia per i ricercatori. Alcuni esempi includono raccolte di diverse lingue e stili. Questi dataset aiutano a comprendere la poesia attraverso culture e periodi.
Fasi di elaborazione
Per costruire il nostro corpus, abbiamo seguito un processo attento. Prima, abbiamo pulito il testo per mantenere solo le informazioni rilevanti. Poi, abbiamo allineato l'audio con il testo scritto. Questo allineamento è fondamentale, poiché unisce ciò che si sente con ciò che si legge.
È essenziale allineare accuratamente ogni porzione di testo con l'audio. Dato che alcune registrazioni sono piuttosto lunghe, iniziamo allineando le righe prima di approfondire l'allineamento di parole o frasi. Utilizziamo algoritmi per eseguire questo allineamento, garantendo che ogni riga sia correttamente abbinata al suo segmento audio.
Poi, convertiamo le parole scritte in suoni, utilizzando spesso un dizionario per abbinare le parole alla loro rappresentazione fonetica. Questo ci consente di scomporre ogni parola nei suoi suoni di base, che possono poi essere ulteriormente analizzati a livello di sillaba e suono.
Una parte significativa di questo processo implica il temporizzare le sillabe, aiutandoci a vedere come i suoni si collegano al ritmo della poesia. Utilizziamo sia sistemi basati su regole che modelli di machine learning per analizzare il ritmo del testo.
Codifica dei Dati
Per mantenere il nostro dataset organizzato, seguiamo linee guida specifiche per la codifica. Questo include strutturare i dati in modo che siano facili da accedere e analizzare. Ogni poesia è formattata per mostrare righe, parole, suoni e ritmo.
Per ogni riga di poesia, includiamo dettagli su quando la riga inizia e finisce nella registrazione audio. Questo livello di dettaglio consente ai ricercatori di vedere non solo il testo, ma anche come viene interpretato. Queste informazioni possono fornire spunti su come diversi aspetti della poesia, come ritmo e suono, interagiscono con la parola scritta.
Analisi dei dati
Una volta costruito il dataset, analizziamo i dati raccolti per ottenere informazioni significative. Questo implica guardare alla durata media delle parole e delle sillabe per capire come si relazionano alla lunghezza complessiva delle righe e delle poesie.
Valutiamo diversi modelli utilizzati per il conteggio delle sillabe per vedere quanto sono accurati. Esploriamo anche la relazione tra la lunghezza delle parole e quanto tempo ci vuole a dirle ad alta voce. Questa analisi rivela schemi interessanti che mostrano connessioni tra la struttura del testo e la performance orale.
Visualizzazione del corpus
Per rendere il nostro dataset accessibile, abbiamo sviluppato un sito web. Questa piattaforma consente agli utenti di interagire con le poesie ed esplorare diverse funzionalità. Gli utenti possono selezionare un poeta e una poesia specifica, quindi visualizzare il testo accanto alla sua scansione.
Mentre gli utenti ascoltano l'audio, possono seguire il testo, creando un'esperienza coinvolgente. Anche se la versione attuale si concentra su righe e loro ritmi, speriamo di includere in futuro informazioni sonore più dettagliate.
Opportunità di ricerca futura
Il lavoro che abbiamo fatto apre a molte possibilità per ricerche future. Con il nostro dataset, i ricercatori possono indagare come lo stress poetico viene espresso nella parola parlata. C'è potenziale per studiare come le emozioni o il sentimento nelle parole influenzano il modo in cui vengono dette.
Ad esempio, includendo poeti e stili più diversi, potremmo confrontare come vari ritmi vengono recitati. Questo ci aiuterebbe a capire se strutture poetiche diverse portano a schemi di parlato simili.
Inoltre, incorporare elementi visivi, come video di letture poetiche, potrebbe aggiungere un ulteriore livello di profondità all'analisi. Questo consentirebbe uno studio più completo su come la poesia viene vissuta attraverso suono e vista.
Conclusione
Abbiamo creato una collezione unica di poesie che connette il testo con le letture audio, arricchita da un'analisi del ritmo. Questo dataset offre nuovi modi di guardare come suono e significato lavorano insieme nella poesia.
Continuando a sviluppare il nostro corpus, puntiamo a includere una gamma più ampia di poeti e poesie. Facendo questo, possiamo approfondire la nostra comprensione della poesia e della sua performance. Questo progetto ha il potenziale di unire vari campi, tra cui letteratura, linguistica e acustica, offrendo nuove intuizioni sulla bellezza della poesia.
Titolo: Creating an Aligned Corpus of Sound and Text: The Multimodal Corpus of Shakespeare and Milton
Estratto: In this work we present a corpus of poems by William Shakespeare and John Milton that have been enriched with readings from the public domain. We have aligned all the lines with their respective audio segments, at the line, word, syllable and phone level, and we have included their scansion. We make a basic visualization platform for these poems and we conclude by conjecturing possible future directions.
Autori: Manex Agirrezabal
Ultimo aggiornamento: 2024-07-26 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2407.18730
Fonte PDF: https://arxiv.org/pdf/2407.18730
Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://en.wikipedia.org/wiki/Aryabhatiya
- https://github.com/aparrish/gutenberg-poetry-corpus
- https://github.com/manexagirrezabal/shakespeare_milton_multimodal
- https://creativecommons.org/licenses/by/4.0/
- https://en.wikipedia.org/wiki/Sonic_Visualiser
- https://github.com/waynegraham/for_better_for_verse
- https://github.com/bncolorado/CorpusSonetosSigloDeOro
- https://proyectoremetca.weebly.com/
- https://www.versologie.cz/en/kcv.html
- https://www.gutenberg.org/ebooks/1041
- https://www.gutenberg.org/ebooks/26
- https://librivox.org/shakespeares-sonnets/
- https://librivox.org/paradise-lost-by-john-milton-2/
- https://github.com/readbeyond/aeneas
- https://github.com/Kyubyong/g2p
- https://github.com/glample/tagger