Valutare il riconoscimento vocale nelle storie orali multilingue

Questo articolo guarda a quanto siano efficaci i sistemi di Riconoscimento Vocale quando vengono addestrati su lingue diverse. In particolare, stiamo confrontando i sistemi che funzionano con una sola lingua (Monolingue) con quelli che possono gestire due lingue (Bilingue) o tre lingue (trilingue). Il nostro obiettivo è capire se usare più lingue aiuti quando si lavora con una collezione unica di registrazioni di storia orale. Queste registrazioni sono preziose perché catturano ricordi e storie personali, specialmente da persone che hanno vissuto eventi significativi come l'Olocausto.

#Importanza della Storia Orale

La storia orale è una parte essenziale per capire il nostro passato. Include interviste e registrazioni che mantengono vivi i ricordi per le generazioni future. Tuttavia, queste registrazioni possono essere difficili da accedere e analizzare a causa delle loro dimensioni e delle lingue coinvolte. Raccogliere e condividere queste storie in modo comprensibile è una sfida che affrontiamo oggi.

Una collezione prominente su cui ci siamo concentrati è MALACH, che contiene interviste a sopravvissuti dell'Olocausto. Questo archivio contiene testimonianze in 32 lingue diverse, rendendolo una risorsa ricca ma complessa. Il linguaggio naturale in queste interviste spesso include errori, mescolanza di lingue e vari accenti, il che rende difficile trascrivere accuratamente queste registrazioni.

#Sfide con il Riconoscimento Vocale

Nonostante i progressi nella tecnologia, utilizzare sistemi di riconoscimento vocale automatico (ASR) per trascrivere queste registrazioni non è semplice. Le interviste spesso includono discorsi spontanei che possono essere poco chiari o difficili da seguire. Ci sono frasi in lingue miste, espressioni emotive e i relatori sono spesso più anziani, il che può influenzare la chiarezza. A causa di questi fattori, volevamo vedere se addestrare i sistemi ASR con modelli bilingue e trilingue potesse migliorare la qualità della trascrizione.

#Domande di Ricerca

Nella nostra ricerca, abbiamo posto diverse domande chiave:

1. Aggiungere dati vocali in tedesco a un modello ASR inglese potrebbe aiutare a trascrivere meglio le frasi in lingue miste?
2. I modelli bilingue funzionerebbero meglio dei modelli monolingue per questo compito?
3. Come si confrontano i modelli trilingui – potrebbero essere ancora più efficaci?
4. Un grande modello ASR multilingue funzionerebbe meglio di modelli separati per ogni lingua?

Per rispondere a queste domande, abbiamo condotto molti esperimenti focalizzandoci su inglese, tedesco e ceco, le tre lingue ben rappresentate sia nella nostra collezione unica di storia orale sia in un dataset pubblico chiamato CommonVoice.

#Storia della Ricerca

Il progetto MALACH originale è andato dal 2001 al 2006 e mirava a creare sistemi ASR per questo ricco archivio. Negli anni, i miglioramenti nella tecnologia ASR hanno portato a prestazioni migliori, anche se le sfide rimangono. Gli ultimi modelli hanno raggiunto un'accuratezza notevole, ma pochi si sono concentrati specificamente su modelli bilingue e trilingue.

#Comprendere il Modello Wav2Vec

Wav2Vec è un tipo di modello ASR che utilizza tecniche di deep learning. Elabora segnali audio grezzi e genera una rappresentazione della voce nelle registrazioni. Questo modello passa attraverso due fasi principali: prima apprende da solo a catturare schemi nel linguaggio; poi viene ottimizzato con dati etichettati per migliorare la sua accuratezza nella generazione del testo.

#Lingue Selezionate per lo Studio

Abbiamo scelto inglese, tedesco e ceco per la nostra analisi. Queste lingue rappresentano diversi rami della famiglia linguistica indoeuropea. Frasi in tedesco appaiono spesso nell'archivio MALACH, mentre l'inglese è la lingua più studiata. Il ceco aggiunge diversità, provenendo da un ramo linguistico diverso. Questa miscela ci consente di testare come lingue simili possano influenzare l'efficacia dei modelli ASR.

#Modelli di Pre-addestramento

Abbiamo iniziato il nostro studio con un modello Wav2Vec pre-addestrato su una grande quantità di audio inglese. Per tedesco e ceco, abbiamo raccolto quantità simili di dati di addestramento per garantire equità. Abbiamo poi creato modelli monolingue per ogni lingua e modelli bilingue che combinavano lingue diverse. Infine, abbiamo sviluppato un modello trilingue che integrava tutte e tre le lingue.

#Ottimizzazione e Dataset

Per testare i nostri modelli, abbiamo utilizzato sia l'archivio MALACH che il dataset CommonVoice. Entrambi i dataset richiedevano di pulire le trascrizioni e garantire qualità. Abbiamo bilanciato i dati di addestramento per tutte le lingue per evitare che una lingua dominasse i risultati.

Per MALACH, abbiamo selezionato un numero uguale di ore di dati di addestramento per ogni lingua, concentrandoci su mantenere coerenza nella qualità e nel contesto del discorso.

#Risultati e Analisi

Attraverso i nostri esperimenti, ci siamo concentrati sul tasso di errore delle parole (WER), una misura di quanti errori fa il sistema di riconoscimento vocale. Abbiamo confrontato i modelli monolingue, bilingue e trilingue su entrambi i dataset.

I nostri risultati hanno mostrato che, in molte situazioni, i modelli monolingue hanno superato i modelli bilingue e trilingue. Aggiungere più lingue durante il pre-addestramento non ha migliorato le prestazioni e, in alcuni casi, ha causato un aumento del tasso di errore. Questo è stato sorprendente poiché ci aspettavamo che i modelli multilingue gestissero meglio le frasi in lingue miste.

Nonostante le sfide, la nostra ricerca ha fornito spunti su come elaborare al meglio i registri di storia orale. Abbiamo scoperto che addestrare modelli separati per ogni lingua ha dato i migliori risultati, specialmente per mantenere l'accuratezza.

#Modelli Multilingue su Grande Scala

Abbiamo anche esaminato modelli più grandi e multilingue come Wav2Vec-XLS-R e Whisper. Anche se questi modelli spesso funzionavano meglio dei modelli più piccoli, richiedevano più potenza di calcolo e risorse. Per applicazioni pratiche, questo può essere un significativo svantaggio, poiché il costo e l'impatto ambientale di elaborare ogni parola diventano notevoli.

#Conclusione

La nostra ricerca evidenzia l'importanza di scegliere il giusto approccio quando si tratta di collezioni di storia orale multilingue. Anche se i modelli multilingue su larga scala possono offrire vantaggi, comportano un costo significativo. I modelli monolingue spesso forniscono la migliore accuratezza per i compiti di trascrizione se applicati correttamente, specialmente a dataset complessi come MALACH.

In generale, questo lavoro contribuisce agli sforzi in corso per preservare e condividere il nostro patrimonio culturale attraverso la tecnologia. Migliorando la qualità della trascrizione delle storie orali, possiamo garantire che queste preziose storie sopravvivano per le generazioni future.