Affrontare le sfide dei dialetti nella traduzione automatica neuronale

I sistemi di Traduzione automatica neurale (NMT) hanno delle difficoltà quando si trovano di fronte a cambiamenti linguistici. Questi sistemi vanno male anche con lievi variazioni nell'uso di una lingua, come differenze tra parlanti non nativi o cambiamenti nei domini linguistici. Questo problema si estende anche ai Dialetti, ma sono state fatte poche ricerche per testare quanto bene questi sistemi possano tradurre le differenze dialettali. Per affrontare questo, abbiamo creato un nuovo Benchmark che include 891 variazioni di dodici lingue, permettendo test migliori sui sistemi NMT contro questi dialetti. Mostriamo anche le difficoltà che i grandi modelli NMT affrontano quando traducono i dialetti. Tutti i dati e il codice raccolti sono disponibili pubblicamente.

Negli anni 2010, c'è stato un rapido progresso nell'elaborazione del linguaggio naturale (NLP) e nelle tecnologie correlate. Tuttavia, gran parte di questi progressi si concentra su alcune lingue ampiamente usate, trascurando molte variazioni che esistono al loro interno in diverse aree e gruppi sociali. È fondamentale capire queste differenze per poter valutare quanto bene i sistemi attuali possano gestire input più diversificati.

Le lingue possono differire in molti modi. In questo studio, ci concentriamo principalmente sulle variazioni nella lingua scritta e nella grammatica, che possono essere valutate attraverso compiti come la traduzione automatica. Anche se non esploriamo le differenze di pronuncia, riconosciamo la loro importanza per future ricerche.

Un esempio chiave delle sfide di traduzione affrontate dai sistemi NMT riguarda l'italiano. Un sistema di traduzione popolare può tradurre correttamente l'italiano standard, ma fallisce nella traduzione del dialetto di Alassio. Esempi del genere evidenziano le lacune nelle Prestazioni di traduzione.

Per misurare efficacemente queste sfide di traduzione, abbiamo bisogno di esempi contrastivi in cui due frasi dialettali condividono lo stesso significato. Il nostro lavoro mira a colmare questo vuoto.

#Contributi

Il nostro lavoro contribuisce in diverse aree chiave:

1. Abbiamo raccolto dati contrastivi da studi precedenti sui dialetti in tre lingue: italiano (439 varietà), basco (39 varietà) e tedesco svizzero (368 varietà).
2. Abbiamo riutilizzato dati contrastivi da varie fonti per sette lingue aggiuntive: arabo (25 dialetti), occitanico (2 varietà), tigrinya (2 varietà), farsi (2 varietà), malese-indonesiano (2 varietà), swahili (2 varietà) e greco (1 varietà).
3. Abbiamo generato nuovi dati contrastivi per il bengali (5 dialetti) e il curdo centrale (4 dialetti).
4. Abbiamo testato questi dialetti utilizzando modelli avanzati di traduzione automatica, evidenziando le differenze di prestazione.

#Lavori correlati

La traduzione automatica è un'area centrale nell'NLP, con molti studi passati che mirano a migliorare l'efficienza attraverso recenti avanzamenti in vari tipi di modelli. Tuttavia, rimane un grande divario nello sviluppo di modelli efficaci che possano tradurre dialetti e varietà diverse.

Molte ricerche su questo tema si sono concentrate su dialetti arabi, tedesco svizzero, curdo, portoghese e francese. Una delle sfide chiave è raccogliere dati di traduzione sufficienti e creare set di dati appropriati. Gli sforzi passati che hanno esplorato la traduzione per dialetti meno rappresentati hanno ricevuto un certo interesse, ma molte aree necessitano ancora di sviluppo.

Data la mancanza di benchmark per valutare la traduzione tra dialetti, la nostra ricerca serve a fornire uno, con l'obiettivo di misurare le prestazioni dei modelli di traduzione automatica su queste differenze dialettali.

#Il benchmark

Per il nostro benchmark, confrontiamo frasi da una variante linguistica standard con quelle di una variante dialettale, chiamandole contrastive. Questo metodo di contrasto, ampiamente usato negli studi sui dialetti, enfatizza le differenze piuttosto che le somiglianze.

Poiché quest'area di ricerca è relativamente nuova, abbiamo utilizzato tre strategie principali per costruire i nostri set di dati:

• Abbiamo riutilizzato dati esistenti da studi sui dialetti per basco, italiano, tedesco svizzero e occitanico centrale.
• Abbiamo effettuato traduzioni manuali da parte di parlanti nativi per bengali, greco moderno e curdo centrale.
• Abbiamo raccolto dati esistenti per arabo, farsi, malese-indonesiano, tigrinya e swahili.

#Utilizzo di set di dati esistenti

Alcuni lavori hanno già fornito esempi contrastivi per alcune varietà linguistiche. Parte di questo è stato creato per studi sui dialetti precedenti, mentre altri provengono da diverse iniziative di traduzione.

#Raccolta di atlanti sintattici

I ricercatori hanno tradizionalmente raccolto dati dialettali attraverso questionari progettati per catturare come una frase verrebbe espressa in ciascun dialetto. Questo metodo consente una raccolta di dati ricca e un'analisi comparativa. Sebbene la maggior parte delle lingue abbia ricevuto poca attenzione, sono stati fatti alcuni sforzi notevoli, in particolare all'interno delle lingue europee.

#Creazione di nuovi dati

Per varie lingue, tra cui curdo centrale, bengali e occitanico, non siamo riusciti a trovare dati contrastivi esistenti, quindi abbiamo creato piccoli benchmark di valutazione attraverso scraping di dati online e contatti.

#Lingue incluse

Le lingue incluse nel nostro benchmark sono:

• Varietà basche: I dati sono presi dal Database Sintattico Basco, coprendo 39 varianti.
• Varietà italiane: Raccolti dall'Atlante Sintattico Italiano, rappresentando 439 dialetti in tutta Italia.
• Varietà tedesche svizzere: Dati raccolti dall'Atlante Sintattico della Svizzera tedesca, con 368 varianti.
• Vernacoli arabi: Utilizzando dati dal corpus MADAR, con varietà provenienti da 25 città.
• Tigrinya: Dati raccolti dal dataset TICO-19, confrontando varietà eritree ed etiope.
• Farsi e dari: Utilizzando il dataset TICO-19 per le traduzioni.
• Malese e indonesiano: Dati provenienti dal dataset TICO-19, confrontando le due lingue strettamente correlate.
• Swahili: Sia varietà costiere che congolesi dal dataset TICO-19.
• Varietà bengalesi: I dati includono cinque dialetti provenienti da diverse regioni del Bangladesh.
• Varietà curde centrali: Concentrandosi su dialetti delle regioni in Iran e Iraq.

#Valutazione senza riferimenti

Per valutare i sistemi di traduzione automatica tra dialetti, possiamo confrontare le uscite con una traduzione standard. Anche senza traduzioni di riferimento create da esseri umani, possiamo comunque analizzare la robustezza di questi sistemi.

#Note importanti sull’implementazione

Nella nostra analisi, abbiamo misurato le prestazioni utilizzando due metriche: BLEU e COMET. BLEU valuta le traduzioni basandosi sui match di n-gram, mentre COMET fornisce una comprensione più sfumata utilizzando un modello linguistico multilingue. Questi metodi ci danno un modo quantificabile per vedere quanto bene i sistemi gestiscono i dialetti rispetto alle traduzioni standard.

#Risultati e analisi

Abbiamo testato i sistemi di traduzione automatica valutando i dialetti in varie lingue, con particolare attenzione all'inglese come lingua target. I nostri risultati si basano su quattro modelli di diverse dimensioni in grado di tradurre tra 200 lingue.

#Analisi quantitativa

I risultati quantitativi hanno mostrato differenze distinte nelle prestazioni tra le varietà linguistiche. Le varianti tigrinya hanno mostrato punteggi diversi, evidenziando le sfide affrontate nella traduzione dei dialetti. Altre lingue, tra cui farsi e dari, hanno ottenuto punteggi simili, suggerendo che i modelli possono supportare i dialetti con dati di addestramento sufficienti.

#Analisi qualitativa

Un fattore vitale che influisce sui sistemi di traduzione automatica è la diversità nel vocabolario e nella grammatica tra i dialetti. Il processo di standardizzazione di molte lingue spesso porta a trascurare le variazioni regionali, rendendo più difficile per i sistemi di traduzione funzionare bene con dialetti non standard.

#Lavori futuri

Questo lavoro rivela la mancanza di supporto per vari dialetti linguistici nei sistemi di traduzione automatica. Alcuni dialetti se la cavano meglio mentre altri faticano, sottolineando la necessità di ulteriori ricerche in quest'area. Sviluppare più set di dati di addestramento per i dialetti dovrebbe essere una priorità, consentendo prestazioni migliori nella traduzione automatica.

#Conclusione

Questo studio evidenzia le lacune nella qualità della traduzione tra dialetti. Mentre alcuni dialetti mostrano punteggi impressionanti, molti rimangono sotto-rappresentati. Affrontare queste disparità è cruciale per garantire un accesso equo alla traduzione linguistica, evidenziando l'importanza di sviluppare modelli migliori per le variazioni dialettali.