Analisi del Sentimento del Conflitto Ucraina-Russia in Europa dell'Est

Il conflitto in corso tra Ucraina e Russia è stato un tema caldo sui social come Twitter. La gente esprime le proprie opinioni e sentimenti su questa situazione in vari modi. Per capire meglio questi sentimenti, possiamo usare una tecnica chiamata analisi del sentimento basata su aspetti (ABSA). Questo metodo ci aiuta a esaminare come le persone si sentono riguardo a specifici aspetti legati al conflitto, come le loro opinioni su Russia o Ucraina.

#Importanza dei Modelli Linguistici

Negli ultimi anni, i modelli linguistici di grandi dimensioni (LLM) sono diventati strumenti importanti per analizzare i sentimenti nei testi. Questi modelli sono addestrati per capire il linguaggio e possono classificare i sentimenti in modo efficace. Tuttavia, abbiamo notato che modelli più piccoli e sintonizzati possono comportarsi altrettanto bene, se non meglio, in compiti specifici, soprattutto quando si tratta di testi più brevi come i tweet.

#Focus sulle Lingue dell’Europa dell'Est

La maggior parte della ricerca sull'analisi del sentimento si è concentrata sull'inglese e su altre lingue molto parlate. Tuttavia, manca uno studio sulle lingue dell'Europa dell'Est, in particolare quelle parlate nei paesi del Gruppo di Visegrad (V4)-Repubblica Ceca, Slovacchia, Polonia e Ungheria. Questo studio ha l'obiettivo di colmare il divario affinando diversi LLM per classificare i sentimenti nei tweet di questi paesi riguardo al conflitto Ucraina-Russia.

#Raccolta Dati

Per condurre questa ricerca, abbiamo raccolto una grande quantità di dati da Twitter usando la loro API accademica. Ci siamo concentrati su tweet che menzionavano parole chiave legate al conflitto e abbiamo limitato la raccolta a tweet in ceco, slovacco, polacco e ungherese. Dopo aver raccolto i dati, li abbiamo divisi in tre dataset specifici per lingua per l'analisi.

#Annotazione dei Dati

Ogni dataset richiedeva un'annotazione manuale per categorizzare i sentimenti espressi nei tweet. Abbiamo etichettato ogni tweet come negativo, neutro o positivo in base al sentimento verso Ucraina o Russia. Il nostro obiettivo era assicurarci che ogni categoria fosse rappresentata in modo equo all'interno dei dataset.

#Sintonizzazione dei Modelli Linguistici

Dopo aver annotato i tweet, abbiamo sintonizzato diversi modelli linguistici-BERT, BERTweet, Llama2, Llama3 e Mistral-sui nostri dataset. Abbiamo anche testato come la traduzione dei tweet in inglese influenzasse le prestazioni dei modelli. Abbiamo usato diversi metodi di traduzione: uno usando il traduttore di Helsinki e un altro usando DeepL.

#Impostazione Sperimentale

Abbiamo progettato una serie di esperimenti per valutare quanto bene i modelli potessero classificare i sentimenti. Abbiamo esaminato diversi fattori come la lingua del tweet, il modello utilizzato e se il tweet fosse stato tradotto in inglese. Misurando l'accuratezza e altri parametri di performance di ogni impostazione, abbiamo cercato di identificare quali combinazioni portassero ai migliori risultati.

#Risultati Chiave

1. Prestazioni del Modello: Llama2 e Mistral hanno superato gli altri modelli nella maggior parte degli scenari, raggiungendo risultati all'avanguardia quando sintonizzati sui dataset specifici. Sorprendentemente, Llama3, nonostante avesse nuove funzionalità, non ha performato bene come Llama2.

2. Effetti della Traduzione: La maggior parte dei modelli ha ottenuto risultati migliori sulle traduzioni in inglese dei tweet rispetto ai tweet nella lingua originale. Lo strumento di traduzione DeepL ha generalmente fornito risultati migliori rispetto al traduttore di Helsinki.

3. Variabilità Linguistica: Abbiamo scoperto che i tweet polacchi erano spesso classificati in modo errato, indicando che i modelli hanno avuto più difficoltà con questa lingua rispetto ad altre. Questo potrebbe essere dovuto alla complessità dei sentimenti espressi nei tweet polacchi riguardo al conflitto.

4. Impatto della Dimensione dei Dati: La dimensione dei nostri dataset di addestramento variava, e abbiamo osservato che dataset più grandi portano solitamente a una migliore performance dei modelli. Tuttavia, anche dataset più piccoli hanno mostrato potenzialità per la sintonizzazione in compiti specifici, particolarmente nella classificazione dei sentimenti a due valori.

5. Bias del Modello: I modelli linguistici tendono a riflettere i bias presenti negli annotatori umani. Ad esempio, quando i tweet contenevano sentimenti misti, i modelli a volte li classificavano erroneamente basandosi solo su contesti negativi generali.

#Conclusione

Questo studio evidenzia le sfide e le opportunità nell'analisi del sentimento legata al conflitto Ucraina-Russia, in particolare nelle lingue dell'Europa dell'Est poco rappresentate. Utilizzando modelli linguistici sintonizzati, abbiamo dimostrato che è possibile classificare efficacemente i sentimenti nei tweet, contribuendo alla comprensione delle opinioni pubbliche. I nostri risultati indicano le notevoli differenze nelle prestazioni dei modelli tra le lingue e l'importanza di considerare il contesto culturale nell'analisi del sentimento. Questa ricerca getta le basi per futuri studi che esploreranno la classificazione dei sentimenti in un contesto più ampio, inclusi dataset sintetici e diverse architetture di modelli.

#Lavoro Futuro

In futuro, pianifichiamo di indagare ulteriormente come i bias influenzino la classificazione dei sentimenti. Inoltre, miriamo a creare più dataset sintetici che possano aiutare a valutare vari aspetti del sentimento in modo più dettagliato. Questo potrebbe fornire una migliore comprensione di come l'opinione pubblica cambi nel tempo e di come diversi fattori influenzino il sentimento relativo a conflitti in corso.

Espandendo gli strumenti e i metodi che utilizziamo, speriamo di migliorare la nostra capacità di analizzare i sentimenti in più lingue e contesti, portando a maggiori intuizioni sul sentimento pubblico riguardo a questioni globali importanti.