Migliorare gli strumenti di geolocalizzazione per gli sforzi umanitari

La Geolocalizzazione è il processo di determinare dove si trova fisicamente una persona o un oggetto. Nel lavoro umanitario, sapere dove serve aiuto è fondamentale. Questo include identificare gruppi vulnerabili, comprendere problemi in corso e sapere dove sono disponibili risorse. Le organizzazioni umanitarie creano un sacco di documenti e rapporti, risultando in una grande quantità di testo che deve essere analizzato.

I recenti progressi nella tecnologia di Natural Language Processing (NLP) possono aiutare a estrarre informazioni chiave da questi rapporti. Tuttavia, non è chiara la performance degli attuali strumenti di estrazione delle informazioni, né i possibili bias che potrebbero avere.

Questo lavoro si propone di creare risorse migliori per elaborare testi umanitari. Si concentra sul migliorare gli strumenti che identificano nomi specifici di località nei testi, noti come strumenti di Named Entity Recognition (NER). I due strumenti NER popolari utilizzati sono Spacy e roBERTa. Introduciamo un metodo chiamato FeatureRank che collega le località identificate a un database completo di nomi geografici conosciuto come GeoNames.

Abbiamo scoperto che addestrare questi strumenti con dati da documenti umanitari non solo migliora la loro precisione, ma aiuta anche a ridurre il bias a favore delle località nei paesi occidentali. Il nostro studio mostra che abbiamo bisogno di più risorse da documenti non occidentali per assicurarci che questi strumenti funzionino bene in vari contesti.

#Comprendere il Problema

Gli sforzi umanitari generano enormi quantità di dati e rapporti da una vasta gamma di organizzazioni che lavorano in tutto il mondo. Ad esempio, la Federazione Internazionale delle Società di Croce Rossa e Mezzaluna Rossa opera in 192 paesi, con quasi 14 milioni di volontari.

Per gestire le informazioni prodotte, sono stati creati strumenti come la Piattaforma di Inserimento e Esplorazione Dati (DEEP). Questa piattaforma aiuta le organizzazioni a compilare e organizzare la loro documentazione.

In un mondo stracolmo di informazioni, l'estrazione automatizzata delle informazioni può rendere più facile trovare intuizioni utili. I recenti progressi nel Deep Learning e nell'NLP permettono di identificare dettagli significativi nei testi e di classificarli, il che può aiutare a condividere conoscenze in modo efficace.

La geolocalizzazione è un aspetto importante del lavoro umanitario. Essa si estende su vaste aree, da interi paesi a piccole località come villaggi o campi profughi. Le informazioni sulla posizione accurate sono cruciali, soprattutto in vista degli Obiettivi di Sviluppo Sostenibile, che mirano a garantire che nessuno venga trascurato quando si tratta di supporto.

Purtroppo, molte fonti di dati per addestrare modelli mostrano un bias verso le località occidentali. Molti database di località favoriscono gli Stati Uniti e altre nazioni occidentali, mentre fonti alternative come Twitter e Wikipedia non sono ben rappresentate nei paesi del Sud globale.

Per affrontare questo problema, puntiamo a creare strumenti che elaborino accuratamente dati umanitari diversificati, garantendo che tutti i paesi siano trattati equamente nella raccolta delle informazioni.

#Creare uno Strumento di Estrazione Geolocalizzata

In questo studio, collaboriamo con partner umanitari per produrre uno strumento specializzato di estrazione geolocalizzata mirato all'elaborazione di documenti da progetti umanitari. Questo strumento opera in due compiti chiave:

1. Geotagging - Identificare segmenti di testo che si riferiscono a località geografiche.
2. Geocoding - Associare queste località identificate con coordinate geografiche esatte.

Contribuiamo con due dataset per questi compiti, uno focalizzato sul geotagging e l'altro sul geocoding. I rapporti umanitari vengono annotati da specialisti per identificare potenziali nomi di località, che vengono poi collegati a voci in GeoNames, un vasto database geografico.

Utilizzando questi dataset annotati, miglioriamo le prestazioni degli strumenti NER esistenti, raggiungendo tassi di precisione più elevati sui nostri dataset target. Il nuovo metodo di geocoding, FeatureRank, viene valutato rispetto ad altri approcci di base nella letteratura.

#Letteratura Correlata

La Named Entity Recognition (NER) identifica entità importanti nei testi, solitamente concentrandosi su persone, organizzazioni e località. I modelli iniziali utilizzavano metodi di machine learning tradizionali, ma i progressi dal 2011 hanno visto l'introduzione delle reti neurali, che permettono di costruire modelli più adattabili.

Recenti modelli grandi pre-addestrati come BERT hanno migliorato le capacità dei sistemi NLP, consentendo una rappresentazione efficace del testo senza la necessità di avere accesso diretto a enormi quantità di dati.

Tuttavia, pochissimi studi si sono occupati specificamente della NER geografica nei contesti umanitari. La maggior parte degli approcci si è concentrata sull'elaborazione del testo generale, con applicazioni limitate alle uniche sfide dei dati umanitari.

Questa mancanza di attenzione alla NER geografica è significativa, soprattutto considerando i bias che potrebbero emergere dal fare affidamento solo su dati focalizzati sull'Occidente.

#Raccolta Dati e Annotazione

Per costruire i nostri dataset, utilizziamo informazioni dal database HumSet, che fa parte della piattaforma DEEP. Ogni documento in questo database include estratti rilevanti che sono stati annotati secondo i framework di analisi umanitaria. Questi documenti provengono da varie fonti, tra cui rapporti di organizzazioni umanitarie e articoli di media.

Il dataset è multilingue, con la maggior parte in inglese, spagnolo e francese. I documenti includono vari tipi di contenuti, da testo a immagini e tabelle. Utilizziamo un parser per estrarre e pulire il testo, scartando elementi non testuali.

Svolgiamo due compiti di annotazione principali: geotagging e geocoding.

#Annotazione: Geotagging

Per il geotagging, abbiamo selezionato 500 documenti in lingua inglese dal database HumSet. Questa selezione mira a includere il maggior numero possibile di località diverse, mantenendo traccia della distribuzione dei paesi nel dataset.

Utilizziamo pre-annotazioni per semplificare il processo di etichettatura. Questo implica eseguire modelli di base per suggerire potenziali località nel testo, che gli annotatori poi possono rivedere e correggere.

Gli annotatori categorizzano i termini di località come letterali (che si riferiscono direttamente a un luogo) o associativi (che indicano una relazione con un luogo senza nominarlo direttamente).

#Dataset di Geotagging Annotato

Il dataset annotato risultante include oltre 11.000 nomi di località estratti dai 500 documenti selezionati.

Le località più frequentemente menzionate nel nostro dataset includono Libia, Siria e Afghanistan, evidenziando aree di preoccupazione umanitaria in corso.

#Annotazione: Geocoding

Il secondo dataset annotato supporta il compito di geocoding, dove i nomi di località identificati vengono collegati alle loro coordinate geografiche. Per questo, utilizziamo il database GeoNames, che contiene milioni di voci geografiche.

Prepariamo i toponimi per l'analisi attraverso processi di pulizia e abbinamento accurati. Il nostro team di annotazione, guidato da esperti, lavora per mappare questi nomi toponimi alle voci corrispondenti in GeoNames.

#Personalizzare la Geolocalizzazione per i Testi Umanitari

Successivamente, valutiamo i metodi di geotagging e li ottimizziamo con i nostri dati annotati. Valutiamo le prestazioni dei modelli NER Spacy e roBERTa e utilizziamo sia punteggi di corrispondenza esatta che parziale.

Scopriamo che addestrare questi modelli con dati umanitari aggiuntivi migliora significativamente le loro prestazioni. Inoltre, vediamo che i modelli diventano meno di parte man mano che vengono ottimizzati.

Le nostre scoperte indicano che combinare l'output di entrambi i modelli può portare a risultati ancora migliori, soprattutto quando si tratta di trovare un numero maggiore di corrispondenze corrette.

#Approcci al Geocoding

Valutiamo i metodi di geocoding esistenti nella letteratura, che si concentrano sul risolvere i toponimi in località specifiche. Un metodo favorisce punti di riferimento inequivocabili nel testo, mentre un altro raggruppa le località candidate in base alla prossimità.

Tuttavia, proponiamo un approccio di geocoding personalizzato basato su caratteristiche che considera non solo la distanza geografica, ma anche le caratteristiche demografiche e geopolitiche. Questo metodo, chiamato FeatureRank, valuta i candidati in base a vari criteri e li classifica di conseguenza.

Durante la nostra valutazione, confrontiamo le prestazioni di FeatureRank rispetto a metodi di base e osserviamo che il nostro metodo personalizzato produce risultati superiori.

#Studio di Applicazione

Infine, applichiamo il nostro algoritmo di estrazione di toponimi ottimizzato e di geocoding personalizzato a un grande dataset di documenti umanitari. Sebbene ci manchi una verità fondamentale per una valida convalida, analizziamo i bias nelle località identificate sia dai modelli di base che dalle nostre versioni ottimizzate.

Notiamo che i modelli di base tendono a evidenziare più località negli Stati Uniti e in Europa, riflettendo un bias occidentale. Al contrario, i nostri modelli ottimizzati indicano una distribuzione più equilibrata delle località identificate in diverse regioni, comprese aree non coperte dai dati di addestramento.

#Conclusione

Nel corso del nostro lavoro, abbiamo dimostrato che i dati di addestramento dal settore umanitario possono migliorare le prestazioni degli strumenti NER per la geolocalizzazione. Questo non solo migliora la precisione, ma sembra anche ridurre i bias a favore delle località occidentali.

Le nostre scoperte sottolineano l'importanza di valutazioni sistematiche per rilevare bias negli strumenti di estrazione dei dati. Mentre continuiamo a rifinire questi strumenti, è fondamentale rispondere in modo efficace alle esigenze delle popolazioni vulnerabili.

C'è ancora molto lavoro da fare per migliorare le capacità di questi modelli e garantire che possano adattarsi al panorama in evoluzione delle esigenze umanitarie. Ci auguriamo che le risorse e le linee guida fornite in questo studio incoraggino ulteriori progressi in questo campo.