Un nuovo metodo per valutare la qualità degli articoli di Wikipedia

Wikipedia è una enorme biblioteca online dove la gente condivide conoscenze in tante lingue diverse. Ci sono oltre 300 lingue diverse su Wikipedia, e ognuna ha il suo gruppo di editor volontari che scrivono e migliorano gli articoli. Però, la qualità di questi articoli può variare molto. Alcuni articoli sono super dettagliati e ben ricercati, mentre altri possono essere solo poche righe. I volontari cercano di tenere traccia di quanto è buona ogni articolo, ma con così tanti cambiamenti che avvengono tutto il tempo, è difficile per loro rimanere aggiornati.

Per aiutare con questo problema, abbiamo creato un nuovo modo per controllare la qualità degli articoli di Wikipedia senza doverci basare su lingue specifiche. Il nostro approccio usa caratteristiche dalla struttura degli articoli stessi piuttosto che dal contenuto. Questo significa che, indipendentemente dalla lingua, possiamo valutare la qualità degli articoli in modo più coerente.

#Capire la Necessità di Valutazione della Qualità

Wikipedia è uno dei siti web più visitati al mondo e funge da fonte significativa di informazioni per molte persone. La sua popolarità significa che la qualità degli articoli è fondamentale. Tuttavia, gli articoli differiscono notevolmente in qualità. Alcuni sono completi, facili da leggere e ben documentati, mentre altri mancano di dettagli e affidabilità.

I volontari hanno sviluppato criteri per valutare la qualità degli articoli, e controllano e aggiornano regolarmente queste valutazioni. Ma a causa dei cambiamenti costanti, mantenere queste valutazioni attuali è un compito difficile. Anche se sono stati creati alcuni sistemi automatizzati per valutare la qualità degli articoli, spesso si concentrano su lingue specifiche e richiedono molto lavoro manuale per raccogliere dati di addestramento.

#Il Nostro Approccio: Caratteristiche Indipendenti dalla Lingua

Per superare le sfide della valutazione della qualità tradizionale, proponiamo un sistema che usa caratteristiche indipendenti dalla lingua. Questo significa che estraiamo caratteristiche specifiche dalla struttura degli articoli, che possono essere applicate a qualsiasi lingua.

Abbiamo identificato sei caratteristiche chiave che possono aiutare a valutare la qualità degli articoli di Wikipedia:

1. Lunghezza della Pagina: Misura quanti caratteri ci sono in un articolo. Articoli più lunghi potrebbero suggerire maggiore profondità, ma le diverse lingue hanno modi diversi di esprimere le stesse idee.

2. Riferimenti: Conta quanti tag di riferimento sono presenti rispetto alla lunghezza della pagina. Gli articoli buoni tendono ad avere più riferimenti, in quanto permettono ai lettori di verificare le informazioni.

3. Sezioni: Conta il numero di intestazioni usate nell'articolo. Gli articoli ben strutturati spesso hanno più sezioni.

4. Wikilink: Misura quanti link ad altri articoli di Wikipedia sono presenti. I link aiutano i lettori a trovare ulteriori informazioni correlate.

5. Categorie: Conta semplicemente quante categorie appartiene un articolo. Le categorie aiutano a organizzare i contenuti e rendono più facile per gli utenti trovare.

6. Media: Conta quanti file multimediali (come immagini o video) sono inclusi. Gli articoli con contenuti multimediali sono tipicamente più coinvolgenti.

Usando queste caratteristiche, possiamo costruire un dataset che include informazioni da miliardi di revisioni di articoli in tutte le lingue su Wikipedia.

#Estrazione dei Dati da Wikipedia

Gli articoli di Wikipedia non sono fissati; cambiano nel tempo man mano che gli editor aggiungono o modificano contenuti. Ogni cambiamento viene salvato come una revisione, che include il contenuto attuale dell'articolo e dettagli aggiuntivi come chi ha fatto il cambiamento e quando.

Per creare il nostro dataset, abbiamo estratto il contenuto Wikitext da ogni revisione di ogni articolo in tutte le lingue disponibili fino alla fine del 2022. Ci siamo concentrati solo su pagine che sono articoli reali, ignorando redirect o pagine di discussione.

Per estrarre le caratteristiche menzionate prima, abbiamo usato un metodo chiamato espressioni regolari per setacciare il testo in modo efficiente. Questo ci ha permesso di creare un dataset con oltre 2 miliardi di revisioni, con ogni riga contenente l'ID di revisione dell'articolo, l'ID della pagina e i valori per le nostre sei caratteristiche.

#Analizzando il Dataset

Dopo aver raccolto il dataset, volevamo vedere come le caratteristiche variassero tra le versioni linguistiche più grandi di Wikipedia guardando le ultime revisioni di ogni articolo. Ci siamo concentrati sulle prime nove lingue: inglese, tedesco, francese, spagnolo, italiano, russo, giapponese, cinese e vietnamita.

Analizzando visivamente le distribuzioni di ogni caratteristica, abbiamo scoperto che gli articoli di Wikipedia in inglese avevano generalmente lunghezze più lunghe e più riferimenti rispetto agli altri. Tuttavia, Wikipedia giapponese si è distinta per avere un numero maggiore di sezioni e wikilink per articolo. Al contrario, Wikipedia vietnamita aveva molti articoli brevi, spesso creati da bot.

#Modellazione della Qualità degli Articoli

Il nostro metodo per valutare la qualità degli articoli include due passaggi: apprendere l'importanza di ogni caratteristica e impostare soglie per determinare cosa rende un articolo "di alta qualità".

Nel primo passaggio, abbiamo usato un piccolo campione di articoli per assegnare pesi a ciascuna caratteristica in base a quanto contribuiscono a un buon punteggio di qualità. Nel secondo passaggio, abbiamo guardato agli articoli che hanno performato meglio e usato quei dati per impostare benchmark per ciò che qualifica come alta qualità.

Per esempio, se il top 5% degli articoli di Wikipedia in inglese ha una media di 14 categorie, allora un articolo con 5 categorie avrebbe un punteggio più basso, mentre uno con 20 avrebbe un punteggio più alto.

#Creazione di Punteggi di Qualità

Con il nostro dataset di caratteristiche, ora possiamo applicare il nostro modello per prevedere la qualità degli articoli di Wikipedia nelle diverse lingue. Ogni articolo ottiene un punteggio tra 0 e 1 basato sulle sue caratteristiche. Abbiamo anche incluso ID che rimandano allo stesso articolo in Wikidata, rendendo più facile fare riferimento a essi attraverso le diverse lingue.

Abbiamo esaminato i punteggi di qualità per le nove versioni linguistiche più attive per diversi anni. In generale, abbiamo notato che la qualità è migliorata costantemente per molte di queste versioni, probabilmente a causa dello sforzo degli editor per espandere e migliorare gli articoli. Tuttavia, la qualità degli articoli su Wikipedia vietnamita è fluttuata di più, con molti di essi generati da bot.

#Valutazione del Nostro Modello

Per giudicare quanto bene funziona il nostro approccio, abbiamo confrontato i nostri punteggi di qualità previsti con le valutazioni reali fatte dagli editor di Wikipedia. Abbiamo selezionato articoli di prova da Wikipedia in inglese e francese e abbiamo estratto le loro etichette di qualità verificate.

Assicurandoci che gli articoli usati per la valutazione non fossero cambiati significativamente dalla loro ultima valutazione, abbiamo creato un dataset bilanciato tra vari livelli di qualità. Dopo aver eseguito il nostro modello su questo dataset, abbiamo confrontato le sue previsioni con le etichette di qualità assegnate dagli editor.

I risultati ci hanno mostrato che il nostro modello potrebbe catturare la qualità generale degli articoli, ma ha avuto difficoltà con alcune classificazioni specifiche. Abbiamo trovato casi in cui il nostro modello ha previsto la qualità di un articolo un gradino più bassa rispetto a quella ottenuta, specialmente per etichette di alta qualità.

#Confronto con Altri Modelli

Abbiamo anche testato il nostro modello contro due sistemi di base: ORES, progettato specificamente per la Wikimedia Foundation, e un modello Random Forest. Il modello Random Forest è stato particolarmente utile per determinare il valore delle nostre caratteristiche indipendenti dalla lingua.

Quando abbiamo confrontato le prestazioni del nostro modello, abbiamo trovato che ORES generalmente ha superato il nostro in tutte le metriche. Tuttavia, il nostro modello ha mostrato potenzialità, in particolare in Wikipedia francese, dove ha performato altrettanto bene o meglio del Random Forest in certi confronti.

#Applicazioni nel Mondo Reale e Ricerca Futura

I dataset che abbiamo generato e il nostro framework di valutazione della qualità hanno varie applicazioni. I ricercatori possono monitorare come la qualità degli articoli cambia nel tempo nelle diverse versioni linguistiche, cercando modelli e lacune nei contenuti. Il nostro approccio può anche aiutare a valutare l'impatto di progetti collaborativi mirati a migliorare argomenti specifici su Wikipedia.

Inoltre, combinare i nostri dati con risorse esistenti potrebbe portare a possibilità di ricerca migliorate. Per esempio, potremmo valutare come la qualità degli articoli si relaziona alla loro affidabilità o misurare gli effetti delle modifiche anonime sulla qualità complessiva.

Sebbene ci siamo concentrati su articoli in inglese e francese per i test, espandere la nostra valutazione per includere dati da altre lingue rafforzerà le nostre scoperte.

#Considerazioni Etiche e FAIR

I dati che abbiamo utilizzato provengono da fonti pubblicamente disponibili. Non abbiamo interagito con utenti singoli né utilizzato informazioni private. Siamo impegnati a garantire che i nostri dataset aderiscano ai principi di Findable, Accessible, Interoperable, e Reusable (FAIR).

I nostri dataset sono disponibili per chiunque e li abbiamo documentati chiaramente per facilitare l'uso nella ricerca futura. Non si anticipano conseguenze dannose da questo lavoro, poiché si concentra sul miglioramento dell'accesso alla conoscenza attraverso le barriere linguistiche.

#Conclusione

Abbiamo introdotto un framework indipendente dalla lingua per valutare la qualità degli articoli di Wikipedia. Trasformando l'enorme quantità di dati non strutturati in un formato più gestibile, possiamo produrre punteggi di qualità per gli articoli basati sulla loro struttura piuttosto che solo sul loro contenuto.

Questa risorsa dovrebbe supportare una vasta gamma di comunità di ricerca rendendo il ricco contenuto di Wikipedia più accessibile. Andando avanti, aspiriamo a valutare il nostro modello con un set più ampio di lingue, promuovendo ulteriormente l'equità della conoscenza attraverso la comunità globale di Wikipedia.