Dizionario Spagnolo con AI: Una Nuova Frontiera

I dizionari sono strumenti importanti che ci aiutano a capire le parole e i loro significati. Esistono da tanto tempo e vengono usati da tanti. Creare un dizionario può essere un lavoro duro e non è stato fatto molto usando l'intelligenza artificiale, in particolare i Modelli di Linguaggio di Grandi Dimensioni (LLM). Questo articolo parla di un nuovo progetto che ha creato il primo dizionario spagnolo usando l'IA. Questo dizionario, chiamato "Spanish Built Factual Freectianary" (Spanish-BFF), è disponibile gratuitamente e genera definizioni usando un modello chiamato GPT-3.

#Cos'è un dizionario?

Un dizionario è una raccolta di parole disposte in ordine alfabetico e fornisce informazioni sui loro significati. Ci sono diversi tipi di dizionari. Alcuni si concentrano su una sola lingua (monolingue), mentre altri confrontano due lingue (bilingue). Inoltre, i dizionari possono essere generali o focalizzati su argomenti specifici. Questo progetto ha l'obiettivo di costruire un dizionario di uso generale che spiega le parole spagnole.

Anche se l'obiettivo è coprire tutte le parole spagnole, il dizionario potrebbe non includere ogni singolo termine. È un progetto open-source, il che significa che chiunque può contribuire e aiutare a migliorarlo.

#Struttura di un dizionario

Creare un dizionario implica seguire alcune linee guida per assicurarsi che sia facile da usare. Un dizionario ha tre parti principali:

1. Parte Esterna: Questo include qualsiasi informazione extra o istruzioni per gli utenti.
2. Macro-struttura: Questa è la lista delle parole e come sono organizzate. L'organizzazione dipende dal tipo di dizionario che si sta creando.
3. Micro-struttura: Questo riguarda i dettagli per ogni parola, incluso il significato e altre informazioni linguistiche.

Buone definizioni includono vari componenti come il termine generale, il tipo di parola (sostantivo, verbo, ecc.), significati diversi ed esempi di utilizzo. A volte, i dizionari forniscono anche note linguistiche aggiuntive come ortografia, sinonimi e antonimi.

#Ruolo della tecnologia nei dizionari

Con l'aiuto dei computer, creare dizionari è diventato più facile. Grandi quantità di testo possono essere archiviate elettronicamente e il lavoro lessicografico può essere presentato in vari modi. La lessicografia computazionale si è concentrata su dizionari che si basano sull'input umano. Tuttavia, creare dizionari elettronici richiede solitamente risorse e tempo significativi.

Gli LLM moderni possono apprendere da enormi quantità di dati e creare vocaboli senza fare affidamento sui dizionari tradizionali. Rendono risorse simili ai dizionari disponibili per molte persone, ma hanno anche alcune limitazioni, in quanto potrebbero non catturare sempre i significati in evoluzione delle parole.

Recentemente, alcuni approcci hanno utilizzato dizionari per creare embedding delle parole, che sono rappresentazioni numeriche delle parole. Questi metodi puntano a migliorare come i modelli comprendono i significati delle parole utilizzando le informazioni contenute nei dizionari.

#Cosa sono i Modelli di Linguaggio di Grandi Dimensioni?

I Modelli di Linguaggio di Grandi Dimensioni, o LLM, sono sistemi avanzati utilizzati nell'elaborazione del linguaggio naturale (NLP). Uno dei LLM più noti è GPT-3, che genera testo in base all'input fornito. Questo modello crea testo comprendendo le relazioni e i significati delle parole. Le versioni recenti di GPT-3, come InstructGPT e ChatGPT, sono state ottimizzate per migliorare le loro prestazioni in base alle interazioni degli utenti.

Sebbene gli LLM si siano dimostrati efficaci per molte attività di NLP, c'è stata poca attenzione sulla loro capacità di costruire un intero dizionario. Questo progetto punta a esplorare quanto bene GPT-3 può definire nuove parole.

#Il Progetto: Costruire lo Spanish-BFF

La costruzione dello "Spanish Built Factual Freectianary" ha coinvolto diversi passaggi. È stata utilizzata una lista di 66.353 parole spagnole uniche, comprese alcune nuove, per generare definizioni. Le prestazioni di questo nuovo dizionario sono state confrontate con una fonte fidata, il "Diccionario de la Lengua Española."

Durante la fase iniziale, il progetto si è concentrato sulla generazione di definizioni per sostantivi, verbi, aggettivi e avverbi. Il modello scelto, "text-davinci-00", chiedeva definizioni in spagnolo. Per ottimizzare il processo, sono stati testati diversi metodi, portando alla produzione del dizionario finale in circa 30 ore a un costo di circa 40 euro.

#Analisi del Dizionario

Per valutare quanto bene il dizionario funzioni, sono state condotte analisi sia qualitative che quantitative. La qualità è stata valutata osservando quanto bene GPT-3 potesse definire diversi tipi di parole.

#Analisi qualitativa

Nel definire le parole, GPT-3 ha mostrato buone qualità, soprattutto con i sostantivi, che sono stati generalmente definiti correttamente. Tuttavia, alcune definizioni avevano schemi comuni, come iniziare con frasi del tipo "Un [lemma] è...". Questo metodo non dovrebbe ripetere la parola che si sta definendo nella sua descrizione.

#Analisi Quantitativa

La valutazione quantitativa si è concentrata sul misurare quanto bene le definizioni di GPT-3 corrispondessero a quelle della fonte fidata. Metriche come il punteggio BLEU, la distanza di Levenshtein e la similarità coseno sono state utilizzate per analizzare le definizioni. Per le parole con un solo significato, i risultati hanno mostrato che le definizioni di GPT-3 erano più brevi e generalmente di qualità inferiore rispetto a quelle della fonte fidata.

Per quanto riguarda le parole con più significati, la probabilità di corrispondenza delle definizioni è diminuita. Questo è previsto perché entrambi i dizionari si basano sulla frequenza d'uso delle parole e a volte l'ordine delle definizioni differisce.

#Errori nel Dizionario

Nonostante gli sforzi, il dizionario generato aveva degli errori. Alcuni tipi comuni includevano:

1. Definizioni Ripetitive: Circa l'11% delle definizioni iniziava impropriamente ripetendo la parola definita.
2. Scritture Simili: Alcune parole sono state definite in modo errato a causa della confusione con parole simili.
3. Classificazioni Errate: Alcuni sostantivi sono stati erroneamente definiti come verbi.
4. Interferenza Linguistica: Alcune definizioni avevano traduzioni scadenti dallo spagnolo all'inglese, soprattutto con parole poco comuni.
5. Errori Completi: Alcune definizioni erano completamente errate, come definire erroneamente un demonimo come un uccello.

La maggior parte di questi problemi potrebbe essere risolta con migliori suggerimenti per l'IA. Un approccio suggerito è chiedere una definizione "letterale", il che potrebbe aiutare ad evitare alcuni errori comuni.

#Passi Futuri

Il progetto riconosce che creare un dizionario in questo modo è una sfida e ha bisogno di miglioramenti. I piani per il futuro includono il perfezionamento del dizionario spagnolo affrontando gli errori e includendo ulteriori elementi linguistici come esempi e note dettagliate sull'uso. Inoltre, ci sono intenzioni di espandere questo progetto ad altre lingue.

#Conclusione

Lo "Spanish Built Factual Freectianary" è uno sviluppo entusiasmante nella creazione di dizionari utilizzando la tecnologia IA. Anche se ha i suoi difetti, questo progetto getta le basi per futuri avanzamenti sia nell'elaborazione del linguaggio naturale che nella lessicografia. L'obiettivo è spingersi oltre in questo campo e migliorare i dizionari generati nel tempo, rendendo infine le risorse linguistiche più accessibili a tutti.