Studio comparativo delle architetture GPT nella scienza dei materiali

I modelli di linguaggio grandi (LLMs) sono diventati molto popolari sia nell'intelligenza artificiale che in altri campi. Uno dei tipi di modelli più riconosciuti è il Generative Pre-trained Transformer (GPT). Sono uscite diverse versioni di GPT, ciascuna addestrata in condizioni diverse, il che ha reso difficile confrontarle direttamente. Questo studio analizza da vicino due versioni open-source popolari di GPT: GPT-NeoX e LLaMA. Abbiamo utilizzato Frontier, il primo supercomputer Exascale al mondo, per analizzare le loro Prestazioni. Entrambi i modelli sono stati addestrati sullo stesso set di testi di Scienza dei Materiali, permettendoci di valutare quanto bene funzionano in vari compiti.

#Importanza della Scienza dei Materiali

La scienza dei materiali gioca un ruolo vitale nella vita quotidiana, come nei trasporti e nell'immagazzinamento dell'energia. Coinvolge la comprensione dei materiali esistenti per crearne di nuovi. Sono stati sviluppati molti modelli di linguaggio naturale per interpretare la letteratura sulla scienza dei materiali, ma la maggior parte è limitata a compiti specifici e non può essere utilizzata in modo ampio. Il nostro obiettivo è costruire un modello di base solido utilizzando il framework GPT che possa essere applicato sia a testi generali che a compiti scientifici specifici.

#Panorama Attuale dei Modelli di Linguaggio

Dal momento dell'introduzione dell'architettura Transformer, i modelli basati su di essa hanno cambiato il panorama dell'intelligenza artificiale. I due principali modelli di linguaggio sono BERT, che si concentra sulla comprensione del testo, e GPT, che genera testo. I modelli GPT hanno dimostrato prestazioni migliori man mano che aumentano dimensioni e dati, mentre le prestazioni di BERT non si sono ampliate allo stesso modo. Sono state sviluppate molte versioni di GPT, inclusi GPT-1 fino a GPT-4, GPT-NeoX e LLaMA, tra gli altri. Anche se questi modelli hanno raggiunto alte prestazioni, la maggior parte della ricerca si è concentrata sui loro risultati senza affrontare perché sono state fatte certe scelte architettoniche.

#Un Nuovo Approccio per la Ricerca Scientifica

Con la crescente importanza degli LLM, sta emergendo un nuovo metodo nell'IA per i campi scientifici. Questo prevede la creazione di un modello di base imparando da dati scientifici senza supervisione. Una volta addestrato, questo modello può essere perfezionato per diversi compiti scientifici. Sono stati fatti vari tentativi in diverse aree, ma a nostra conoscenza non è stato creato alcun modello di base specificamente per la scienza dei materiali.

#Indagare sulle Architetture GPT

Esamineremo da vicino le due varianti di GPT, GPT-NeoX e LLaMA, concentrandoci su come si comportano quando addestrate nello stesso modo. La nostra analisi coprirà le prestazioni zero-shot e few-shot, il che significa quanto bene rispondono a domande senza un addestramento esplicito o con solo pochi esempi. Introdurremo anche un nuovo compito scientifico per testare le loro capacità.

#Efficienza Energetica nella Costruzione di LLM

Costruire LLM è di solito molto dispendioso in termini di risorse e costoso. Calcolare quanto bene questi modelli utilizzano la potenza computazionale e l'energia è cruciale. Tradizionalmente, la ricerca sugli LLM si è basata pesantemente sulle piattaforme GPU NVIDIA. Nel nostro studio, esploreremo quanto bene le framework di addestramento funzionano su Frontier, che è dotato di GPU AMD.

#Contributi dello Studio

Questa ricerca ha portato a diversi contributi chiave:

1. Abbiamo confrontato due architetture GPT popolari, GPT-NeoX e LLaMA, valutando i loro processi di addestramento.
2. Abbiamo pre-addestrato e reso disponibile un set di modelli di base specificamente per la scienza dei materiali, chiamato MatGPT.
3. Abbiamo proposto un nuovo compito scientifico e raggiunto prestazioni ottimali su un benchmark significativo nella scienza dei materiali.
4. Abbiamo stabilito metriche di base e consigli pratici per costruire LLM su piattaforme che utilizzano GPU AMD.

Sebbene il nostro focus sia sulla scienza dei materiali, gli approcci che descriviamo possono applicarsi anche ad altri campi.

#Contesto sui Modelli di Linguaggio

L'evoluzione dei modelli di linguaggio è stata rapida dal 2018. L'introduzione dell'architettura Transformer nel 2017 ha aperto la strada a vari tipi di modelli. Inizialmente, i modelli che si concentravano sulla comprensione del testo, come BERT, erano più comuni. Tuttavia, dopo il rilascio di GPT-3, la tendenza si è spostata verso modelli che possono generare testo, portando alla popolarità delle architetture di modelli solo decoder.

Nella scienza dei materiali, i modelli di linguaggio sono stati applicati per analizzare le pubblicazioni esistenti. Studi precedenti hanno mostrato come i modelli word2vec potessero essere utilizzati per raccomandazioni di materiali funzionali, ma questi modelli hanno capacità limitate. Sono emersi modelli specifici per il dominio come MatSciBERT, ma continuano a faticare con la generalizzazione.

#Fonti di Dati per Costruire MatGPT

Per costruire MatGPT, abbiamo raccolto dati da una varietà di fonti, inclusi CORE, Microsoft Academic Graph, Aminer e SCOPUS. Solo da SCOPUS, abbiamo raccolto abstract da circa 6 milioni di pubblicazioni correlate alla scienza dei materiali. Dopo aver filtrato attraverso un processo di classificazione utilizzando un modello fine-tuned, abbiamo finito con oltre 26 milioni di abstract e 300.000 testi completi, che ammontano a circa 15 miliardi di token.

#Scelte di Architettura del Modello

Abbiamo costruito MatGPT utilizzando GPT-NeoX e LLaMA come le nostre architetture di base. Ogni modello utilizza metodi di tokenizzazione diversi: LLaMA utilizza il tokenizer SentencePiece, mentre GPT-NeoX utilizza il tokenizer HuggingFace. Entrambi sfruttano gli embedding posizionali rotatori per prestazioni migliorate. Abbiamo selezionato attentamente le specifiche del modello, come il numero di strati e le dimensioni nascoste, per garantire prestazioni computazionali ottimali.

#Approcci di Addestramento

Per addestrare i modelli, abbiamo utilizzato una pipeline ben strutturata che permetteva un'efficiente scalabilità sull'architettura di Frontier. Abbiamo fatto alcune adattamenti ai framework di addestramento esistenti, integrando tecniche di ottimizzazione avanzate che aiutano a mitigare la perdita durante la fase di addestramento.

Man mano che diventavamo più familiari con l'architettura unica delle GPU AMD su Frontier, abbiamo notato come elementi come l'attenzione flash abbiano grandemente impattato le prestazioni. Questa tecnica ha ridotto la complessità dei calcoli, consentendoci di migliorare significativamente l'uso della memoria e la velocità di addestramento.

#Applicazione Scientifica dei Modelli di Linguaggio

Uno dei nostri principali sforzi scientifici è stato dimostrare l'efficacia di MatGPT nel predire le proprietà del band gap dei materiali. Il band gap è cruciale per determinare i comportamenti elettrici e ottici dei materiali. Le previsioni del nostro modello si basavano sull'integrazione sia dei dati sulla struttura dei materiali che degli embedding LLM.

Abbiamo condotto esperimenti approfonditi su questo compito. Utilizzando dati provenienti da vari materiali, siamo stati in grado di mostrare come l'integrazione degli embedding di MatGPT fornisse un significativo miglioramento rispetto ai modelli esistenti basati su Graph Neural Networks (GNNs).

#Risultati e Confronti

Nelle nostre valutazioni di entrambe le architetture, abbiamo confrontato il throughput di addestramento, le perdite di validazione e le prestazioni in vari compiti. I risultati suggerivano che entrambi i modelli generalmente si comportavano in modo simile su benchmark di linguaggio standard. Tuttavia, l'architettura LLaMA mostrava lievi vantaggi in alcuni test.

Inoltre, è stata analizzata l'efficienza energetica dei nostri processi di addestramento. L'uso di energia durante l'addestramento è stato monitorato e confrontato, dimostrando che anche se il numero di modelli addestrati era alto, il consumo energetico era relativamente gestibile.

#Prestazioni Zero-shot e Few-shot

I test delle prestazioni zero-shot hanno dimostrato quanto bene i modelli potessero affrontare compiti senza addestramento precedente. I nostri risultati indicavano che, sebbene LLaMA e GPT-NeoX mostrassero lievi differenze in alcuni compiti, le prestazioni complessive erano relativamente equilibrate e la qualità dei dati giocava un ruolo chiave.

Quando abbiamo valutato le prestazioni few-shot, abbiamo notato che aggiungere esempi poteva aiutare a migliorare l'accuratezza in alcune aree. Tuttavia, entrambi i modelli generalmente hanno mostrato buone prestazioni in condizioni few-shot, specialmente in compiti che richiedevano ragionamento logico e informazioni fattuali.

#Fine-tuning per Compiti Specifici

Oltre ai compiti generici, il fine-tuning per applicazioni scientifiche è stato un punto saliente del nostro studio. MatGPT non solo ha eccelso nei compiti di domanda-risposta, ma si è dimostrato anche efficace nei compiti di regressione, che richiedono previsioni numeriche.

I risultati hanno confermato che i modelli addestrati su un dataset più grande e con un numero maggiore di parametri producono risultati migliori nei compiti predittivi.

#Osservazioni Finali e Conclusioni

La nostra ricerca illustra l'importanza crescente degli LLM nell'indagine scientifica e sottolinea la necessità di metodologie chiare quando si impiegano questi modelli su piattaforme di calcolo ad alte prestazioni. Questo studio evidenzia la capacità di due architetture popolari fornendo allo stesso tempo intuizioni che possono avvantaggiare altri campi scientifici.

Creando e condividendo MatGPT per la scienza dei materiali, speriamo di favorire ulteriori sviluppi nel dominio, assicurandoci di sfruttare i più recenti progressi nell'intelligenza artificiale per applicazioni concrete.

#Ringraziamenti

Questo lavoro è stato supportato da varie iniziative di finanziamento per garantire lo sviluppo di modelli di linguaggio avanzati. I nostri risultati contribuiscono agli sforzi in corso per democratizzare le tecnologie avanzate nella ricerca scientifica.