Far progredire la radiologia con piccoli modelli linguistici

I Piccoli Modelli Linguistici (SLMs) stanno diventando popolari grazie alla loro utilità in compiti linguistici generali. Tuttavia, la loro efficacia in aree specializzate come la radiologia è ancora in fase di studio. Questo lavoro esamina come gli SLMs possano aiutare nella radiologia, in particolare nel rispondere a domande sui sintomi, le immagini mediche, la diagnosi, la prognosi e i trattamenti per varie malattie.

Ci concentriamo sul fine-tuning del modello Phi-2, che ha 2,7 miliardi di parametri, usando contenuti di qualità da Radiopaedia, una risorsa online di radiologia ben nota. Il nostro nuovo modello, Rad-Phi2-Base, è in grado di gestire domande sulla radiologia in aree come il torace e il cuore.

Esploriamo anche l'istruzione tuning per Phi-2, permettendogli di eseguire compiti specifici. Ottimizzando Phi-2 sia per compiti generali che per compiti di radiologia relativi ai referti di radiografie toraciche, creiamo Rad-Phi2. I nostri test mostrano che Rad-Phi2 può fornire risposte chiare e precise e a volte supera anche modelli più grandi come Mistral-7B-Instruct-v0.2 e GPT-4.

#Contesto

I recenti progressi nel trattamento del linguaggio naturale hanno portato alla creazione di modelli linguistici avanzati in grado di generare testi simili a quelli umani per varie necessità. La maggior parte di questi modelli è addestrata su testi generali, come articoli e libri, che potrebbero non adattarsi bene a campi specializzati come la radiologia. Pertanto, è importante addestrare modelli specificamente per il dominio medico.

La dimensione e la complessità di molti modelli linguistici possono rappresentare un ostacolo al loro utilizzo pratico, in quanto spesso richiedono risorse informatiche significative per funzionare.

In questo lavoro, esaminiamo l'uso di piccoli modelli linguistici per compiti legati alla radiologia. Gli SLMs hanno meno parametri rispetto ai modelli più grandi, rendendoli più accessibili. Phi-2, il nostro modello di base, ha mostrato prestazioni promettenti in compiti di linguaggio generali, ma dobbiamo valutare il suo utilizzo in contesti medici, soprattutto in radiologia.

#Metodologia

#Addestramento del Modello Phi-2

Il modello Phi-2 è stato inizialmente addestrato su dati educativi di alta qualità, simili a quelli che si possono trovare nei libri di testo. Questi dati di addestramento sono stati selezionati con attenzione in base alla loro rilevanza e accuratezza. Utilizziamo questo approccio per addestrare Phi-2 a comprendere meglio la radiologia usando contenuti di Radiopaedia.

Per testare la nostra ipotesi che gli SLMs possano essere resi adatti alla radiologia, ottimizziamo il modello Phi-2 usando coppie di domande e risposte tratte dagli articoli educativi di Radiopaedia. L'obiettivo è creare Rad-Phi2 Base, che sarà in grado di rispondere accuratamente a domande relative ai sintomi e alle apparenze diagnostiche per varie condizioni mediche.

#Istruzione Tuning

Successivamente, ci concentriamo sull'istruzione tuning di Phi-2, dato che tende a generare risposte più lunghe e meno focalizzate. Prima lo ottimizziamo utilizzando compiti generali e poi passiamo a compiti specifici per la radiologia, in particolare per i referti di radiografie toraciche.

Creiamo dataset specifici per l'istruzione tuning. Questi dataset includono compiti come scrivere riassunti, etichettare referti con anomalie ed estrarre risultati rilevanti da referti radiologici esistenti.

#Esperimenti e Valutazione

#Istruzione Tuning nel Dominio Generale

Iniziamo eseguendo l'istruzione tuning su compiti del dominio generale utilizzando il dataset Super Natural Instructions. Questo dataset è composto da molti compiti NLP diversi. Dopo l'ottimizzazione, valutiamo le prestazioni del modello ottimizzato su compiti mai visti prima per misurare il suo miglioramento rispetto al modello Phi-2 originale.

#Risposta a Domande di Radiologia

Successivamente, ottimizziamo il modello per rispondere a domande relative alla radiologia. Confrontiamo le sue prestazioni con quelle di modelli più grandi sullo stesso insieme di domande per vedere come si comporta Rad-Phi2 Base. I nostri test mostrano che Rad-Phi2 Base si comporta bene su tutte le metriche rispetto ai suoi omologhi più grandi.

#Istruzione Tuning Specifico per Compiti

Dopo aver stabilito prestazioni solide nella risposta a domande, ottimizziamo ulteriormente Rad-Phi2 per gestire compiti rilevanti per i referti di radiologia. Effettuiamo una valutazione delle metriche utilizzando il nostro dataset di istruzione tuning appositamente creato.

#Risultati

#Prestazioni dell'Istruzione Tuning

I risultati dell'istruzione tuning rivelano che Rad-Phi2 può rispondere efficacemente a domande su vari argomenti di radiologia e svolgere altri compiti rilevanti. Rispetto ai modelli più grandi, Rad-Phi2 dimostra di poter fornire risposte concise e accurate, essendo anche meno intensivo in termini di risorse.

#Confronto con Modelli Più Grandi

Rad-Phi2 Base ha mostrato prestazioni superiori o competitive rispetto a modelli più grandi come Mistral-7B-Instruct-v0.2 e anche rispetto a GPT-4, in particolare in aree specializzate all'interno della radiologia. I nostri risultati suggeriscono che i modelli più piccoli sono opzioni valide per i flussi di lavoro radiologici.

#Intuizioni sulle Prestazioni dei Compiti

Valutando i vari compiti, scopriamo che Rad-Phi2 si comporta bene nell'estrarre risultati dai referti, scrivere impressioni e confrontare referti precedenti e attuali. Mostra buone prestazioni nell'identificare anomalie e nell'etichettare accuratamente i referti.

#Conclusione

Questo lavoro dimostra l'efficacia dei piccoli modelli linguistici come Rad-Phi2 nel campo della radiologia. Ottimizzando Phi-2 con contenuti educativi di alta qualità, abbiamo creato un modello che si comporta bene nel rispondere a domande e nel svolgere vari compiti rilevanti per i flussi di lavoro di radiologia.

Il futuro dell'IA in radiologia sembra promettente, con modelli come Rad-Phi2 che aprono la strada a pratiche più efficienti ed efficaci. I nostri risultati indicano che l'ottimizzazione dei piccoli modelli linguistici può portare a miglioramenti significativi nelle applicazioni di radiologia, rendendo tali modelli utili per la presa di decisioni cliniche e per migliorare i compiti quotidiani di radiologia.