Usare ChatGPT nella farmacovigilanza: Idee attuali

Con l'aumento di grandi programmi informatici che possono capire e generare testo, c'è stata molta attenzione su come questi strumenti possano aiutare nel campo medico. Questo articolo guarda a come uno di questi programmi, ChatGPT, può aiutare in un processo chiamato Farmacovigilanza, che riguarda il monitoraggio della sicurezza dei farmaci. L'obiettivo principale è trovare e raccogliere informazioni sugli effetti dannosi o sui possibili benefici dei farmaci da fonti mediche scritte.

#Cos'è la Farmacovigilanza?

La farmacovigilanza è importante nell'assistenza sanitaria. Aiuta a identificare, valutare e prevenire problemi legati alla sicurezza dei farmaci. Quando i dottori prescrivono farmaci, devono assicurarsi che siano sicuri per i loro pazienti. Questo include prestare attenzione agli effetti collaterali, che sono effetti indesiderati dei farmaci. Per farlo, è necessario raccogliere e analizzare informazioni da vari testi, come rapporti medici o cartelle cliniche.

Con la creazione di sempre più record elettronici, c'è una crescente necessità di sistemi che possano estrarre rapidamente e con precisione informazioni sugli eventi legati ai farmaci. Uno di questi metodi si chiama Estrazione di eventi, che organizza e raccoglie informazioni specifiche da testi medici densi.

#Sforzi di Ricerca Precedenti

Gli studi precedenti si sono concentrati principalmente su compiti semplici, come l'identificazione di termini specifici o relazioni tra parole nel testo. Recentemente, è stato sviluppato un nuovo dataset per la farmacovigilanza. Questo dataset aiuta a identificare e classificare Eventi avversi e terapeutici potenziali, suddividendoli in parti essenziali come il paziente coinvolto, il trattamento somministrato e i risultati osservati.

Sono stati testati diversi modelli per vedere quanto funzionano in questo contesto, inclusi quelli progettati per gestire compiti di estrazione di dati strutturati. L'introduzione di modelli linguistici di grandi dimensioni (LLM) come ChatGPT ha aperto nuove possibilità in questo campo.

#Il Potenziale di ChatGPT

Nella nostra ricerca, puntiamo a scoprire quanto sia efficace ChatGPT per l'estrazione di eventi di farmacovigilanza. Ci concentriamo particolarmente su diversi modi di chiedere al modello di eseguire il compito, confrontando le sue prestazioni con modelli più piccoli e specializzati addestrati specificamente per questo scopo.

I primi test mostrano che, mentre ChatGPT può produrre buoni risultati con i giusti suggerimenti, spesso non funziona altrettanto bene rispetto ai modelli che sono stati addestrati appositamente. Abbiamo anche esplorato se ChatGPT potesse generare dati aggiuntivi per migliorare le prestazioni. Sfortunatamente, i test indicano che i dati generati possono a volte introdurre rumore, il che significa che potrebbe confondere il modello piuttosto che aiutarlo. Regolare i metodi di filtraggio utilizzati per ripulire questi dati può portare a prestazioni più stabili, ma c'è ancora margine di miglioramento.

#Come Viene Testato ChatGPT?

#Zero-Shot Prompting

Per il primo metodo di test, chiamato zero-shot prompting, forniamo a ChatGPT istruzioni chiare su cosa fare senza dargli esempi. Abbiamo provato quattro approcci diversi per stimolare il modello:

• Schema: Fornire un elenco di tipi di eventi e dei tipi di informazioni necessarie.
• Spiegazione: Aggiungere più dettagli sulle istruzioni e su cosa significa ciascun tipo di informazione.
• Codice: Usare testo mescolato con codice per specificare come dovrebbe apparire l'output.
• Pipeline: Porre domande a ChatGPT in modo graduale, prima sulle informazioni principali, poi su dettagli correlati.

#Few-Shot Prompting

Per un altro metodo chiamato few-shot prompting, forniamo a ChatGPT alcuni esempi insieme alle istruzioni. Il modo in cui scegliamo gli esempi può influenzare i risultati. Diverse strategie includono:

• Random: Scegliere esempi senza alcun ordine particolare.
• SBERT: Scegliere esempi basati su quanto sono simili in significato alla frase di test.
• BM25: Selezionare esempi basati sulle parole effettivamente usate nella frase di test.
• TreeKernel: Scegliere esempi basati su somiglianze strutturali nelle frasi.

#ChatGPT come Generatore di Dati

Oltre a estrarre informazioni, abbiamo anche esaminato se ChatGPT potesse creare nuovi esempi per l'addestramento. Per questo, prenderemmo un esempio dal nostro set di addestramento e chiederemmo a ChatGPT di generare una frase che segua una struttura simile. Tuttavia, abbiamo notato che ChatGPT a volte non menzionava farmaci specifici o, curiosamente, abusava di alcuni medicinali come l'ibuprofene.

Per risolvere questo, abbiamo cercato di limitare il numero di nomi di farmaci nelle frasi generate. Tuttavia, semplicemente aggiungendo questi esempi generati al set di addestramento spesso risultava in una performance inferiore. Per affrontare il problema della qualità nei dati generati, abbiamo introdotto metodi di filtraggio per mantenere solo esempi in cui il modello è ragionevolmente sicuro delle sue risposte.

#Configurazione dell'Esperimento

Abbiamo usato un dataset speciale chiamato PHEE che consiste in rapporti medici in inglese. Questo dataset ha fornito informazioni per due categorie principali: eventi avversi ed eventi terapeutici potenziali. Una sfida importante era che alcune parti del dataset avevano incoerenze nelle informazioni fornite.

Per assicurarci che i nostri dati fossero affidabili, abbiamo fatto alcune correzioni manuali alle annotazioni nel dataset, concentrandoci su problemi legati a specifici tipi di eventi. In totale, avevamo circa 5.000 frasi, che abbiamo suddiviso in set di addestramento, validazione e test.

#Confronto tra ChatGPT e Altri Modelli

Abbiamo confrontato le prestazioni di ChatGPT con quelle di altri due modelli popolari: un modello sequenziale progettato specificamente per estrarre informazioni e un altro modello addestrato su vari compiti. I risultati hanno mostrato che ChatGPT ha faticato quando non sono stati forniti esempi, ma le sue prestazioni sono migliorate significativamente quando sono stati dati esempi.

#L'Impatto dell'Aggiunta di Dati

Abbiamo anche esaminato come l'uso di dati generati da ChatGPT per l'addestramento abbia influenzato le prestazioni di uno degli altri modelli. I risultati hanno indicato che semplicemente aggiungendo questi dati sintetizzati potrebbe in realtà danneggiare le prestazioni. Tuttavia, quando abbiamo filtrato attentamente i dati, le prestazioni sono migliorate e sono diventate più vicine ai risultati dell'addestramento originale mantenendo stabilità.

Esaminando da vicino questi errori, abbiamo scoperto che molti erano legati a confusione su come identificare correttamente le diverse parti di una frase. Alcuni errori provenivano anche da problemi legati a annotazioni incoerenti.

#Conclusione

La nostra ricerca mostra che, sebbene ChatGPT abbia alcune capacità nell'aiutare con l'estrazione di eventi di farmacovigilanza, i modelli addestrati specificamente lo superano ancora in molti scenari. Anche se l'idea di utilizzare dati generati sembrava promettente, ha portato a confusione piuttosto che chiarezza.

Il lavoro futuro dovrebbe concentrarsi sullo sviluppo di migliori controlli di qualità per i dati generati e sul miglioramento dei metodi di estrazione di informazioni dettagliate da testi medici. La complessità delle informazioni trovate in tali testi rende il compito impegnativo, ma i progressi in quest'area potrebbero portare a sistemi più affidabili ed efficaci per monitorare la sicurezza dei farmaci.

#Considerazioni Future

Andando avanti, sarebbe utile indagare altri modelli linguistici di grandi dimensioni per vedere come si confrontano con ChatGPT in termini di capacità di estrazione. Esplorare metodi che utilizzano il ragionamento potrebbe anche rivelarsi utile, poiché hanno mostrato promesse in altre aree della ricerca biomedica.

Inoltre, potrebbe essere utile incorporare approcci più strutturati nel processo di selezione delle dimostrazioni, poiché questo potrebbe fornire approfondimenti preziosi e migliorare le prestazioni nell'estrazione degli eventi di farmacovigilanza.

In sintesi, sebbene ci siano sfide nell'usare modelli linguistici di grandi dimensioni come ChatGPT per l'analisi dei testi medici, c'è molto potenziale per future ricerche in quest'area. Con sforzi continui per superare le barriere attuali, potremmo aprire la strada a strumenti più affidabili ed efficienti nel campo del monitoraggio della sicurezza dei farmaci.