EndoGPT: Un Nuovo Strumento per la Gestione dei Noduli Tireoidali
EndoGPT aiuta a prendere decisioni sui noduli tiroidei con una precisione notevole.
― 4 leggere min
Indice
I modelli di linguaggio grandi (LLM) possono rispondere a domande mediche, ma la loro capacità di pensare come un dottore è ancora in fase di studio. Gli sviluppi recenti permettono a questi modelli di migliorare le loro risposte senza bisogno di ulteriore formazione. Questo articolo descrive come un modello chiamato EndoGPT venga usato per aiutare nelle decisioni riguardanti i noduli tiroidei.
Cosa Sono i Noduli Tiroidei?
I noduli tiroidei sono dei rigonfiamenti nella ghiandola tiroidea, che si trova nel collo. Molte persone li hanno e nella maggior parte dei casi non sono pericolosi. Tuttavia, alcuni noduli possono essere cancerosi, quindi è necessaria una valutazione attenta. I medici di solito valutano questi noduli basandosi su diverse linee guida per determinare il miglior corso d'azione.
Costruzione di EndoGPT
Per creare EndoGPT, abbiamo esaminato i dati delle note cliniche dei pazienti che sono stati inviati per una valutazione tiroidea. L'obiettivo era fare un assistente che potesse leggere queste informazioni e suggerire una valutazione e un piano (A&P) per la loro gestione. Il modello è stato costruito utilizzando una versione del modello GPT-4.
Abbiamo anche fornito a EndoGPT linee guida rilevanti dall'American Thyroid Association per aiutare a fare raccomandazioni migliori. Organizzando le linee guida in un modo che il modello potesse capire, EndoGPT poteva usare le parti più rilevanti quando generava risposte.
Come Funziona EndoGPT
EndoGPT prende una nota clinica che non include la valutazione dell'esperto. L'assistente poi analizza questa nota e genera un insieme di cinque possibili valutazioni e piani basati sulla situazione del paziente. Un secondo assistente combina queste cinque risposte in una valutazione e piano finale.
Nei primi test, abbiamo messo alla prova EndoGPT su 25 scenari di pazienti per identificare errori e migliorare le sue risposte. Abbiamo preso questi feedback e li abbiamo utilizzati per affinare le prestazioni dell'assistente prima di testarlo su nuovi casi.
Test di EndoGPT
Volevamo vedere quanto bene EndoGPT si comportasse rispetto agli Esperti umani. Lo abbiamo testato su 50 scenari di pazienti e misurato quanto le sue valutazioni suggerite corrispondessero a quelle dei medici esperti. Abbiamo guardato a tre aree principali: (1) diagnosi, (2) necessità di intervento chirurgico, e (3) tipo di intervento chirurgico.
Nel complesso, EndoGPT ha raggiunto un tasso di accordo dell'83% con le valutazioni degli esperti. In 44 su 50 casi, il modello ha completamente corrisposto alla diagnosi dell'esperto. Ha corrisposto parzialmente in 5 casi, portando la concordanza totale per la diagnosi al 93%. Il modello ha anche concordato sulla necessità di intervento chirurgico in 41 su 50 casi, con un tasso di concordanza dell'82%.
Risultati Specifici
Quando l'esperto ha raccomandato l'intervento chirurgico, EndoGPT ha corrisposto al tipo di intervento in 24 su 36 casi. Questo dà una concordanza di circa il 67%. Tuttavia, ci sono aree in cui il modello non ha allineato con le opinioni degli esperti. Ad esempio, ha avuto difficoltà con le specifiche della dissezione dei linfonodi e a volte ha suggerito un intervento chirurgico per noduli benigni che potrebbero non richiederlo.
Alcune discrepanze possono essere emerse perché abbiamo fornito troppa guida al modello durante i test, il che potrebbe portarlo a fare raccomandazioni troppo prudenti. Inoltre, poiché abbiamo valutato solo una singola risposta alla volta, potremmo aver perso casi in cui EndoGPT suggeriva un approccio alternativo più sicuro.
Limitazioni
Anche se EndoGPT mostra potenziale, è importante ricordare che non è inteso a sostituire i medici umani. Invece, potrebbe aiutare nella formazione dei residenti in chirurgia o assistere i medici non specialisti nelle valutazioni preliminari. Può rendere le linee guida mediche più accessibili ai pazienti, offrendo un modo per migliorare la comprensione delle loro opzioni di trattamento.
Direzioni Future
EndoGPT evidenzia come i modelli generali possano essere adattati per compiti medici specifici senza necessità di risorse estese. C'è ancora molto lavoro da fare per garantire che questi modelli forniscano raccomandazioni accurate e sicure. I futuri studi potrebbero coinvolgere pannelli di esperti che valutano le uscite del modello per valutare ulteriormente l'accuratezza e l'affidabilità.
Conclusione
EndoGPT rappresenta un nuovo strumento che potrebbe assistere nella gestione dei noduli tiroidei migliorando il processo decisionale per i fornitori di assistenza sanitaria. Mostra un livello impressionante di accordo con le valutazioni degli esperti, ma affinare le sue raccomandazioni richiederà una ricerca continua. Man mano che vengono condotti più studi, potrebbe diventare una risorsa preziosa per prendere decisioni cliniche, specialmente in aree con linee guida consolidate. L'obiettivo finale è migliorare la cura del paziente mentre si garantisce che l'esperienza umana rimanga al centro.
Titolo: EndoGPT: A Proof-of-concept Large Language Model Based Assistant for the Management of Thyroid Nodules
Estratto: Large language models (LLMs) are increasingly being explored for their potential to simulate clinical reasoning. Here, we demonstrate our initial experience using the GPT-4o LLM along with prompt engineering and knowledge retrieval to develop EndoGPT, a clinical decision support tool for the management of thyroid nodules. In a pilot study of 50 cases, EndoGPT demonstrated an 83% concordance rate with expert surgeons assessments and plans. The highest concordance was in diagnosis (93%), followed by the need for an operation (82%) and type of operation (69%). This work suggests that LLM-based assistants may play a useful role in assisting clinicians in the future.
Autori: Meghal Shah, E. J. Kuo, J. H. Kuo, S. Hsu, C. McManus, R. Liou, J. A. Lee, T. S. Sathe
Ultimo aggiornamento: 2024-05-31 00:00:00
Lingua: English
URL di origine: https://www.medrxiv.org/content/10.1101/2024.05.29.24308002
Fonte PDF: https://www.medrxiv.org/content/10.1101/2024.05.29.24308002.full.pdf
Licenza: https://creativecommons.org/licenses/by-nc/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia medrxiv per l'utilizzo della sua interoperabilità ad accesso aperto.