Combinare lingue e immagini per la sintesi medica

Nella sanità, è importante riassumere le domande mediche dei pazienti per aiutare i dottori a capire e rispondere meglio. Man mano che le informazioni mediche diventano più complesse, molti studi si sono concentrati solo sul testo, ignorando l'utilità delle immagini. Inoltre, la maggior parte della ricerca ha trattato solo domande mediche in inglese. Questo lavoro mira a combinare domande mediche in hindi e inglese insieme a immagini per fornire un quadro più chiaro della condizione di un paziente.

Per colmare questa lacuna, abbiamo creato un nuovo dataset chiamato Multimodal Medical Codemixed Question Summarization (MMCQS). Questo dataset include domande mediche che mescolano hindi e inglese, insieme a supporti visivi come immagini. Questa combinazione aiuta a dare più contesto ai problemi medici dei pazienti, rendendo più facile riassumere le loro domande in modo accurato.

Abbiamo anche introdotto un sistema chiamato MedSumm, che utilizza modelli di linguaggio di grandi dimensioni (LLM) e modelli di linguaggio visivo (VLM) per il riassunto delle domande mediche. Sfruttando il nostro dataset MMCQS, mostriamo che l'aggiunta di informazioni visive può portare a riassunti più dettagliati e utili. Questo approccio può migliorare la comunicazione nella sanità e potrebbe portare a migliori cure mediche in futuro.

#Importanza del Riassunto delle Domande Mediche

Nel campo della sanità, c'è un significativo divario tra il numero di dottori e la crescente popolazione. Rapporti recenti indicano una carenza di operatori sanitari, il che ha spinto l'uso della telemedicina. La pandemia di COVID-19 ha aumentato l'uso di internet per i servizi sanitari, rendendo cruciale la comunicazione efficace tra pazienti e dottori. Una delle principali sfide che affrontano i dottori è capire rapidamente le domande poste dai pazienti.

Creare uno strumento di riassunto per le domande mediche può aiutare a estrarre le informazioni essenziali dalle richieste dei pazienti. Questo garantisce che i dottori possano fornire risposte accurate e tempestive. Sebbene la ricerca passata abbia fatto progressi nel riassumere domande mediche basate su testo, spesso ha trascurato l'inclusione di immagini, che possono chiarire sintomi e condizioni difficili da descrivere a parole.

I pazienti possono avere difficoltà a esprimere i propri sintomi in modo accurato. Ad esempio, potrebbero confondere condizioni simili come secchezza della pelle e eruzioni cutanee. Combinando testo e immagini, i riassunti delle domande mediche possono ottenere maggiore chiarezza. Questo approccio riconosce che l'incorporazione di elementi visivi può fornire un contesto essenziale per comprendere le preoccupazioni di un paziente.

#Sfide con i Modelli Esistenti

I Modelli di Linguaggio di Grandi Dimensioni (LLM) e i Modelli di Linguaggio Visivo (VLM) hanno mostrato grandi promesse nel generare testi e contenuti multimediali simili a quelli umani. La loro applicazione nel campo medico si è principalmente concentrata su compiti specifici come il riassunto delle radiografie e la generazione di referti TC. Tuttavia, riassumere domande mediche che includono sia testo che immagini rimane un'area per lo più inesplorata.

Una limitazione dell'uso dei normali LLM e VLM è che potrebbero mancare di conoscenze specializzate nei campi medici. Potrebbero produrre riassunti che trascurano dettagli critici come sintomi e test diagnostici. Inoltre, mentre i VLM si sono distinti in compiti visivi tipici, le immagini mediche presentano sfide uniche che richiedono una conoscenza approfondita della terminologia medica.

Inoltre, l'aumento della comunicazione multilingue ha portato le persone a passare spesso tra le lingue. Nonostante l'interesse crescente per il code-mixing in vari campi, c'è ancora una carenza di dataset di qualità nel dominio medico. Questa situazione spinge la motivazione dietro il nostro studio per esplorare un contesto codemixed.

#Dataset MMCQS

#Raccolta Dati

Prima di questo studio, non esisteva un dataset disponibile per il riassunto di domande codemixed multimodali che includesse sia testo che segnali visivi. Per creare il nostro dataset, abbiamo utilizzato l'esistente dataset HealthCareMagic. Questo dataset originariamente aveva oltre 226.000 campioni, ma dopo aver rimosso i duplicati, abbiamo iniziato con circa 226.000 voci.

Per capire quali sintomi medici potessero essere espressi meglio attraverso le immagini, ci siamo consultati con un professionista medico. Dopo discussioni, abbiamo identificato 18 sintomi che sono più difficili da descrivere a parole e li abbiamo classificati in quattro gruppi: Orecchio, Naso e Gola (ENT), Occhi, Arti e Pelle.

Le immagini per questi sintomi sono state raccolte utilizzando l'API di ricerca immagini Bing e sono state verificate per accuratezza da un team di studenti di medicina guidato da un esperto medico. Il nostro dataset finale contiene 3.015 campioni con un mix di testo in hindi e inglese, insieme a immagini corrispondenti.

#Annotazione Dati

Abbiamo selezionato casualmente 100 campioni da questo dataset per il processo di annotazione. Esperti medici hanno sviluppato linee guida per garantire che le immagini mediche fossero incorporate correttamente nelle domande dei pazienti. L'annotazione è stata poi divisa in tre categorie:

1. Incorporazione di Segnali Visivi: Gli esperti medici hanno aggiunto immagini rilevanti basate sul contesto della domanda del paziente. Ad esempio, se un paziente menziona tonsille, verrebbe inclusa un'immagine che illustra tonsille gonfie.

2. Aggiornamento dei Riassunti Golden: Gli esperti medici hanno rivisto i riassunti esistenti per allinearli meglio alla natura multimodale delle domande.

3. Annotazione Codemixed Hindi-Inglese: Alcune annotazioni sono state create per includere un mix di hindi e inglese, riflettendo il modo in cui molti pazienti comunicano.

La qualità dell'annotazione è stata garantita formando studenti di medicina post-laurea sotto la guida di esperti medici. I dati sono stati valutati in base a criteri come fluenza e informatività.

#Metodologia: Framework MedSumm

MedSumm è il nostro framework proposto per riassumere domande mediche. Prende due input: la query codemixed del paziente e i segnali visivi associati. Il framework ha tre fasi principali:

1. Rappresentazione della Domanda e del Sintomo Visivo: La domanda del paziente viene trasformata in un formato che codifica sia le informazioni testuali che quelle visive.

2. Metodi di Adattamento: Per ottimizzare gli LLM per compiti specifici del dominio, abbiamo utilizzato tecniche efficienti come QLoRA, che consente al modello di adattarsi senza necessitare di risorse extensive.

3. Inferenza: L'ultima fase prevede l'uso del modello adattato per generare il riassunto basato sulla query del paziente e sui segnali visivi.

#Rappresentazione Testuale e Visiva

La domanda del paziente viene catturata come un passaggio testuale che esprime le sue preoccupazioni mediche. In questo framework, utilizziamo modelli di linguaggio avanzati come LLaMA e GPT-3, che hanno dimostrato di essere più efficaci nel codificare dati testuali.

Per la rappresentazione visiva, utilizziamo Vision-Transformers (ViT), che elaborano le immagini e le convertono in embeddings. Utilizziamo anche una proiezione lineare per integrare gli embeddings visivi in un'area testuale condivisa, permettendo al modello di gestire entrambi i tipi di informazioni.

#Valutazione delle Performance

Per valutare l'efficacia dei nostri modelli di riassunto, abbiamo diviso il dataset MMCQS in set di addestramento, validazione e test. Abbiamo utilizzato vari metriche come ROUGE, BLEU, BERT score e METEOR per la valutazione automatica. Un gruppo di esperti medici e studenti ha assistito nella valutazione umana basata su metriche specifiche che tengono conto dell'accuratezza dei fatti medici inclusi nei riassunti.

#Risultati della Valutazione

Nei nostri esperimenti, i risultati hanno mostrato che il framework MedSumm ha superato altri modelli su tutte le metriche definite. L'integrazione di segnali visivi ha dimostrato di migliorare significativamente il processo di riassunto.

Nelle valutazioni umane, la qualità dei riassunti generati dai modelli multimodali è stata giudicata più favorevolmente rispetto ai modelli unimodali. I punteggi di valutazione clinica hanno riflesso una maggiore rilevanza e coerenza. La nuova metrica che abbiamo introdotto, chiamata MMFCM, ha anche evidenziato quanto bene i modelli abbiano catturato fatti medici rilevanti.

#Considerazioni Etiche

Quando si riassumono informazioni mediche, le considerazioni etiche sono fondamentali. Abbiamo adottato diverse misure per garantire la sicurezza e la privacy dei pazienti nel nostro studio. Questo ha comportato una stretta collaborazione con professionisti medici, ottenendo le necessarie approvazioni etiche e attenendosi rigorosamente alle normative legali.

Il nostro dataset si basa sui dati del dataset HealthCareMagic, e abbiamo garantito che le identità dei pazienti fossero protette durante tutto questo processo. L'uso di immagini e dati visivi è stato effettuato sotto la supervisione di esperti medici per mantenere elevati standard etici.

#Conclusione e Lavori Futuri

Questo studio evidenzia l'importanza di utilizzare informazioni visive nel riassumere domande mediche, insieme all'introduzione del dataset MMCQS. Il nostro framework, MedSumm, combina modelli di linguaggio e visivi per generare riassunti accurati delle richieste dei pazienti.

Guardando al futuro, puntiamo ad ampliare il nostro lavoro sviluppando un modello di linguaggio visivo più avanzato che possa includere dettagli sull'intensità e la durata dei sintomi nei futuri riassunti. Abbiamo anche in programma di esplorare l'integrazione di video medici e altre lingue, concentrandoci particolarmente sulle lingue a bassa risorsa comunemente usate in India.

In sintesi, aggiungere elementi visivi alle richieste dei pazienti può migliorare notevolmente la qualità e l'accuratezza dei riassunti medici, portando a una migliore comunicazione e risultati nella sanità.