Rilevamento di anomalie senza addestramento nelle immagini mediche

Copyright per questo documento dai suoi autori. Uso permesso sotto Licenza Creative Commons Attribuzione 4.0 Internazionale (CC BY 4.0).

#Rilevamento di anomalie Zero-Shot nelle immagini mediche: ci siamo già?

Quando si tratta di individuare problemi nelle immagini mediche, c'è una tecnica interessante chiamata rilevamento di anomalie zero-shot (ZSAD). Questo metodo mira a trovare problemi senza bisogno di un addestramento speciale solo per quei problemi. In questo articolo, esaminiamo i modelli basati su CLIP. Questi modelli sono stati inizialmente creati per altri compiti, ma vogliamo vedere se possono aiutare a rilevare tumori al cervello usando un dataset specifico chiamato BraTs-MET. Vogliamo capire quanto bene possono segnalare problemi medici senza bisogno di molti dati etichettati. Anche se questi modelli mostrano un certo potenziale, hanno ancora bisogno di qualche aggiustamento prima di essere abbastanza buoni da poter essere affidati ai medici.

#Cos'è il rilevamento di anomalie?

Il rilevamento di anomalie (AD) nelle immagini mediche è fondamentale per individuare e diagnosticare malattie. A volte, anche piccole e rare problematiche vengono trascurate. ZSAD si distingue perché cerca di trovare problemi senza bisogno di esempi di casi insoliti in precedenza. Questo può essere molto utile in medicina visto che ottenere dati etichettati può essere difficile e costoso. La maggior parte dei modelli oggi si basa su grandi dataset che si adattano a compiti specifici. Questo non è il massimo, soprattutto in medicina, dove i dati reali sono spesso complicati da trovare.

Di recente, modelli come CLIP hanno funzionato bene in compiti zero- e few-shot in molti settori. Questi modelli operano utilizzando una grande varietà di coppie immagine-testo. Sono bravi ad adattarsi a nuovi tipi senza bisogno di un esteso riaddestramento. Tuttavia, quanto bene si comportano in medicina, soprattutto quando si cercano problemi sottili, è ancora incerto.

#CLIP e immagini mediche

Questo articolo esamina quanto bene i modelli basati su CLIP possono aiutare a rilevare tumori al cervello. Ci concentriamo sul dataset BraTS perché i tumori al cervello sono comuni e piuttosto difficili da diagnosticare e curare. Questo dataset include immagini MRI con diversi contrasti che aiutano a mostrare varie caratteristiche dei tumori al cervello. Tutte le immagini sono state preparate con attenzione in modo standard, incluso il loro formato e il miglioramento delle immagini per evidenziare aree chiave.

Per il nostro studio, abbiamo usato una porzione dei dati di BraTS, prendendo le immagini di 165 pazienti. Abbiamo diviso i dati in set di addestramento e test per valutare quanto bene funzionano i nostri modelli. Abbiamo usato una maschera target specifica per identificare l'intero tumore, combinando varie parti tumorali per facilitare l'apprendimento dei nostri modelli.

#Come funziona il rilevamento di anomalie zero-shot

CLIP è uno strumento potente perché allinea immagini e testo in uno spazio condiviso, permettendogli di lavorare con una supervisione minima. ZSAD è un po' diverso dai metodi tradizionali. Invece di addestrarsi su categorie di problemi specifici, cerca di trovare schemi insoliti nelle immagini basandosi su ciò che ha appreso dalle immagini normali. Per fare questo, il modello osserva le somiglianze tra le caratteristiche delle immagini e il testo.

Di conseguenza, confronta le caratteristiche delle immagini con descrizioni normali e insolite. Il modello calcola quanto sono simili queste caratteristiche e utilizza queste informazioni per creare un punteggio su quanto è probabile che sia presente un'anomalia.

Ci sono diversi tipi di modelli che adattano CLIP per il rilevamento di anomalie nelle immagini mediche. Ecco alcuni dei più notabili:

1. AnomalyCLIP: Questo modello utilizza idee generali di ciò che potrebbe essere normale o anormale e si concentra sulle anomalie senza doversi preoccupare degli oggetti specifici nelle immagini.

2. VAND: Questo modello potenzia CLIP con più componenti per meglio conformare le caratteristiche delle immagini a quelle del testo. Confronta le immagini di test con alcune immagini di riferimento per migliorare l'accuratezza.

3. AnoVL: Questo migliora la capacità di CLIP di rilevare piccoli problemi usando un meccanismo di messa a fuoco migliore all'interno delle immagini. Può individuare anomalie con molta più precisione rispetto a prima.

4. AdaCLIP: Questo modello combina prompt fissi con prompt personalizzati per ogni immagine, rendendolo adattabile e utile per diversi tipi di anomalie.

Abbiamo anche esaminato una versione speciale di CLIP chiamata PMC-CLIP, che è stata preparata utilizzando dati di immagini mediche. Questo potrebbe renderla più adatta per compiti come il rilevamento di tumori al cervello.

#Impostazione dei test

Abbiamo ideato un benchmark per testare i quattro modelli (VAND, AnomalyCLIP, AnoVL e AdaCLIP) per rilevare tumori al cervello utilizzando BraTS. Il nostro obiettivo era vedere quanto bene si comportassero questi modelli, progettati per compiti industriali, nel campo medico. Abbiamo creato quattro diversi scenari di test:

1. Addestramento su dati industriali: Qui, abbiamo usato i modelli così come erano, addestrati su dati industriali, per vedere come si sarebbero adattati a rilevare anomalie mediche senza alcun addestramento medico aggiuntivo.

2. Finetuning per BraTS: In questo scenario, abbiamo adattato i modelli utilizzando i dati di BraTS per vedere se migliorassero ricevendo un addestramento specifico.

3. Addestramento da zero: Qui, abbiamo iniziato da zero e addestrato i modelli senza alcuna conoscenza pregressa. Volevamo vedere quanto fossero efficaci senza alcun aiuto.

4. Uso di PMC-CLIP: In questo caso, abbiamo sostituito il modello originale con PMC-CLIP e lo abbiamo riaddestrato su BraTS. Volevamo scoprire se si comportasse meglio grazie al suo addestramento specifico per il campo medico.

Per tutte le configurazioni, abbiamo misurato le prestazioni tramite vari metriche. Ci siamo concentrati su punteggi relativi a quanto bene i modelli segmentassero le anomalie.

#Panoramica delle prestazioni

Dopo i test, abbiamo scoperto che tutti i modelli avevano basse prestazioni nel rilevare tumori al cervello, con punteggi sotto il 50%. Questo valeva anche per il modello PMC-CLIP. Modelli precedenti avevano mostrato punteggi migliori in diverse impostazioni. Sembra che il dataset che abbiamo usato presentasse sfide uniche, come vari aspetti dei tumori e confini poco chiari.

Curiosamente, i modelli si sono comportati meglio nelle aree centrali del cervello che nei margini, il che potrebbe indicare che hanno avuto difficoltà con aree più complesse.

1. AdaCLIP: Questo modello ha mostrato una vasta gamma di prestazioni, facendo particolarmente meglio quando addestrato sui dati di BraTS. I suoi punteggi variavano molto, il che suggerisce che potrebbe adattarsi bene nelle condizioni giuste.

2. VAND: Simile ad AdaCLIP, ha ottenuto prestazioni moderate ma ha mostrato risultati promettenti usando i dati di PMC-CLIP.

3. AnomalyCLIP: Questo modello ha costantemente ottenuto punteggi scarsi in tutti i test. Ha faticato più degli altri, mostrando che ha bisogno di miglioramenti seri.

4. AnoVL: Questo modello ha avuto il successo minore in assoluto, raggiungendo a malapena punteggi degni di nota.

#Analisi più approfondita

Abbiamo analizzato le prestazioni più da vicino esaminando i punteggi di ogni paziente. Abbiamo scoperto che l'accuratezza della segmentazione variava molto tra le singole fette e i volumi complessivi. Alcuni modelli si sono comportati accettabilmente bene in 2D ma hanno faticato in 3D.

Ad esempio, VAND ha avuto prestazioni migliori in alcune fette, mentre AnomalyCLIP è rimasto indietro. I risultati suggeriscono che hanno difficoltà nella segmentazione volumetrica, fondamentale nell'analisi delle MRI.

Successivamente, abbiamo esaminato gli errori basati su dove si trovavano le lesioni nel cervello. Abbiamo trovato che i modelli tendevano a performare meglio in determinate zone, specialmente vicino al centro del cervello, ma hanno avuto difficoltà verso i margini.

#Conclusioni e riflessioni

In sintesi, i nostri esperimenti evidenziano che i modelli non sono ancora pronti per le rigorose esigenze del rilevamento dei tumori al cervello. Nonostante il potenziale mostrato in altri studi, i metodi utilizzati qui non hanno colpito nel segno. Ci possono essere diverse ragioni per questo. La complessità del dataset, le differenze nell'apparenza dei tumori e l'addestramento dei modelli contribuiscono tutte a prestazioni inferiori.

Sebbene sia chiaro che modelli come CLIP possano aiutare, hanno bisogno di un addestramento più specifico e miglioramenti per l'imaging medico. Il lavoro futuro dovrebbe concentrarsi sul perfezionamento di questi modelli per dati 3D per migliorare le loro capacità di rilevamento.

Una nota importante sono le limitazioni di aspetti come il tempo di addestramento e la necessità di prompt più adatti per identificare anomalie. Questi fattori influenzano pesantemente i risultati finali.

Guardando avanti, potremmo voler esplorare altri modelli che potrebbero essere più adatti per rilevare problemi nell'imaging medico. L'avventura di unire l'apprendimento automatico con la medicina è ancora un lavoro in corso, con tanto spazio per crescere!

Quindi, la ricerca è compiuta? Non ancora, ma stiamo facendo progressi un MRI alla volta!