Migliorare la classificazione delle immagini mediche con etichette rumorose
Questo studio analizza come migliorare la classificazione delle immagini mediche nonostante gli errori di etichettatura.
― 5 leggere min
La classificazione delle Immagini Mediche dipende da molte immagini etichettate in modo accurato per funzionare bene. Però, ottenere etichette perfette può essere complicato, perché errori di etichettatura capitano spesso. Questi sbagli possono venire da dati raccolti dalla folla o da sistemi automatici che fraintendono i rapporti medici. Il risultato sono Etichette Rumorose, che possono confondere i modelli di deep learning e danneggiare le loro performance.
In questo studio, vediamo come migliorare la classificazione delle immagini mediche quando le etichette non sono perfette. Lavori precedenti hanno dimostrato che usare un approccio di pre-addestramento auto-supervisionato-dove un modello impara i pattern nei dati senza esempi etichettati-aiuta a migliorare le performance quando si affrontano etichette rumorose. Però, la maggior parte di questa ricerca si è concentrata su immagini normali, non su quelle mediche.
Le immagini mediche tendono a essere più piccole e hanno differenze sottili tra le classi, rendendole più complicate da classificare con precisione. Questo solleva la domanda: può il pre-addestramento auto-supervisionato funzionare altrettanto bene per le immagini mediche come per quelle standard?
L'Approccio
Ci concentriamo su due strategie principali: l'Apprendimento Contrastivo e i compiti pretesto. Entrambi i metodi prevedono l'addestramento di un modello senza fare un grande affidamento sulle etichette. Questo potrebbe aiutare il modello a imparare caratteristiche utili dalle immagini, rendendolo più robusto contro gli errori di etichettatura quando lo alleniamo su dati etichettati rumorosi.
I due dataset medici utilizzati in questo studio sono:
NCT-CRC-HE-100K: Questo dataset comprende immagini di tessuti che hanno nove classi diverse, come tessuto adiposo e linfociti.
COVID-QU-Ex: Questa collezione include immagini di radiografie toraciche con etichette che indicano se un paziente ha COVID-19, una condizione non-COVID o è normale.
Etichette Rumorose
Gestire il rumore nelle etichette è fondamentale per ottenere previsioni accurate. Nei nostri esperimenti, abbiamo intenzionalmente rovinato le etichette capovolgendole a caso. Questo simula scenari reali dove le etichette potrebbero essere sbagliate. Abbiamo testato vari livelli di rumore per vedere come i modelli rispondevano in queste condizioni.
Abbiamo suddiviso il nostro lavoro in due fasi:
Pre-addestramento: Il modello prima impara dalle immagini usando metodi auto-supervisionati. Questo significa che cerca di indovinare certe proprietà, come se un'immagine possa essere ruotata o risolvere puzzle con diverse parti di un'immagine.
Addestramento con Etichette Rumorose: Nella seconda fase, il modello utilizza ciò che ha appreso durante il pre-addestramento per affrontare il reale compito di classificazione, anche se le etichette sono rumorose. Abbiamo valutato quanto bene è riuscito a capire e classificare le immagini nonostante questo rumore.
I Nostri Risultati
I nostri risultati hanno mostrato che i modelli che hanno iniziato con un pre-addestramento auto-supervisionato hanno ottenuto performance migliori rispetto ai modelli addestrati da zero. Ad esempio, il modello che ha usato un metodo di apprendimento contrastivo chiamato SimCLR ha visto aumenti significativi nell'accuratezza, soprattutto quando i livelli di rumore erano alti.
Abbiamo anche esplorato diverse tecniche auto-supervisionate. Utilizzando tre compiti principali-predizione di rotazione, puzzle e un compito speciale per le immagini istopatologiche (puzzle Jigmag)-siamo riusciti a identificare quali metodi funzionavano meglio in diverse condizioni.
L'Importanza dei Compiti Pretesto
Ogni compito pretesto influisce su quanto bene il modello impara le caratteristiche. Ad esempio, il compito di predizione della rotazione addestra il modello a riconoscere se un'immagine è stata ruotata e, in caso affermativo, di quanto. Questo insegna al modello a comprendere la struttura complessiva delle immagini. D'altra parte, i puzzle richiedono di prevedere la disposizione dei pezzi dell'immagine, migliorando la sua capacità di discernere le parti di un'immagine. Il puzzle Jigmag si concentra specificamente sulle immagini istopatologiche, aiutando a migliorare la comprensione del modello di questi tipi di immagini mediche.
Confronto delle Performance dei Modelli
Testare i modelli su etichette rumorose ha mostrato differenze chiare nelle performance. In generale, i modelli addestrati usando tecniche auto-supervisionate hanno superato i loro omologhi che hanno iniziato l'addestramento da pesi inizializzati a caso. In particolare, SimCLR ha portato costantemente a una maggiore accuratezza rispetto ai metodi di addestramento standard.
L'analisi comparativa ha mostrato che i modelli, soprattutto quando inizializzati con pesi appresi auto-supervisionati, hanno mantenuto prestazioni migliori anche di fronte a livelli elevati di rumore nelle etichette. Questo fornisce prove promettenti che l'apprendimento auto-supervisionato dovrebbe essere ulteriormente esplorato nel dominio medico.
Lezioni Apprese
Durante la nostra ricerca, abbiamo appreso che molte delle sfide affrontate nei dataset di immagini tipiche si applicano anche alle immagini mediche ma richiedono una gestione diversa. Anche se i modelli hanno mostrato forti miglioramenti nella gestione delle etichette rumorose, ci sono stati alcuni problemi. Ad esempio, a livelli di rumore molto elevati, i modelli tendevano a faticare, specialmente con i metodi contrastivi.
Un'altra osservazione interessante è stata che i compiti auto-supervisionati scelti influenzavano quanto bene il modello si adattava successivamente a classificare i dati rumorosi. Mentre alcuni compiti, come SimCLR, hanno aiutato molto, altri non hanno migliorato le performance come previsto.
Direzioni Future
Guardando al futuro, la promessa mostrata dal pre-addestramento auto-supervisionato richiede ulteriore lavoro. Speriamo di provare anche più metodi auto-supervisionati ed esplorare come diversi tipi di immagini influenzino la robustezza di questi modelli contro le etichette rumorose.
Inoltre, il nostro lavoro si è concentrato principalmente sulle reti neurali convoluzionali (CNN). Abbiamo in programma di esplorare come metodi più recenti che utilizzano i trasformatori possano gestire le etichette rumorose. Questo potrebbe portare a soluzioni ancora migliori in futuro.
Conclusione
In conclusione, migliorare la classificazione delle immagini mediche in presenza di etichette rumorose è essenziale per creare modelli affidabili. I nostri risultati confermano che l'apprendimento auto-supervisionato gioca un ruolo cruciale nell'addestrare modelli che possono gestire efficacemente il rumore. Utilizzando vari compiti pretesto, abbiamo trovato modi per migliorare l'estrazione delle caratteristiche e le performance del modello, fornendo un percorso per migliori diagnosi mediche.
Le intuizioni ottenute da questo lavoro non solo aggiungono alla conoscenza esistente, ma pongono anche le basi per ulteriori innovazioni nell'analisi delle immagini mediche. Ci aspettiamo che le indagini in corso sulle tecniche auto-supervisionate continuino a rivelare strategie più efficaci per garantire l'accuratezza nell'imaging medico, a beneficio finale della cura del paziente.
Titolo: Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
Estratto: Noisy labels hurt deep learning-based supervised image classification performance as the models may overfit the noise and learn corrupted feature extractors. For natural image classification training with noisy labeled data, model initialization with contrastive self-supervised pretrained weights has shown to reduce feature corruption and improve classification performance. However, no works have explored: i) how other self-supervised approaches, such as pretext task-based pretraining, impact the learning with noisy label, and ii) any self-supervised pretraining methods alone for medical images in noisy label settings. Medical images often feature smaller datasets and subtle inter class variations, requiring human expertise to ensure correct classification. Thus, it is not clear if the methods improving learning with noisy labels in natural image datasets such as CIFAR would also help with medical images. In this work, we explore contrastive and pretext task-based self-supervised pretraining to initialize the weights of a deep learning classification model for two medical datasets with self-induced noisy labels -- NCT-CRC-HE-100K tissue histological images and COVID-QU-Ex chest X-ray images. Our results show that models initialized with pretrained weights obtained from self-supervised learning can effectively learn better features and improve robustness against noisy labels.
Autori: Bidur Khanal, Binod Bhattarai, Bishesh Khanal, Cristian A. Linte
Ultimo aggiornamento: 2023-08-08 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2308.04551
Fonte PDF: https://arxiv.org/pdf/2308.04551
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.