Affrontare la rilevazione di out-of-distribution nel multiple instance learning

Nel mondo del machine learning, spesso costruiamo sistemi che devono prendere decisioni basate sui dati, come classificare immagini o diagnosticare condizioni mediche. Una grande sfida si presenta quando i dati che il sistema vede durante la sua applicazione nel mondo reale sono diversi da quelli su cui è stato addestrato. Questa situazione è chiamata rilevamento di out-of-distribution (OOD). Quando un modello incontra dati OOD, potrebbe non produrre risultati accurati poiché non è stato addestrato per capire questi dati sconosciuti.

Tradizionalmente, è stato fatto molto sforzo per affrontare i dati OOD in contesti di apprendimento supervisionato standard. Tuttavia, gestire il rilevamento OOD in uno scenario più complesso noto come Multiple Instance Learning (MIL) rimane meno esplorato. In MIL, il modello riceve gruppi di immagini o punti dati chiamati "sacchi", dove le etichette individuali per i punti dati non sono conosciute, ma c'è un'unica etichetta per l'intero sacco.

#La sfida del rilevamento di Out-Of-Distribution

I sistemi di machine learning si aspettano tipicamente che i dati che elaborano provengano dallo stesso modello dei dati di addestramento, noti come dati in-distribution (ID). Quando un modello incontra dati OOD, deve fare ipotesi basate sulle informazioni che ha, il che può portare a errori. Ci sono due principali modi in cui la distribuzione può spostarsi da ID a OOD:

1. Cambiamento Semantico: Questo si verifica quando le classi dei dati ID e OOD sono completamente diverse. Ad esempio, se un modello è addestrato per riconoscere gatti e cani, ma poi vede immagini di auto e aerei, questo sarebbe un cambiamento semantico.

2. Cambiamento di Covariate: Qui, le classi possono sovrapporsi, ma la natura dell'input cambia. Ad esempio, se un modello addestrato su immagini luminose e ben illuminate riceve poi immagini scure o sfocate, potrebbe avere difficoltà a funzionare correttamente anche se le classi sono le stesse.

Per lavorare efficacemente con questi modelli, dobbiamo essere in grado di dire quando i dati non sono nell'intervallo atteso, il che rende il rilevamento OOD cruciale.

#Come funziona il rilevamento OOD

Sono stati proposti molti metodi per migliorare il rilevamento OOD in diversi scenari. Questi metodi possono essere suddivisi in tre categorie principali:

1. Metodi di Inferenza Post-Hoc: Questi metodi utilizzano modelli già addestrati senza alcun ulteriore addestramento per il rilevamento OOD.

2. Metodi di Riaddestramento: Questi richiedono di riaddestrare il modello su nuovi dati senza includere campioni di dati OOD.

3. Metodi di Nuova Formazione: Questi creano processi di addestramento completamente nuovi, che includono esempi OOD nel set di addestramento.

La maggior parte dei metodi si concentra sul calcolo di un "punteggio di fiducia" basato sulle uscite del modello. Questo punteggio aiuta a indicare se un campione proviene dalla distribuzione attesa o meno. Alcuni metodi analizzano le uscite softmax o i logit del modello per fare queste valutazioni di fiducia.

#Adattare il rilevamento OOD per il Multiple Instance Learning

Il Multiple Instance Learning (MIL) è un approccio unico spesso usato per compiti in cui i singoli punti dati non sono etichettati. MIL è utile in molti campi, inclusa la sanità, dove un gruppo di immagini potrebbe dover essere classificato in base alla presenza di una particolare caratteristica, ma le immagini individuali potrebbero non essere etichettate.

In MIL, un flusso di lavoro tipico coinvolge tre componenti principali:

1. Embedder di Istanze: Questa parte del sistema crea rappresentazioni a dimensioni ridotte di ogni immagine individuale.

2. Operatore di Pooling: Questo combina le rappresentazioni di tutte le istanze in un sacco in una singola rappresentazione.

3. Classificatore: Questo genera un punteggio finale per determinare a quale classe appartiene il sacco, basato sulla rappresentazione aggregata.

Con il rilevamento OOD, è importante adattare il modo in cui produciamo i punteggi di fiducia per comprendere la struttura unica di MIL. I metodi tradizionali potrebbero non funzionare altrettanto bene a causa del modo in cui i dati sono raggruppati in sacchi.

#Creare un nuovo benchmark OOD per MIL

Per valutare efficacemente i metodi di rilevamento OOD nel contesto di MIL, i ricercatori hanno proposto un nuovo benchmark. Questo implica l'uso di set di dati comuni, ma organizzandoli in una forma adatta per compiti MIL. L'obiettivo è capire quanto bene si comportano i diversi metodi quando incontrano dati OOD nelle specifiche condizioni di MIL.

Il benchmark include l'utilizzo di vari set di dati ben noti, dove i sacchi sono formati campionando diverse istanze. Se un sacco contiene almeno un'istanza da una classe target, viene etichettato come positivo; altrimenti, è negativo.

Durante i test, i ricercatori hanno esaminato diversi set di dati, inclusi set di dati semplici con cifre e immagini più complesse di tessuti medici. La configurazione ha permesso di valutare a fondo più metodi di rilevamento OOD e le loro prestazioni nel rilevare se un sacco di immagini fosse stato etichettato correttamente.

#Configurazione sperimentale e risultati

Gli esperimenti sono stati progettati per testare come vari metodi si siano comportati nel rilevare campioni OOD nel contesto MIL. Sono state valutate diverse tecniche, incluse quelle basate sulle uscite del classificatore e quelle che si basano sulle rappresentazioni aggregate dei sacchi. Diversi set di dati hanno fornito risultati variabili in base al metodo applicato.

I risultati hanno rivelato che nessun metodo OOD ha un chiaro vantaggio su tutti i set di dati. Per alcuni set di dati, i metodi basati sulle uscite del classificatore hanno mostrato prestazioni migliori, mentre altri hanno beneficiato dell'uso delle rappresentazioni aggregate. Questa variabilità sottolinea che non esiste una soluzione unica per il rilevamento OOD in MIL.

L'importanza del design degli embedding e della configurazione iniziale di addestramento è stata evidente nei risultati. Gli esperimenti hanno indicato che l'uso di un embedder fisso, rispetto a uno addestrato, ha avuto un impatto diretto su quanto bene il modello gestisse il rilevamento OOD.

#Conclusione

Questo studio fa luce sulle sfide e complessità coinvolte nel rilevamento OOD nell'ambito del Multiple Instance Learning. Lo sviluppo di un benchmark consente una migliore valutazione di vari metodi, ma evidenzia anche la necessità di approcci più mirati che considerino gli aspetti unici del MIL. I risultati sottolineano l'importanza di scegliere il metodo giusto in base alle caratteristiche specifiche dei set di dati e dei modelli utilizzati.

In futuro, c'è un chiaro bisogno di tecniche innovative di rilevamento OOD che si concentrino sulla struttura unica di MIL. Migliorare l'affidabilità del rilevamento OOD in contesti MIL è essenziale non solo per migliorare le prestazioni dei modelli di machine learning, ma anche per espandere le loro applicazioni nel mondo reale, specialmente in campi critici come la sanità. L'esplorazione continua di questi metodi segna un importante passo per affrontare le sfide che sorgono nel machine learning quando ci si trova di fronte a diverse distribuzioni di dati.