Identificare le specie di serpenti attraverso le immagini

Questo documento parla di un progetto che mira a identificare specie di serpenti usando immagini per una competizione chiamata SnakeCLEF 2024. Il progetto utilizza un metodo chiamato trasferimento di apprendimento, che aiuta a usare le conoscenze acquisite in un compito per migliorare l'apprendimento in un altro, in questo caso, riconoscere diversi tipi di serpenti da foto.

#La Sfida dell'Identificazione dei Serpenti

Identificare le specie di serpenti da immagini non è facile. I serpenti possono sembrare molto simili tra loro e ci sono molti tipi diversi sparsi in varie regioni. In totale, il dataset usato per questo progetto include oltre 182.000 immagini che rappresentano 1.784 specie di serpenti diverse da 214 paesi. Molte di queste specie sono velenose, il che rende ancora più importante identificarle correttamente.

Il nostro dataset non è bilanciato; il 19,5% delle specie è velenoso. Questo squilibrio crea sfide aggiuntive perché alcune specie potrebbero apparire più frequentemente nel dataset rispetto ad altre. Inoltre, i serpenti spesso possono sembrare simili a causa della mimetizzazione, dove una specie innocua sembra una velenosa, rendendo l'identificazione ancora più difficile.

#L'Approccio

Per affrontare queste sfide, abbiamo utilizzato un modello specifico sviluppato da Meta chiamato DINOv2, che è un tipo di transformer visivo. Questo modello ci aiuta a estrarre caratteristiche importanti dalle immagini che possono assisterci nell'identificare diverse specie di serpenti. Il processo comporta l'analisi delle caratteristiche che estraiamo dalle immagini e poi usare quelle caratteristiche per classificare i serpenti.

#Comprendere i Vision Transformers

I vision transformers sono un tipo di intelligenza artificiale che elabora le immagini in un modo unico. Suddividono le immagini in pezzi più piccoli, simile a come noi comprendiamo le frasi in un testo guardando parole singole. Il modello impara a riconoscere schemi in questi pezzi di dati, il che aiuta a capire meglio cosa vede in un'immagine.

Usiamo DINOv2 perché ha mostrato buone performance con immagini mai viste prima. Questo è cruciale visto che molte delle foto di serpenti che usiamo nel nostro progetto provengono da varie fonti e potrebbero non essere apparse in altri dataset.

#Analisi dei Dati

Prima di addestrare il nostro modello, abbiamo condotto un'analisi dei dati. Abbiamo osservato i modelli all'interno delle caratteristiche estratte dalle immagini per vedere quanto bene potessero aiutarci a differenziare tra le specie.

Abbiamo ridotto la complessità dei dati usando qualcosa chiamato riduzione dimensionale, che ci aiuta a visualizzare le informazioni in un modo più semplice. Esaminando come le caratteristiche si raggruppano insieme, possiamo capire quali serpenti sembrano simili sulla base delle loro immagini. In generale, abbiamo scoperto che molti serpenti dall'aspetto simile tendono a raggrupparsi nella nostra analisi.

#Preprocessing dei Dati

Prima di usare il modello DINOv2, dovevamo preprocessare le immagini. Questo comporta la conversione delle immagini in un formato che il modello può capire. Abbiamo memorizzato le immagini elaborate in un sistema di cloud storage per renderle facilmente accessibili.

Abbiamo usato una pipeline per semplificare questo processo, organizzandolo in diverse fasi: scaricare le immagini, convertirle nel formato giusto e prepararle per l'analisi del modello.

Dopo che le immagini erano pronte, le abbiamo inserite nel modello, che ha generato delle embeddings. Queste embeddings sono essenzialmente rappresentazioni numeriche delle immagini che evidenziano le loro caratteristiche chiave.

#Addestramento del Modello

Una volta che avevamo le embeddings, abbiamo addestrato un classificatore, che è una parte del modello che impara a distinguere tra diversi tipi di serpenti. Il classificatore è stato costruito usando strati lineari che mappano le embeddings alle diverse specie di serpenti.

Il processo di addestramento ha coinvolto l'aggiustamento del modello in base a quanto bene era in grado di fare previsioni durante i test. Abbiamo monitorato le performance del modello per assicurarci che imparasse in modo efficace.

Durante questa fase di addestramento, abbiamo diviso i nostri dati in due parti: una parte per addestrare il modello e un'altra per convalidare le sue performance. In questo modo, potevamo controllare quanto bene il modello stava imparando e aggiustarlo se necessario.

#Risultati e Sfide

Dopo aver addestrato il nostro modello, abbiamo ottenuto un punteggio di 39,69 nella competizione, che è relativamente basso rispetto ad altri partecipanti. Il punteggio migliore era di 85,6, e ci siamo resi conto che i nostri risultati potrebbero essere stati influenzati da alcuni problemi nel nostro processo di etichettatura, che potrebbero aver portato a classificazioni errate.

Nella nostra valutazione, abbiamo notato che molte delle nostre previsioni erano imprecise, specialmente riguardo alla classificazione dei serpenti velenosi. Questo suggerisce che il nostro modello ha bisogno di miglioramenti prima di poter distinguere accuratamente tra specie innocue e velenose.

#Direzioni Future

Per migliorare il nostro modello, abbiamo intenzione di esplorare diverse strategie. Un'area su cui vogliamo concentrarci è trovare modi migliori per gestire gli squilibri di classe nel dataset. Questo potrebbe comportare l'uso di diverse funzioni di perdita che aiutano il modello a imparare in modo più efficace dai dati che abbiamo.

Inoltre, crediamo che usare tecniche di segmentazione delle immagini potrebbe migliorare notevolmente la capacità del nostro modello di trovare e concentrarsi sui serpenti nelle immagini. Questo significa insegnare al modello a riconoscere le parti specifiche delle immagini in cui appaiono i serpenti, piuttosto che analizzare solo l'intera foto.

#Segmentazione delle Immagini

La segmentazione delle immagini è un processo che separa un'immagine in parti, rendendo più facile per il modello trovare oggetti specifici come i serpenti. Isolando questi oggetti, il modello può apprendere in modo più efficace, perché può concentrarsi sulle caratteristiche che contano di più per identificare le specie di serpenti.

Un modello che stiamo considerando è il Segment Anything Model (SAM) di Meta, che può separare automaticamente le immagini in base agli oggetti senza aiuto umano. Anche se SAM ha limitazioni nell’identificare quali segmenti contengono serpenti, può comunque essere utile per generare dataset etichettati.

#Fine-Tuning

Un altro approccio promettente implica il fine-tuning di un modello chiamato YOLOv8. Questo modello può essere addestrato per identificare pixel specifici che appartengono ai serpenti, il che aiuterebbe la classificazione generale. Tuttavia, dobbiamo raccogliere un dataset etichettato per questo scopo, il che potrebbe comportare l'uso di dataset open-source esistenti che contengono immagini di vari serpenti.

Utilizzando queste tecniche, speriamo di migliorare la capacità del nostro modello di identificare accuratamente i serpenti, specialmente nei casi difficili in cui i serpenti si assomigliano.

#Conclusioni

In sintesi, il nostro progetto mirava a identificare le specie di serpenti dalle immagini usando un modello chiamato DINOv2. Anche se abbiamo affrontato sfide con performance e accuratezza, le nostre scoperte suggeriscono che c'è margine di miglioramento attraverso tecniche avanzate come la segmentazione e una migliore gestione degli squilibri di classe.

Il lavoro che abbiamo fatto getta le basi per future iniziative per affinare i nostri metodi, con l'obiettivo di ottenere una migliore accuratezza nell'identificazione dei serpenti. Affrontando le sfide attuali e incorporando nuove tecniche, possiamo contribuire agli sforzi di monitoraggio della biodiversità e classificazione delle specie.