Migliorare la stima della posa del mouse con dati sintetici

Seguire e misurare il comportamento degli animali è fondamentale in campi come biologia, ecologia e neuroscienze. I topi sono spesso usati nella ricerca, soprattutto per malattie neurodegenerative come l'Alzheimer e il Parkinson. Con il progredire della ricerca, è stato raccolto un sacco di dati video per studiare questi argomenti. Tuttavia, molti metodi di visione computerizzata non possono essere applicati a causa dell'assenza di annotazioni. Questo articolo discute un nuovo metodo per stimare le pose corporee dei topi da immagini non etichettate utilizzando dati sintetici.

#La Necessità di Strumenti Migliori

Tradizionalmente, misurare il comportamento dei topi richiedeva una notevole quantità di lavoro manuale. I ricercatori dovevano esaminare numerosi fotogrammi video per identificare e registrare la posizione di ciascun arto. Questo metodo non solo è dispendioso in termini di tempo, ma è anche soggetto a errori. Le prime tecniche di visione computerizzata cercavano di ridurre lo sforzo umano utilizzando marcatori fisici o vernice sugli animali. Tuttavia, questi metodi hanno i loro svantaggi. I marcatori possono disturbare il comportamento naturale dell'animale e i dati raccolti possono essere limitati in base a dove sono posizionati i marcatori.

Negli ultimi anni, i progressi nella visione computerizzata hanno introdotto sistemi di tracciamento senza marcatori. Questi sistemi sono meno dipendenti da marcatori fisici, ma richiedono comunque una buona quantità di sforzo manuale per elaborare i dati video. Le tecniche di deep learning supervisionato sono diventate popolari per stimare le pose sia negli esseri umani che negli animali. Tuttavia, la loro efficacia spesso dipende dalla disponibilità di grandi quantità di dati annotati, che possono essere difficili da ottenere per molte specie animali.

#Il Nostro Approccio

In questo studio, proponiamo un nuovo metodo per prevedere le pose corporee dei topi utilizzando immagini non etichettate. Invece di fare affidamento su metodi completamente supervisionati, adattiamo una tecnica auto-supervisionata originariamente progettata per le pose umane. Il nostro metodo utilizza una rete antagonista generativa (GAN) per imparare da immagini non etichettate e un insieme di Pose 2D non abbinate generate da un modello 3D di un topo.

Evitando la necessità di annotazioni manuali, possiamo addestrare in modo efficiente il nostro modello utilizzando dati che sono spesso disponibili in grandi quantità, ma privi di etichette dettagliate. Questo approccio ci consente anche di generare una vasta gamma di pose da cui il modello può apprendere, aumentando la sua flessibilità e applicabilità.

#Come Funziona

Il nostro metodo inizia utilizzando un modello 3D di un topo per creare pose 2D che serviranno come priorità per l'addestramento. Invece di aver bisogno di immagini abbinate e annotazioni delle pose, utilizziamo solo le pose sintetiche. Queste pose sintetiche coprono diverse posizioni delle articolazioni del topo, inclusi muso, coda e arti.

Il modello di stima delle pose consiste in un processo di mapping in due fasi. La prima parte prevede l'inserimento di un'immagine di input in una rete neurale convoluzionale (CNN) che produce un'immagine scheletrica. Infine, la seconda parte prende l'immagine scheletrica e la mappa a una rappresentazione di posa 2D.

Durante l'addestramento, utilizziamo una funzione di perdita che controlla la differenza tra l'immagine generata e l'immagine di input, misura il mapping dall'immagine scheletrica alle posizioni delle articolazioni e valuta l'autenticità delle immagini scheletriche. Utilizzando questa combinazione di perdite, possiamo affinare efficacemente il modello e garantire previsioni di pose più accurate.

#Dataset e Metodologia

Il nostro dataset consiste in video di topi sottoposti a vari test correlati alla SLA. Ogni video cattura i topi mentre corrono su un tapis roulant, e abbiamo estratto immagini da questi video per addestrare il nostro estimatore di pose. Abbiamo diviso il dataset in immagini di addestramento e di test per valutare le prestazioni del modello.

Abbiamo registrato i topi utilizzando una configurazione speciale che ci ha permesso di catturare i loro movimenti chiaramente. I dati raccolti durante questi esperimenti erano estesi, fornendo una base solida per addestrare il nostro modello.

#Valutazione dei Risultati

Per valutare quanto bene il nostro modello potesse prevedere pose 2D, abbiamo utilizzato una metrica chiamata Errore Medio per Posizione dell'Articolazione (MPJPE). Questa valuta l'accuratezza confrontando le posizioni delle articolazioni previste a un insieme di annotazioni di verità di base. Nei nostri test, abbiamo anche confrontato le previsioni del nostro modello con un metodo supervisionato ben noto, DeepLabCut, che è spesso usato per la stima delle pose animali.

Sebbene i risultati mostrassero che DeepLabCut ha performato leggermente meglio grazie alla sua dipendenza dalle annotazioni umane, il nostro metodo auto-supervisionato ha comunque prodotto risultati impressionanti. Le previsioni del nostro modello si sono avvicinate molto alla verità di base, dimostrando il suo potenziale per una stima accurata delle pose pur richiedendo significativamente meno sforzo di annotazione.

#Adattamento ad Altri Animali

Uno dei principali vantaggi del nostro approccio è la sua adattabilità a diverse specie animali. Per dimostrarlo, abbiamo testato il modello su immagini di cavalli. Il prior sintetico per questi test è stato generato utilizzando un modello 3D di cavallo. Anche se il nostro modello è stato principalmente addestrato su immagini di topi, ha comunque performato bene sulle immagini di cavalli.

Abbiamo ulteriormente testato il modello utilizzando immagini di zebre. Incredibilmente, il modello è stato in grado di generalizzare e produrre previsioni di posa ragionevoli anche per le zebre. Questa adattabilità evidenzia il potenziale del nostro metodo di essere applicato in vari ambiti senza richiedere ampie riqualificazioni o sforzi di raccolta dati.

#Conclusione

In conclusione, abbiamo adattato con successo un approccio auto-supervisionato per la stima delle pose 2D affinché funzionasse con i topi, utilizzando dati sintetici per ridurre al minimo la necessità di annotazioni manuali. Questa tecnica non solo semplifica il processo di addestramento ma apre anche opportunità per un rapido deployment in vari settori di ricerca riguardanti studi sul comportamento animale.

Generando e utilizzando efficacemente un prior sintetico, abbiamo dimostrato che il nostro modello può ottenere risultati competitivi rispetto ai metodi supervisionati, il tutto facendo affidamento su dati reali non etichettati. Lavori futuri coinvolgeranno l'applicazione di questa metodologia per studiare i modelli di camminata nei topi geneticamente modificati con SLA, fornendo preziose informazioni sullo sviluppo di malattie neurodegenerative.

La nostra ricerca sottolinea l'importanza di sviluppare strumenti efficienti per il tracciamento del comportamento animale, contribuendo infine a una migliore comprensione di processi biologici complessi.