Avanzando il tracciamento del comportamento animale con lo strumento ADPT
ADPT migliora il monitoraggio del comportamento degli animali usando tecnologie avanzate.
― 6 leggere min
Indice
Il comportamento degli animali è influenzato da molte cose, come l'ambiente dell'animale, la genetica e le interazioni sociali. Per capire davvero perché gli animali si comportano in certi modi, dobbiamo tenere d'occhio i loro movimenti con attenzione. La tecnologia moderna usa strumenti di deep learning come DeepLabCut e SLEAP per aiutare a tracciare le pose degli animali dai video. Questi strumenti rendono più facile analizzare comportamenti complessi senza bisogno di contatto fisico con gli animali. Tuttavia, a volte faticano con rumore e interferenze, causando errori di tracciamento che possono influenzare i risultati degli studi.
La necessità di migliori strumenti di tracciamento
Gli errori di tracciamento possono rovinare varie analisi, dallo studio del modo di camminare di un animale alla comprensione delle interazioni sociali. Per esempio, se vuoi analizzare come cammina un animale, devi tracciare con precisione la posizione delle sue zampe. Senza un tracciamento preciso, i risultati possono essere fuorvianti. I metodi di deep learning hanno i loro difetti, soprattutto per quanto riguarda l'accuratezza del tracciamento. Possono produrre errori casuali che rendono difficile classificare i diversi comportamenti o identificare singoli animali.
Questa incoerenza nel tracciamento può portare a conclusioni sbagliate nella ricerca su geni, circuiti neurali e malattie. A causa di queste preoccupazioni, c'è un bisogno urgente di strumenti di tracciamento migliori che possano ridurre questi errori.
Strategie attuali per migliorare il tracciamento
Attualmente, i ricercatori usano tre strategie principali per affrontare gli errori di tracciamento nei metodi esistenti. La prima è il coinvolgimento degli esseri umani nel processo. Alcuni strumenti permettono agli utenti di correggere manualmente gli errori, ma questo può richiedere tempo quando si gestiscono molti dati video.
La seconda strategia prevede l'uso di filtri per elaborare i dati, come i filtri mediani o i filtri passa-basso. Questi filtri possono aiutare a rimuovere alcuni errori di tracciamento, ma rischiano anche di perdere comportamenti animali sottili che possono essere importanti per l'analisi.
La terza strategia utilizza modelli matematici per adattare i dati di tracciamento. Questi modelli possono aiutare a ridurre gli errori ma potrebbero avere difficoltà nel gestire il tracciamento continuo nel tempo.
Nonostante questi sforzi, tutte e tre le strategie sono solo soluzioni temporanee e dipendono dall'accuratezza iniziale del tracciamento.
Nuovi approcci al tracciamento
Per affrontare il problema centrale degli errori di tracciamento, è stato sviluppato un nuovo strumento chiamato Anti-Drift Pose Tracker (ADPT). Questo strumento combina diverse tecnologie, incluso un Convolutional Neural Network (CNN) e un Modello Transformer. Si pensa che questa combinazione sia più efficiente per tracciare i movimenti degli animali.
A differenza dei metodi esistenti, che si basano pesantemente sui CNN, ADPT utilizza un modello Transformer che può catturare meglio le relazioni nelle immagini. Questo aiuta ad ottenere risultati di tracciamento più affidabili. Mentre i CNN possono avere difficoltà con il tracciamento di animali pelosi, il Transformer riesce a gestire efficacemente le complessità associate al tracciamento degli animali.
ADPT è progettato per dati sul comportamento animale e può lavorare con dati di addestramento etichettati limitati. Questo lo rende comodo per i ricercatori che potrebbero lavorare con set di dati più piccoli.
Come funziona ADPT
ADPT elabora l'input video per creare heatmap di fiducia, affinare le posizioni e fornire segmentazione semantica a bassa risoluzione. Utilizzando i CNN per catturare dettagli locali e i modelli Transformer per comprendere il contesto più ampio, ADPT mira a migliorare drasticamente l'accuratezza del tracciamento delle pose.
Le prestazioni di ADPT sono state testate su diverse specie, tra cui topi e scimmie. I risultati iniziali mostrano che ADPT produce costantemente meno errori rispetto ad altri metodi attuali. Questo è promettente per i ricercatori che hanno bisogno di dati affidabili per comprendere il comportamento animale.
Testare lo strumento
Per valutare quanto bene funzioni ADPT, sono stati raccolti vari set di dati video. Questi set di dati includevano video di topi e scimmie. Tracciando i punti chiave degli animali, i ricercatori potevano valutare quanto accuratamente ADPT potesse prevedere i loro movimenti. Nei test controllati, ADPT ha mostrato vantaggi significativi rispetto ad altri metodi esistenti in termini di tracciamento delle parti del corpo chiave.
Oltre alle prestazioni di tracciamento, ADPT ha dimostrato la sua capacità di funzionare con diversi sfondi, animali e scenari. Questo rende lo strumento molto flessibile e adatto a una vasta gamma di applicazioni di ricerca.
Confronto con altri metodi
Rispetto ad altri strumenti come DeepLabCut e SLEAP, ADPT ha costantemente ottenuto risultati superiori. È stato in grado di tracciare le parti del corpo in modo più accurato e mantenere quell'accuratezza anche con movimenti complessi o oggetti simili sullo sfondo.
La facilità d'uso e l'adattabilità di ADPT lo distinguono anche. Può gestire set di dati diversi ed è meno sensibile alle variazioni, il che è cruciale quando si lavora con animali vivi. I ricercatori hanno scoperto di poter utilizzare meno immagini etichettate per ottenere buoni risultati con ADPT rispetto ad altri metodi che richiedevano grandi quantità di dati di addestramento.
Applicazioni nel mondo reale
ADPT ha una vasta gamma di potenziali utilizzi in vari campi, tra cui neuroscienze e scoperta di farmaci. Ad esempio, comprendere i comportamenti sottili negli animali può portare a intuizioni riguardo mutazioni genetiche o effetti di farmaci. La risoluzione dei dati sul comportamento animale può quindi svolgere un ruolo significativo in un'analisi rapida di questi aspetti.
Inoltre, ADPT è in grado di eseguire analisi del modo di camminare, che comporta lo studio di come si muovono gli animali in tre dimensioni. Questo è particolarmente utile per comprendere la salute di primati non umani o altri animali e può aiutare a modellare gli effetti dei trattamenti.
Miglioramenti futuri
Anche se ADPT mostra ottime promesse, c'è ancora margine di miglioramento. Un'area che potrebbe necessitare di attenzione è come viene gestita l'encoding posizionale. Immagini più grandi possono occupare più memoria e ridimensionarle potrebbe far perdere dettagli importanti. L'introduzione di un'encoding posizionale condizionale potrebbe affrontare questo problema.
Inoltre, la rete backbone utilizzata in ADPT potrebbe essere ulteriormente migliorata. Per i test attuali, è stato utilizzato un modello ResNet50, ma altre reti avanzate potrebbero funzionare ancora meglio.
Conclusione
ADPT rappresenta un passo significativo avanti nella misurazione del comportamento animale. Con la combinazione di CNN e Transformers, può ridurre gli errori di tracciamento mentre elabora i dati in modo efficiente. Questo strumento potrebbe giovare enormemente alla ricerca in etologia e comportamento animale, portando a risultati più accurati e affidabili.
Offrendo una soluzione al problema della deriva nel tracciamento, ADPT apre nuove possibilità per comprendere i movimenti e i comportamenti degli animali in vari contesti. Questo può portare a studi più completi e a migliori intuizioni sulle complessità del comportamento animale e i suoi legami con genetica, salute e fattori ambientali.
Titolo: Anti-drift pose tracker (ADPT): A transformer-based network for robust animal pose estimation cross-species
Estratto: Deep learning-based methods for animal pose estimation have recently made substantial progress in improving the accuracy and efficiency of quantitative descriptions of animal behavior. However, these methods commonly suffer from tracking drifts, i.e., sudden jumps in the estimated position of a body point due to noise, thus reducing the reliability of behavioral study results. Here, we present a transformer-based animal pose estimation tool, called Anti-Drift Pose Tracker (ADPT), for eliminating tracking drifts in behavior analysis. To verify the anti-drift performance of ADPT, we conduct extensive experiments in multiple cross-species datasets, including long-term recorded mouse and monkey behavioral datasets collected by ourselves, as well as two public Drosophilas and macaques datasets. Our results show that ADPT greatly reduces the rate of tracking drifts, and significantly outperforms the existing deep-learning methods, such as DeepLabCut, SLEAP, and DeepPoseKit. Moreover, ADPT is compatible with multi-animal pose estimation, enabling animal identity recognition and social behavioral study. Specifically, ADPT provided an identification accuracy of 93.16% for 10 unmarked mice, and of 90.36% for free-social unmarked mice which can be further refined to 99.72%. Compared to other multi-stage network-based tools like multi-animal DeepLabCut, SIPEC and Social Behavior Atlas, the end-to-end structure of ADPT supports its lower computational costs and meets the needs of real-time analysis. Together, ADPT is a versatile anti-drift animal behavior analysis tool, which can greatly promote the accuracy, robustness, and reproducibility of animal behavioral studies. The code of ADPT is available at https://github.com/tangguoling/ADPT.
Autori: Pengfei Wei, G. Tang, Y. Han, Q. Liu
Ultimo aggiornamento: 2024-02-08 00:00:00
Lingua: English
URL di origine: https://www.biorxiv.org/content/10.1101/2024.02.06.579164
Fonte PDF: https://www.biorxiv.org/content/10.1101/2024.02.06.579164.full.pdf
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia biorxiv per l'utilizzo della sua interoperabilità ad accesso aperto.