Sviluppi nel Tracciamento degli Strumenti Chirurgici: Presentiamo SurgiTrack

Il tracciamento degli strumenti chirurgici è super importante per le operazioni moderne, specialmente quando si usa l'assistenza computerizzata. Sapere dove si trova ogni strumento in ogni momento aiuta i chirurghi a lavorare meglio e garantisce la sicurezza dei pazienti. In passato, il tracciamento degli strumenti era spesso fatto in modo rigido, il che non funzionava bene a causa della natura dinamica delle operazioni. Questo è particolarmente vero quando gli strumenti escono dalla visuale della telecamera o si muovono fuori dal corpo. È stato introdotto un nuovo dataset, CholecTrack20, per aiutare con questa sfida. Contiene informazioni dettagliate su più strumenti da diverse angolazioni durante l'intervento. Queste angolazioni includono cosa succede durante l'operazione, dentro il corpo e quanto sono visibili gli strumenti in camera.

Anche se avere etichette dettagliate è utile, rende anche il tracciamento degli strumenti più complicato. Ad esempio, se uno strumento è bloccato dalla vista o rimesso nel corpo, può essere difficile identificarlo di nuovo. Questo è particolarmente vero quando gli strumenti sembrano simili. Riconoscere chi sta usando quale strumento è anche cruciale, ma queste informazioni non sono direttamente disponibili nei video chirurgici. Per affrontare queste sfide, è stato proposto un nuovo metodo chiamato SurgiTrack. Questo metodo utilizza tecnologie avanzate per rilevare gli strumenti e capire da dove provengono per aiutare a identificarli in seguito.

#Importanza del Tracciamento degli Strumenti

Il tracciamento degli strumenti chirurgici gioca un ruolo chiave nell'assistere i chirurghi. Fornisce informazioni utili per varie applicazioni, come valutare le abilità chirurgiche, guidare il movimento delle telecamere durante le operazioni, posizionare i laparoscopi, stimare le zone di sicurezza e migliorare le esperienze di realtà aumentata.

La rilevazione degli strumenti implica identificarli nelle immagini o nei fotogrammi video, mentre il tracciamento va oltre prevedendo dove saranno gli strumenti nei fotogrammi successivi. Tradizionalmente, il tracciamento si basava su metodi di machine learning di base che analizzavano varie caratteristiche come colore e forma. Tuttavia, i recenti progressi nel deep learning hanno reso possibile estrarre caratteristiche più affidabili per identificare gli strumenti.

Nonostante i miglioramenti, ci sono ancora sfide. La maggior parte degli sforzi attuali si è concentrata su tipi specifici di tracciamento, come seguire un singolo strumento o tracciare più strumenti di un tipo. Nelle operazioni reali, diversi strumenti di varie categorie vengono spesso utilizzati contemporaneamente, quindi c'è bisogno di un metodo che possa gestire il tracciamento di più tipi di strumenti simultaneamente. L'introduzione del dataset CholecTrack20 mira a colmare questa lacuna.

#Dataset CholecTrack20

Il dataset CholecTrack20 offre una ricchezza di informazioni necessarie per il tracciamento multi-classe e multi-strumento. Cattura tre tipi di traiettorie degli strumenti durante l'intervento:

1. Intraoperatoria, che si concentra su come vengono utilizzati gli strumenti durante l'intervento.
2. Intracorporea, che riguarda gli strumenti mentre si muovono all'interno del corpo del paziente.
3. Visibilità, che copre per quanto tempo gli strumenti sono in vista della telecamera.

Per utilizzare efficacemente questo dataset per il tracciamento degli strumenti, sono stati confrontati vari metodi di rilevamento e condotta una studio completo sui metodi di re-identificazione, che sono critici per tenere traccia degli strumenti nel tempo.

#Sfide nel Tracciamento degli Strumenti

Una sfida importante nel tracciamento degli strumenti è riconoscere gli strumenti che sono bloccati dalla vista, rimossi dalla visuale della telecamera o rimessi nel campo operativo. Questo compito diventa complicato quando molti strumenti sembrano simili. I metodi tradizionali che si basano solo sull'aspetto dell'oggetto potrebbero non funzionare bene.

Il metodo proposto, SurgiTrack, si concentra sugli operatori degli strumenti, poiché i loro movimenti delle mani possono fornire indizi importanti sull'identità degli strumenti. Tuttavia, le mani dei chirurghi non sono visibili nelle immagini endoscopiche catturate durante l'intervento, rendendo difficile raccogliere queste informazioni automaticamente.

Per affrontare questo problema, SurgiTrack utilizza la direzione in cui si muovono gli strumenti come indicatore per dedurre le azioni degli operatori degli strumenti. Inoltre, impiega metodi di apprendimento auto-supervisionato, che permettono al modello di apprendere il tracciamento anche quando non sono disponibili etichette complete.

#Il Modello SurgiTrack

SurgiTrack è progettato per tracciare efficacemente gli strumenti nei video chirurgici. La sua architettura è composta da due parti principali: rilevamento degli strumenti e associazione delle loro identità tra i fotogrammi.

#Rilevamento degli Strumenti

Il modulo di rilevamento identifica gli strumenti in ogni fotogramma video. È stato scelto il rilevatore YOLOv7 per questo scopo perché raggiunge un buon equilibrio tra accuratezza e velocità. Funziona bene nel dataset CholecTrack20. YOLOv7 identifica prima tutti gli strumenti e poi filtra eventuali rilevamenti duplicati.

#Re-Identificazione degli Strumenti

Una volta che gli strumenti sono stati rilevati, il passo successivo è la re-identificazione. Questo processo implica assicurarsi che gli stessi strumenti siano riconosciuti tra diversi fotogrammi, anche se sembrano simili. Per stimare l'identità di ogni strumento, SurgiTrack utilizza la direzione in cui si sta muovendo ciascuno strumento.

#Preprocessamento dei Dati

Per preparare le immagini per la stima della direzione, gli strumenti vengono ritagliati dal video e pixel extra circostanti vengono aggiunti per migliorare la visibilità. Questo processo consente al modello di tracciare la direzione del corpo dello strumento, che è più affidabile rispetto alla punta dello strumento, specialmente quando lo strumento si trova al bordo del fotogramma.

#Stima della Direzione

SurgiTrack utilizza un meccanismo di attenzione per apprendere la direzione degli strumenti in base alla loro posizione nel fotogramma. Questo assicura che il modello possa capire come associare i movimenti degli strumenti con le azioni degli operatori degli strumenti.

#Stima dell'Operatore

Dopo aver stimato la direzione dello strumento, si deduce l'operatore che utilizza lo strumento. Questa stima avviene tramite una rete di attenzione che pesa l'importanza di ciascun operatore in base alla categoria e alla direzione di movimento dello strumento.

#Associazione delle Identità

Per collegare i rilevamenti degli strumenti e garantire un tracciamento accurato, è stato introdotto un algoritmo speciale chiamato Harmonizing Bipartite Graph Matching (HBGM). Questo algoritmo tiene conto delle molteplici prospettive delle traiettorie degli strumenti (visibilità, intracorporea e intraoperatoria) e li collega senza conflitti.

HBGM funziona confrontando le direzioni di movimento e le categorie degli strumenti per creare coppie di rilevamenti tra i fotogrammi. Gestisce anche situazioni in cui gli strumenti escono dalla vista per mantenere identità accurate durante l'intervento.

#Valutazione di SurgiTrack

Per dimostrare l'efficacia di SurgiTrack, è stato testato sul dataset CholecTrack20 insieme a metodi esistenti. Sono state utilizzate varie metriche per misurare le sue prestazioni nel rilevamento degli strumenti, nel tracciamento delle loro posizioni e nella re-identificazione quando necessario.

#Risultati di Rilevamento di Benchmark

Diversi modelli di rilevamento degli oggetti sono stati valutati per vedere quanto bene riescono a rilevare gli strumenti chirurgici. YOLOv7 ha superato tutti gli altri con la migliore precisione media, indicando che eccelle nell'identificare gli strumenti in vari ambienti, specialmente in condizioni difficili come sanguinamento o fumi.

#Prestazioni di Tracciamento

SurgiTrack è stato valutato in base ai punteggi di precisione media e alle metriche di accuratezza di tracciamento. Ha costantemente superato altri modelli in scenari complessi, raggiungendo un'ottima accuratezza di identificazione e risultati di tracciamento affidabili.

#Gestione delle Sfide Visive Chirurgiche

SurgiTrack è stato anche testato sotto varie sfide visive, come occlusione, movimento rapido e problemi di illuminazione. Le valutazioni hanno mostrato che il modello mantiene un elevato livello di prestazioni anche quando affronta queste complicazioni.

#Conclusione

SurgiTrack rappresenta un significativo passo avanti nel campo del tracciamento degli strumenti chirurgici. Combinando efficacemente meccanismi di attenzione, caratteristiche direzionali e robuste tecniche di associazione delle identità, offre una soluzione potente per il tracciamento multi-classe e multi-strumento nei video chirurgici.

Le intuizioni derivanti dalle sue prestazioni sul dataset CholecTrack20 evidenziano i suoi punti di forza e aprono la strada a future migliorie nella tecnologia di assistenza chirurgica. Man mano che le operazioni diventano più complesse, metodi di tracciamento migliorati saranno cruciali per migliorare i risultati chirurgici e la sicurezza dei pazienti. Questa ricerca contribuisce con conoscenze preziose al settore e offre soluzioni pratiche per applicazioni chirurgiche nel mondo reale.