Nuovo strumento migliora l'analisi del flusso di lavoro chirurgico
Uno strumento web migliora la rappresentazione visiva dei flussi di lavoro chirurgici e delle sfide.
― 6 leggere min
Indice
Negli ultimi anni, le sale operatorie sono cambiate molto grazie a nuove tecnologie e strumenti digitali. Questi miglioramenti hanno aiutato a creare sale operatorie dove diversi dispositivi medici possono lavorare insieme senza problemi. Si sta facendo ricerca sui sistemi che possono riconoscere cosa sta succedendo durante le operazioni. Molti studi hanno utilizzato il machine learning per analizzare i flussi di lavoro chirurgici e alcuni di questi studi hanno mostrato buoni risultati. Per incoraggiare il progresso, ci sono competizioni regolari nel campo accademico per sfidare i ricercatori in quest'area. Tuttavia, ci sono ancora molte sfide dovute alla complessità delle chirurgie e a come i dati dei sensori vengono raccolti nel tempo.
La maggior parte della ricerca esistente si è concentrata sullo sviluppo di metodi numerici per analizzare i flussi di lavoro chirurgici. Studi precedenti hanno esaminato come creare modelli medi di flusso di lavoro da una serie di interventi per analizzare le procedure statisticamente. Un altro studio ha utilizzato metodi di allineamento delle sequenze per trovare modelli insoliti nei flussi di lavoro chirurgici. Inoltre, i ricercatori hanno sviluppato tecniche di smoothing per stabilizzare le previsioni fatte dai modelli di machine learning riguardo a diverse fasi della chirurgia. Anche se i metodi numerici sono importanti, non ci sono stati molti studi su come rappresentare visivamente i flussi di lavoro chirurgici. I tentativi precedenti includevano l'uso di modelli di Markov nascosti per creare un modello di flusso di lavoro per le chirurgie e visualizzarlo in un grafico. Studi più recenti hanno anche introdotto modi per esplorare e confrontare visivamente i flussi di lavoro chirurgici.
Questo lavoro introduce un nuovo strumento progettato per facilitare l'analisi dei flussi di lavoro chirurgici da parte di ricercatori ed esperti di machine learning tramite rappresentazione visiva. L'obiettivo principale di questo strumento è aiutare gli utenti a capire le sfide comuni affrontate durante il riconoscimento dei flussi di lavoro chirurgici e fornire supporto per superarle.
La Sfida dell'Imbalance dei Dati
Un grosso problema con i dati dei flussi di lavoro chirurgici è che non tutte le Fasi chirurgiche sono rappresentate in modo uguale nei dataset. Questo problema è noto come imbalance dei dati. Alcune fasi chirurgiche si ripetono più volte durante una procedura, mentre altre potrebbero non verificarsi affatto. Questa rappresentazione diseguale rende difficile per i sistemi di machine learning predire le fasi meno comuni, specialmente quando i dati non sono preparati correttamente. Per addestrare un buon modello di machine learning, è importante che i dati siano suddivisi in set di addestramento, Validazione e test in modo da mantenere distribuzioni simili delle fasi.
Oltre alla distribuzione delle fasi chirurgiche, i dettagli specifici dei dati raccolti durante quelle fasi sono anch'essi importanti. Ad esempio, gli strumenti utilizzati in ciascuna fase possono mostrare come sta procedendo l'intervento.
Strumento di Visualizzazione
Per affrontare queste sfide, questo lavoro presenta uno strumento interattivo basato sul web che aiuta gli utenti a valutare come i dati sono suddivisi per il testing degli algoritmi di machine learning. Lo strumento si concentra sulla visualizzazione delle fasi chirurgiche e degli strumenti utilizzati durante le chirurgie.
Framework di Visualizzazione
Durante lo sviluppo dello strumento, sono stati utilizzati dati di fase e di strumenti da varie chirurgie di proctocolectomia. Lo strumento elabora e visualizza i dati direttamente nel browser dell'utente, garantendo la privacy mantenendo i dati sul dispositivo dell'utente. L'applicazione è composta da due visualizzazioni principali: una per le fasi chirurgiche e un'altra per gli strumenti. I colori rosso, verde e blu vengono utilizzati per indicare chiaramente i diversi set di dati.
Vista di Fase
Nella vista di fase, le fasi chirurgiche vengono mostrate come nodi disposti da sinistra a destra. Ogni nodo ha un grafico circolare che riflette la percentuale di frame assegnati a ciascuna suddivisione dei dati. Il centro di ogni nodo indica quante chirurgie presentano quella particolare fase. Gli archi tra i nodi rappresentano le transizioni da una fase all'altra, con archi più spessi che mostrano transizioni più frequenti. Le transizioni bidirezionali sono visualizzate in diverse metà della vista.
Per aumentare l'interazione degli utenti, la vista di fase consente di fare clic su nodi di fase individuali. Selezionare una fase filtra i dati nelle altre visualizzazioni per mostrare frame pertinenti. Gli utenti possono anche filtrare le chirurgie in base a transizioni specifiche. La vista di fase si aggiorna per riflettere le modifiche in base alle selezioni degli utenti, consentendo un'esplorazione più dettagliata dei dati.
Vista di Strumento
La vista di strumento si concentra sul mostrare quali strumenti chirurgici sono stati utilizzati, comprese le combinazioni di strumenti. Questa vista utilizza grafici a barre disposti in formato circolare per visualizzare quanto spesso ogni strumento era visibile in diversi set di dati. Inoltre, c'è un grafico a barre che mostra i frame in cui non sono stati utilizzati strumenti.
Gli utenti possono interagire con questa vista selezionando strumenti, che evidenziano combinazioni di strumenti correlate. Cliccando sulle combinazioni, si rivela ulteriori informazioni su quanto spesso quelle combinazioni erano presenti nei dati.
Validazione e Risultati
Per confermare l'efficacia dello strumento, è stato analizzato un dataset chiamato Cholec80, che include dati da 80 chirurgie di colecistectomia. È stata scelta una specifica suddivisione dei dati che metteva in evidenza i problemi discussi in precedenza.
Lo strumento ha mostrato che la fase di preparazione era assente dal set di test. Di conseguenza, qualsiasi metrica di prestazione calcolata sulla base di questo set di test avrebbe ignorato la prestazione del modello nel riconoscere quella fase. Ha anche identificato diverse transizioni tra le fasi che non erano presenti in tutti i set di dati. Ad esempio, le transizioni che coinvolgono "dissezione della colecisti" e "pulizia della coagulazione" erano assenti dal set di addestramento. Questa mancanza di rappresentazione potrebbe influenzare negativamente le prestazioni del modello durante il test.
Lo strumento ha anche evidenziato che certe combinazioni di strumenti non erano presenti in ogni set di dati. Ad esempio, l'uso di forbici e strumenti bipolari insieme è apparso solo una volta nel set di test. Questa assenza potrebbe anche ostacolare le prestazioni del modello.
Un'altra osservazione interessante è stata la durata media delle chirurgie nel set di addestramento rispetto al set di test. Le chirurgie di addestramento sono state circa otto minuti più lunghe in media. Questa differenza potrebbe essere attribuita all'assenza della fase di preparazione o potrebbe riflettere differenze nella complessità delle chirurgie analizzate.
Conclusione
Questo lavoro presenta un'applicazione web progettata per assistere i ricercatori nell'esplorazione visiva dei dati dei flussi di lavoro chirurgici durante le loro preparazioni. L'applicazione consente agli utenti di ottenere intuizioni sulle sfide e le potenziali insidie associate all'analisi dei dati per i flussi di lavoro chirurgici. È previsto uno studio sugli utenti per testare ulteriormente il design dell'applicazione. I lavori futuri includeranno l'analisi di studi pubblicati utilizzando lo strumento di visualizzazione e l'espansione delle sue funzionalità per supportare compiti correlati, inclusa la rilevazione degli strumenti.
Informazioni Supplementari
Le informazioni supplementari includono visualizzazioni delle fasi e degli strumenti dal dataset Cholec80, così come la suddivisione del dataset utilizzata in questo studio. Nessun conflitto di interesse è stato segnalato dagli autori e il lavoro ha ricevuto finanziamenti da varie fondazioni di ricerca. Questo articolo non coinvolge studi con partecipanti umani e utilizza dataset disponibili pubblicamente.
Titolo: Surgical Phase and Instrument Recognition: How to identify appropriate Dataset Splits
Estratto: Purpose: Machine learning models can only be reliably evaluated if training, validation, and test data splits are representative and not affected by the absence of classes of interest. Surgical workflow and instrument recognition tasks are complicated in this manner, because of heavy data imbalances resulting from different lengths of phases and their erratic occurrences. Furthermore, the issue becomes difficult as sub-properties that help define phases, like instrument (co-)occurrence, are usually not considered when defining the split. We argue that such sub-properties must be equally considered. Methods: This work presents a publicly available data visualization tool that enables interactive exploration of dataset splits for surgical phase and instrument recognition. It focuses on the visualization of the occurrence of phases, phase transitions, instruments, and instrument combinations across sets. Particularly, it facilitates the assessment and identification of sub-optimal dataset splits. Results: We performed an analysis of common Cholec80 dataset splits using the proposed application and were able to uncover phase transitions and combinations of instruments that were not represented in one of the sets. Additionally, we outlined possible improvements to the splits. A user study with ten participants demonstrated the ability of participants to solve a selection of data exploration tasks using the proposed application. Conclusion: In highly unbalanced class distributions, special care should be taken with respect to the selection of an appropriate dataset split. Our interactive data visualization tool presents a promising approach for the assessment of dataset splits for surgical phase and instrument recognition. Evaluation results show that it can enhance the development of machine learning models. The application is available at https://cardio-ai.github.io/endovis-ml/ .
Autori: Georgii Kostiuchik, Lalith Sharan, Benedikt Mayer, Ivo Wolf, Bernhard Preim, Sandy Engelhardt
Ultimo aggiornamento: 2023-10-31 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2306.16879
Fonte PDF: https://arxiv.org/pdf/2306.16879
Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.