Avanzare nella Chirurgia con la Calibrazione in Realtà Aumentata
Un nuovo metodo di calibrazione migliora l'integrazione della realtà aumentata nelle procedure chirurgiche.
― 7 leggere min
Indice
La realtà aumentata (AR) è 'na tecnologia che mescola immagini digitali col mondo reale. In chirurgia, può aiutare i dottori proiettando immagini utili proprio dove stanno operando. Questo rende più facile per i chirurghi concentrarsi sulla procedura invece di distogliere lo sguardo sugli schermi. Usare l'AR nella chirurgia ortopedica, specialmente nella chirurgia ortopedica assistita da computer (CAOS), può migliorare come si fanno le operazioni e renderle più sicure per i pazienti.
Per usare l'AR in modo efficace in chirurgia, è necessario assicurarsi che le immagini digitali e gli strumenti chirurgici reali siano allineati correttamente. Qui entra in gioco la Calibrazione. La calibrazione garantisce che le posizioni degli oggetti reali e degli ologrammi siano abbinate correttamente. Molti metodi attuali per questo prevedono aggiustamenti manuali o l'uso di marcatori speciali messi nella sala operatoria.
Nuovo Sistema di Calibrazione
Proponiamo un nuovo metodo di calibrazione che semplifica il processo per gli occhiali AR usati in chirurgia. Questo metodo usa array di marcatori che riflettono la luce infrarossa, che sono già comuni nella CAOS. Il nostro approccio non richiede aggiustamenti complicati da parte dell'utente. Invece, utilizza un HoloLens 2, un tipo di occhiale AR, per rilevare le posizioni di questi array di marcatori con i suoi sensori integrati.
Nel nostro sistema, quando un array di marcatori è visibile sia all'HoloLens 2 che al sistema chirurgico, la calibrazione può avvenire rapidamente. Questa configurazione ha requisiti semplici e consente un'integrazione veloce nei flussi di lavoro chirurgici esistenti.
Sfide Attuali nella CAOS
Negli ultimi anni, l'uso della chirurgia assistita da computer ha migliorato significativamente le operazioni. Questo approccio consente un miglior allineamento delle protesi e risultati migliori per i rimpiazzi articolari. La maggior parte degli strumenti CAOS utilizza telecamere stereo a infrarossi per monitorare i movimenti tra pazienti e strumenti chirurgici. Tuttavia, nonostante quanto siano sviluppati questi sistemi, c'è ancora margine di miglioramento, soprattutto per come vengono mostrati i dati medici ai chirurghi.
Tipicamente, i dati medici durante l'operazione vengono visualizzati su uno schermo 2D. Questo può creare confusione, poiché la vista del chirurgo sul monitor non corrisponde a quello che vede durante l'operazione. Questo disallineamento può portare a errori e richiede aggiustamenti mentali, distogliendo l'attenzione del chirurgo dal paziente.
L'AR può cambiare tutto ciò permettendo ai dati digitali di essere visualizzati direttamente nel campo chirurgico. Questo mantiene la concentrazione del chirurgo dove deve essere. Studi recenti hanno dimostrato che i display montati sulla testa, come l'HoloLens, possono proiettare immagini direttamente sul sito chirurgico. Questo sviluppo entusiasmante apre nuove possibilità per come si possono eseguire le operazioni.
Usare Display Montati sulla Testa
L'HoloLens e dispositivi simili possono aiutare i chirurghi mostrando informazioni importanti e guide proprio nella loro linea di vista. È stata fatta qualche ricerca sull'uso dell'AR nelle operazioni, come il posizionamento delle guide durante gli interventi alla spalla o l'inserimento delle viti nelle operazioni spinali. Tuttavia, affinché questi dispositivi funzionino bene all'interno dei sistemi chirurgici esistenti, è necessaria una calibrazione precisa.
Gli occhiali moderni possono tracciare la propria posizione nello spazio, il che consente una fusione fluida tra il mondo virtuale e quello reale. Tuttavia, far funzionare gli occhiali AR insieme ai sistemi di Tracciamento chirurgico può essere complicato. Molti sforzi passati si sono basati su allineamenti manuali, che possono essere lenti e soggettivi, oppure hanno richiesto marcatori speciali creati specificamente per ogni situazione.
Alcuni metodi alternativi hanno iniziato a utilizzare marcatori visibili alle telecamere degli occhiali. Anche se questo elimina alcuni errori da parte dell'utente, richiede comunque strumenti aggiuntivi e potrebbe complicare i flussi di lavoro.
Il Nostro Approccio
Per migliorare questi metodi esistenti, la nostra ricerca si concentra sull'uso delle capacità di tracciamento a infrarossi integrate nell'HoloLens 2. In questo modo, possiamo allineare direttamente e facilmente gli occhiali con i sistemi di tracciamento chirurgico esistenti senza bisogno di attrezzature aggiuntive o grandi cambiamenti agli strumenti già in uso.
Sfruttando la tecnologia già disponibile nell'HoloLens, possiamo tracciare i marcatori riflettenti a infrarossi in modo più efficace. Questo rende possibile stabilire una connessione solida tra le immagini AR e gli strumenti chirurgici reali in uso.
Abbiamo anche progettato un sistema che consente agli occhiali di rilevare dove sono situati gli array di marcatori IR, facilitando un processo di calibrazione rapido. Questa configurazione offre un'esperienza user-friendly, poiché gli utenti devono semplicemente guardare gli array di marcatori, lasciando il resto al sistema.
Configurazione Sperimentale
Per testare il nostro sistema di calibrazione, abbiamo creato un ambiente strutturato per la valutazione. Ci siamo concentrati su due test principali: uno per misurare l'accuratezza del tracciamento e un altro per analizzare come performava la guida olografica durante un compito chirurgico simulato.
Testare l'Accuratezza del Tracciamento
Per il primo test, abbiamo posizionato due array di marcatori IR fissi in un'area dove sia l'HoloLens 2 che il sistema di tracciamento di un robot chirurgico potevano vederli facilmente. Questo ci ha permesso di misurare quanto accuratamente l'HoloLens poteva identificare le loro posizioni relative l'una all'altra.
Queste informazioni sono state confrontate con i dati di verità di base provenienti dal robot chirurgico, noto per la sua alta accuratezza. Confrontando i risultati dell'HoloLens con i dati del robot, abbiamo potuto calcolare quanto fossero vicine le due misurazioni.
Valutare le Prestazioni del Compito Chirurgico
Nel secondo test, abbiamo creato un compito chirurgico simulato in cui gli utenti dovevano inserire un filo in un modello di plastica che rappresentava un femore. Il compito era progettato per vedere se la guida AR aiutasse gli utenti ad allineare accuratamente i loro strumenti con un obiettivo virtuale.
I volontari sono stati invitati a indossare l'HoloLens e seguire determinati passaggi per garantire coerenza. Dopo aver completato il compito, è stata misurata l'accuratezza delle loro azioni. Abbiamo raccolto vari dati per valutare quanto bene funzionava il sistema di guida.
Risultati dei Test
I risultati del nostro test di accuratezza del tracciamento hanno mostrato che gli errori assoluti medi dell'HoloLens per il tracciamento erano circa 2.03 mm per la traslazione e 1.12 gradi per la rotazione. Anche se queste cifre non sono ancora ideali per l'uso clinico, sono abbastanza promettenti.
Nel compito chirurgico simulato, gli errori medi per traslazione e rotazione erano circa 2.07 mm e 1.54 gradi, rispettivamente. Questi risultati suggeriscono che, sebbene ci sia ancora margine di miglioramento, il nuovo sistema di calibrazione fornisce una solida base per utilizzare l'AR nelle procedure chirurgiche.
Implicazioni per il Futuro
I risultati dei nostri esperimenti indicano che c'è un grande potenziale per un ulteriore uso dell'AR in chirurgia. Questo nuovo approccio di calibrazione allinea i sistemi AR in modo efficace con le tecnologie chirurgiche esistenti, riducendo la complessità che deriva dalle calibrazioni manuali.
Consentendo un'integrazione più naturale degli strumenti AR nei processi chirurgici, possiamo migliorare l'efficienza e la sicurezza delle procedure. Questo potrebbe aiutare i dottori a concentrarsi di più sui loro compiti, poiché avranno dati pertinenti sovrapposti direttamente nel loro campo visivo.
Man mano che le procedure chirurgiche continuano ad evolversi, avere strumenti affidabili che possano integrarsi facilmente nei flussi di lavoro attuali diventa essenziale. Questo sistema offre uno sguardo su come l'AR può trasformare il futuro della chirurgia, rendendola più intuitiva ed efficace per i professionisti della salute.
Conclusione
In sintesi, abbiamo sviluppato un nuovo sistema di calibrazione per integrare la realtà aumentata con i robot chirurgici. Utilizzando marcatori infrarossi e i sensori integrati nell'HoloLens 2, possiamo allineare efficacemente i mondi digitale e fisico senza setup complicati.
I nostri test mostrano risultati promettenti, anche se c'è ancora lavoro da fare prima che queste tecnologie raggiungano l'accettazione clinica. Tuttavia, il futuro della realtà aumentata in chirurgia sembra luminoso, con un grande potenziale per migliorare i risultati dei pazienti e le prestazioni dei chirurghi.
Titolo: Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery
Estratto: Augmented reality (AR) has the potential to improve the immersion and efficiency of computer-assisted orthopaedic surgery (CAOS) by allowing surgeons to maintain focus on the operating site rather than external displays in the operating theatre. Successful deployment of AR to CAOS requires a calibration that can accurately calculate the spatial relationship between real and holographic objects. Several studies attempt this calibration through manual alignment or with additional fiducial markers in the surgical scene. We propose a calibration system that offers a direct method for the calibration of AR head-mounted displays (HMDs) with CAOS systems, by using infrared-reflective marker-arrays widely used in CAOS. In our fast, user-agnostic setup, a HoloLens 2 detected the pose of marker arrays using infrared response and time-of-flight depth obtained through sensors onboard the HMD. Registration with a commercially available CAOS system was achieved when an IR marker-array was visible to both devices. Study tests found relative-tracking mean errors of 2.03 mm and 1.12{\deg} when calculating the relative pose between two static marker-arrays at short ranges. When using the calibration result to provide in-situ holographic guidance for a simulated wire-insertion task, a pre-clinical test reported mean errors of 2.07 mm and 1.54{\deg} when compared to a pre-planned trajectory.
Autori: Hisham Iqbal, Ferdinando Rodriguez y Baena
Ultimo aggiornamento: 2024-05-03 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2405.01999
Fonte PDF: https://arxiv.org/pdf/2405.01999
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.