Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Visione artificiale e riconoscimento di modelli# Intelligenza artificiale

Ricostruzione 3D in tempo reale del fegato nella radioterapia

Un nuovo modello migliora l'imaging del fegato durante il trattamento del cancro.

― 6 leggere min


Scoperta rivoluzionariaScoperta rivoluzionarianell'imaging 3D delfegatotrattamento del cancro.Nuovo metodo migliora la precisione del
Indice

La radioterapia è un trattamento comune per i pazienti con cancro. Un metodo usato è chiamato radioterapia a modulazione di intensità (IMRT), che dirige con cura i fasci di radiazioni per colpire i tumori cercando di risparmiare il tessuto sano. Tuttavia, una grande sfida di questo trattamento è il movimento causato dalla respirazione. Questo movimento rende difficile somministrare con precisione la radiazione, portando a possibili danni agli organi sani, in particolare al Fegato.

Attualmente, durante l'IMRT, i medici possono utilizzare solo Immagini 2D per guidare il trattamento. Questo perché tracciare il movimento degli organi in 3D è complicato e richiede troppo tempo. Questa limitazione può portare a incertezze nel mirare al tumore in modo efficace. Per migliorare il trattamento, abbiamo bisogno di un modo per monitorare il movimento degli organi in tempo reale, consentendo un targeting migliore del tumore.

Approcci Attuali alla Ricostruzione 3D

Per affrontare le sfide di catturare informazioni 3D da immagini 2D, sono stati sviluppati diversi metodi. Alcuni utilizzano reti neurali convoluzionali (CNN) per tentare di creare un Modello 3D da immagini 2D. Ad esempio, alcuni ricercatori hanno trovato modi per deformare un'immagine di riferimento 3D utilizzando un'immagine 2D scattata durante il trattamento. Altri hanno usato immagini ecografiche per ricostruire un modello 3D del cranio di un feto basato su viste 2D.

Anche se questi metodi basati su CNN hanno mostrato alcune promesse, spesso hanno difficoltà perché richiedono input di dimensioni fisse. Questo può portare a problemi quando la dimensione delle immagini varia o quando sono coinvolti diversi tipi di corpo. Inoltre, rimodellare le immagini può portare a una perdita di dettagli importanti.

Recentemente, un nuovo tipo di modello chiamato rete neurale grafica (GNN) ha iniziato a guadagnare attenzione in vari campi, compresa l'imaging medico. Queste reti lavorano direttamente sui dati grafici, che possono catturare relazioni e schemi in modi che le CNN potrebbero trascurare. Essendo più flessibili, le GNN possono essere particolarmente utili in casi in cui le informazioni dettagliate sulla forma sono importanti.

La Nostra Soluzione Proposta

Abbiamo sviluppato un metodo chiamato Deformable Attention Graph Neural Network for Single View Liver Reconstruction (DAGNN-SVLR). Questo modello è progettato per creare una maglia 3D del fegato in tempo reale durante il trattamento. Prende un'immagine MRI 2D del fegato e una maglia di riferimento da una MRI 3D precedentemente catturata per generare una rappresentazione 3D accurata.

Il processo inizia con due approcci per estrarre caratteristiche dall'immagine 2D. Il primo non unisce le caratteristiche, consentendo un'estrazione diretta delle informazioni. Il secondo approccio unisce le caratteristiche in modo da mantenere intatta la struttura spaziale dell'immagine originale, assicurando che non vengano persi dettagli importanti.

Una volta estratte le caratteristiche, vengono combinate con la maglia di riferimento. Queste informazioni combinate vengono poi elaborate attraverso la rete neurale grafica di attenzione, che genera la forma prevista del fegato.

Componenti del Modello DAGNN-SVLR

Una parte chiave del modello DAGNN-SVLR è determinare come la maglia di riferimento corrisponda all'immagine 2D. Poiché le GNN lavorano con grafici, l'approccio prevede la creazione di connessioni tra la maglia e i dati dell'immagine. Questo viene fatto attraverso due soluzioni, una utilizzando una rete neurale convoluzionale residua e l'altra applicando il pooling delle caratteristiche.

La rete neurale convoluzionale grafica (GCN) utilizzata nel modello funziona creando rappresentazioni di ciascun vertice nella maglia basate sui suoi vicini. Questo consente di catturare relazioni più complesse rispetto a quanto sarebbe possibile con i metodi tradizionali.

Oltre alla GCN, includiamo strati di attenzione nel nostro modello. Questi strati aiutano la rete a concentrarsi sulle caratteristiche più importanti dei dati di input, migliorando la capacità del modello di apprendere dagli esempi che vede.

Funzioni di Perdita

Per garantire che le maglie generate del fegato siano accurate, definiamo diverse funzioni di perdita che guidano l'addestramento del modello. Queste funzioni si concentrano su proprietà chiave della maglia, come la liscezza e la completezza. Una funzione di perdita critica che utilizziamo è la distanza di Chamfer, che misura quanto vicino la maglia prevista corrisponde alla reale maglia di verità.

Un altro approccio che adottiamo è chiamato distanza di Chamfer campionata, che si concentra su aree locali della maglia per catturare più dettagli. Inoltre, utilizziamo una perdita di identità per evitare cambiamenti sostanziali alla maglia quando il modello crede di aver catturato accuratamente la forma basata sull'immagine 2D.

Valutazione del Modello

Per testare il nostro metodo, abbiamo utilizzato un dataset di immagini MRI 4D del fegato provenienti da diversi volontari. I modelli sono stati addestrati su questi dati e abbiamo valutato sistematicamente le loro prestazioni confrontando i risultati previsti con le forme reali del fegato.

Abbiamo applicato varie configurazioni del modello, analizzando le prestazioni sia con che senza pooling delle caratteristiche. I risultati hanno mostrato che il modello con pooling delle caratteristiche generalmente produco delle previsioni migliori, confermando l'importanza di questo approccio.

Durante il processo di test, abbiamo registrato errori nelle previsioni del modello. I risultati hanno indicato che il modello ha costantemente raggiunto bassi tassi di errore nel tempo, suggerendo che è in grado di monitorare efficacemente il movimento del fegato durante il trattamento.

Visualizzazione dei Risultati

Nella nostra valutazione, abbiamo creato visualizzazioni che confrontano le forme del fegato previste con le forme reali. Queste immagini hanno mostrato che il modello è stato in grado di generare superfici lisce e complete per la maglia del fegato. I confronti visivi hanno messo in evidenza l'accuratezza del nostro modello, poiché le previsioni assomigliavano da vicino alle vere forme del fegato catturate durante l'imaging.

Ulteriori analisi dei tassi di errore hanno indicato che il modello poteva costantemente raggiungere previsioni altamente accurate su più soggetti. Questa coerenza è cruciale per garantire un'erogazione efficace del trattamento nelle impostazioni cliniche.

Conclusione

Abbiamo introdotto un nuovo metodo per creare una maglia 3D del fegato a partire da immagini 2D durante la radioterapia. Il nostro modello combina i punti di forza delle reti neurali grafiche e delle reti convoluzionali per fornire ricostruzioni del fegato accurate e in tempo reale.

I risultati del nostro studio indicano che questo approccio ha il potenziale di migliorare notevolmente il targeting dei tumori durante il trattamento, minimizzando il rischio per i tessuti sani e massimizzando l'efficacia della terapia contro il cancro. Lavori futuri si concentreranno sul perfezionamento di questi metodi ed esploreranno ulteriori applicazioni per questa tecnologia nell'imaging medico.

Migliorando la nostra capacità di monitorare il movimento degli organi in tempo reale, possiamo portare a migliori risultati per i pazienti con cancro e, in ultima analisi, migliorare la qualità dell'assistenza nelle impostazioni di radioterapia.

Fonte originale

Titolo: End-to-end Deformable Attention Graph Neural Network for Single-view Liver Mesh Reconstruction

Estratto: Intensity modulated radiotherapy (IMRT) is one of the most common modalities for treating cancer patients. One of the biggest challenges is precise treatment delivery that accounts for varying motion patterns originating from free-breathing. Currently, image-guided solutions for IMRT is limited to 2D guidance due to the complexity of 3D tracking solutions. We propose a novel end-to-end attention graph neural network model that generates in real-time a triangular shape of the liver based on a reference segmentation obtained at the preoperative phase and a 2D MRI coronal slice taken during the treatment. Graph neural networks work directly with graph data and can capture hidden patterns in non-Euclidean domains. Furthermore, contrary to existing methods, it produces the shape entirely in a mesh structure and correctly infers mesh shape and position based on a surrogate image. We define two on-the-fly approaches to make the correspondence of liver mesh vertices with 2D images obtained during treatment. Furthermore, we introduce a novel task-specific identity loss to constrain the deformation of the liver in the graph neural network to limit phenomenons such as flying vertices or mesh holes. The proposed method achieves results with an average error of 3.06 +- 0.7 mm and Chamfer distance with L2 norm of 63.14 +- 27.28.

Autori: Matej Gazda, Peter Drotar, Liset Vazquez Romaguera, Samuel Kadoury

Ultimo aggiornamento: 2023-03-13 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2303.07432

Fonte PDF: https://arxiv.org/pdf/2303.07432

Licenza: https://creativecommons.org/licenses/by/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili