MedShapeNet: 医療用形状の貴重なリソース
研究と教育のための大規模な3D医療形状コレクション。
― 1 分で読む
目次
MedShapeNetは、医療形状の3Dモデルをたくさん集めたデータベースだよ。骨や臓器、血管、手術器具のモデルなどが含まれてる。目的は、医療画像や研究でこれらの形状の使い方を改善することなんだ。形状は医学において重要で、体の各部分の見た目や機能を理解するのに役立つんだ。大きな形状のライブラリがあると、研究者や医療専門家にとって便利だよ。
ディープラーニングが出てくる前は、医療研究では統計的形状モデルを使ってデータを分析してたんだ。これらのモデルは医療データの形状をよく説明してた。でも、現代のディープラーニング技術は、ボクセルベースのデータにもっと焦点を当てることが多くて、形状よりもデータポイントのグリッドに関することが多いんだ。一方、コンピュータービジョンの分野では、形状をデータの形式として好むことが多い。形状はボクセルグリッド、メッシュ、ポイントクラウドなど、いろんな方法で表現できるんだ。このことは、トップのビジョン会議で発表された多くの研究に見られるよ。
MedShapeNetは、ShapeNetやModelNetなどの他の形状データベースの代替として作られた。医療の問題に機械学習アルゴリズムを適用しやすくすることを目指してる。MedShapeNetの形状の多くは、実際の患者データから直接生成されてて、コンピュータ生成モデルが主に使われる他のデータベースよりも役立つんだ。
今のところ、MedShapeNetには10万を超える医療形状があって、これらの形状の注釈も提供してる。このデータセットは、バーチャルリアリティや拡張リアリティ、医療3Dプリンティングなど、さまざまな用途に無料で使えるよ。この論文では、MedShapeNetを作った理由、形状の収集方法、可能な使い道、オンラインでのアクセス方法を説明してるんだ。
医療における形状の重要性
形状の研究は、医学の多くの分野において重要だよ。3Dモデルは、医療専門家が手術を計画したり、複雑な解剖関係を理解したりするのに役立つんだ。手術計画の場合、患者の解剖の詳細な3Dモデルがあれば、医者は手術中に何をするのかを視覚化できる。それによって手術の結果が良くなったり、患者のリスクを減らしたりできるんだ。
医療専門家は、教育のためにもこれらのモデルを使うよ。医学生は、3Dモデルを探索したり操作したりできることで、解剖をより効果的に学べるんだ。バーチャルや拡張現実技術を使うことで、この学習体験がさらに向上するよ。
正確な3Dモデルが特に重要なのは、放射線科や手術の分野だね。これらの分野では、従来の画像形式ではうまく表現できない複雑な形状を扱うことが多い。だから、MedShapeNetのようなデータセットは、研究者が実際の医療シナリオにコンピュータービジョン技術を適用しやすくする架け橋になれるんだ。
MedShapeNetの作成方法
MedShapeNetは、いろんな情報源から作られたよ。中にある形状は、実際には異なる解剖構造の3D表現であるバイナリセグメンテーションマスクから生成されたものなんだ。これらのマスクを使って、Marching Cubesのような技術で使えるモデルに変換したよ。セグメンテーションマスクは、医療画像の課題からの手動注釈や自動システムなど、さまざまなソースから得られたものだ。
例えば、TotalSegmentatorデータセットは、さまざまな解剖構造に対応するセグメンテーションを持つCTスキャンを1,000以上提供してくれた。他にもHuman Connectome Projectみたいな、脳の画像データを提供するプロジェクトや、大動脈や他の体の部分に特化したデータセットもあった。
MedShapeNetはプライバシーも重視してるよ。患者の情報はセンシティブだから、開発者は患者に関する識別情報を明らかにしない形状のみを含めるように気を使ったんだ。データセットは、個人データが含まれる可能性のあるグレースケールの医療画像ではなく、解剖形状に焦点を当ててる。
MedShapeNetの内容
MedShapeNetには、人間の体に関連するいくつかの形状が含まれてる。これらの形状には、
- 骨: 頭蓋骨、肋骨、脊椎など
- 臓器: 脳、肺、心臓、肝臓など
- 血管: 大動脈や他の血管のモデル
- 筋肉: いろんな筋肉の形や構成
- 手術器具: 手術で使われる工具の詳細なモデル
各形状には注釈が付いてて、研究者がその文脈を理解するのに役立つ追加情報が含まれてるよ。たとえば、解剖形状は「健康な肝臓」や「腫瘍のある腎臓」とラベル付けされてて、機械学習モデルのトレーニングには重要なんだ。
MedShapeNetの使い方
MedShapeNetの使い方は簡単だよ。研究者はオンラインインターフェースを通じて形状にアクセスできる。特定の解剖部位を検索して、必要なモデルをダウンロードできるんだ。モデルは3Dで表示できて、使う前に詳細に確認できるよ。
がん検出や手術計画みたいな特定の領域を研究したい研究者は、役立つモデルを見つけることができる。この形状は、拡張現実やバーチャルリアリティアプリケーションのさまざまなソフトウェアに統合できるから、教育や実際の医療アプリケーションにも価値があるんだ。
MedShapeNetの応用
1. 手術計画
MedShapeNetは手術計画を改善するのに使えるよ。外科医は3Dモデルを使って、手術前に患者の解剖を視覚化できる。これで、取るべき最適なアプローチを理解するのに役立ち、手術中のリスクを減らせる。
2. 医療教育
医学生や医療専門家は、解剖教育のためにMedShapeNetを利用できるよ。3Dモデルを操作できることで学習が進む。学生たちは、異なる構造を特定する練習や、それらの関係を理解するのに役立つんだ。
3. 画像研究
研究者は、医療画像やコンピュータービジョンの研究を進めるためにこれらの形状を使える。実験でモデルを利用することで、健康な組織と病気の組織を形状分析に基づいて認識し区別するアルゴリズムを訓練できるんだ。
4. 拡張現実とバーチャルリアリティ
MedShapeNetのモデルは、拡張現実(AR)やバーチャルリアリティ(VR)のアプリケーションにぴったりだよ。これを医療トレーニングに使って、学生は手術のシミュレーションをしたり、完全没入型の環境で解剖を理解したりできるんだ。
5. データ分析
MedShapeNetは、医療データの新しいパターンを発見するための機械学習努力もサポートできるよ。形状を分析することで、研究者は特定の病気に関連するユニークなマーカーを特定できて、新しい診断方法の道を切り開けるんだ。
医療形状データにおける課題
MedShapeNetは重要なステップだけど、考慮すべき課題もあるよ。
1. データの完全性
データセットは広範だけど、常にギャップがあるね。特定の解剖構造や病理が十分に表現されていない場合があり、特定の研究領域でのデータセットの有用性を制限することがあるんだ。
2. 既存システムとの統合
研究者は、さまざまなソフトウェアやシステムを使うことが多い。MedShapeNetモデルをこれらの既存のフレームワークに統合するには、形式の変換や互換性の確認といった追加の作業が必要になることがあるよ。
3. 倫理的懸念
医療データを使うことは、常に倫理的責任が伴うよ。MedShapeNetは患者の身元保護を目指しているけど、医療データを含む研究は、プライバシーと安全を確保するために厳格な倫理基準を遵守しなきゃいけない。
MedShapeNetの今後の方向性
MedShapeNetをさらに改善するために、収集を拡大し、機能を向上させる努力に焦点を当てる予定だよ。クリエイターたちは、
- 特に病気に関連する形状の数を増やしたい。
- 学術的および臨床的な場面でMedShapeNetを広めて、認知度と利用を高めたい。
- データセットを使用したモデルの評価基準を新たに設定したい。
- より簡単にアクセスできてナビゲートしやすいオンラインインターフェースの改善を続けたい。
- 既存の形状に対してさらに詳細な注釈を収集したい。
こうすることで、MedShapeNetは医療や研究コミュニティにより良いサービスを提供できるようになるんだ。
結論
MedShapeNetは、コンピュータービジョンと医学の交差点において重要なリソースを提供しているよ。解剖形状の豊富な3Dモデルを提供することで、学術研究や実際の医療応用をサポートするんだ。その開発は、医療教育の向上や手術の成果の改善、医療画像研究の進展に貢献することを反映しているんだ。
MedShapeNetが進化するにつれて、異なる医療分野と技術の間のギャップを埋めて、患者ケアや研究の進展により良い結果をもたらすことを約束してるよ。この取り組みは、利用可能なリソースを豊かにするだけでなく、研究者や医療専門家の協力を促進して、医療分野の難しい問題に取り組む助けにもなるんだ。
タイトル: MedShapeNet -- A Large-Scale Dataset of 3D Medical Shapes for Computer Vision
概要: Prior to the deep learning era, shape was commonly used to describe the objects. Nowadays, state-of-the-art (SOTA) algorithms in medical imaging are predominantly diverging from computer vision, where voxel grids, meshes, point clouds, and implicit surface models are used. This is seen from numerous shape-related publications in premier vision conferences as well as the growing popularity of ShapeNet (about 51,300 models) and Princeton ModelNet (127,915 models). For the medical domain, we present a large collection of anatomical shapes (e.g., bones, organs, vessels) and 3D models of surgical instrument, called MedShapeNet, created to facilitate the translation of data-driven vision algorithms to medical applications and to adapt SOTA vision algorithms to medical problems. As a unique feature, we directly model the majority of shapes on the imaging data of real patients. As of today, MedShapeNet includes 23 dataset with more than 100,000 shapes that are paired with annotations (ground truth). Our data is freely accessible via a web interface and a Python application programming interface (API) and can be used for discriminative, reconstructive, and variational benchmarks as well as various applications in virtual, augmented, or mixed reality, and 3D printing. Exemplary, we present use cases in the fields of classification of brain tumors, facial and skull reconstructions, multi-class anatomy completion, education, and 3D printing. In future, we will extend the data and improve the interfaces. The project pages are: https://medshapenet.ikim.nrw/ and https://github.com/Jianningli/medshapenet-feedback
著者: Jianning Li, Zongwei Zhou, Jiancheng Yang, Antonio Pepe, Christina Gsaxner, Gijs Luijten, Chongyu Qu, Tiezheng Zhang, Xiaoxi Chen, Wenxuan Li, Marek Wodzinski, Paul Friedrich, Kangxian Xie, Yuan Jin, Narmada Ambigapathy, Enrico Nasca, Naida Solak, Gian Marco Melito, Viet Duc Vu, Afaque R. Memon, Christopher Schlachta, Sandrine De Ribaupierre, Rajnikant Patel, Roy Eagleson, Xiaojun Chen, Heinrich Mächler, Jan Stefan Kirschke, Ezequiel de la Rosa, Patrick Ferdinand Christ, Hongwei Bran Li, David G. Ellis, Michele R. Aizenberg, Sergios Gatidis, Thomas Küstner, Nadya Shusharina, Nicholas Heller, Vincent Andrearczyk, Adrien Depeursinge, Mathieu Hatt, Anjany Sekuboyina, Maximilian Löffler, Hans Liebl, Reuben Dorent, Tom Vercauteren, Jonathan Shapey, Aaron Kujawa, Stefan Cornelissen, Patrick Langenhuizen, Achraf Ben-Hamadou, Ahmed Rekik, Sergi Pujades, Edmond Boyer, Federico Bolelli, Costantino Grana, Luca Lumetti, Hamidreza Salehi, Jun Ma, Yao Zhang, Ramtin Gharleghi, Susann Beier, Arcot Sowmya, Eduardo A. Garza-Villarreal, Thania Balducci, Diego Angeles-Valdez, Roberto Souza, Leticia Rittner, Richard Frayne, Yuanfeng Ji, Vincenzo Ferrari, Soumick Chatterjee, Florian Dubost, Stefanie Schreiber, Hendrik Mattern, Oliver Speck, Daniel Haehn, Christoph John, Andreas Nürnberger, João Pedrosa, Carlos Ferreira, Guilherme Aresta, António Cunha, Aurélio Campilho, Yannick Suter, Jose Garcia, Alain Lalande, Vicky Vandenbossche, Aline Van Oevelen, Kate Duquesne, Hamza Mekhzoum, Jef Vandemeulebroucke, Emmanuel Audenaert, Claudia Krebs, Timo van Leeuwen, Evie Vereecke, Hauke Heidemeyer, Rainer Röhrig, Frank Hölzle, Vahid Badeli, Kathrin Krieger, Matthias Gunzer, Jianxu Chen, Timo van Meegdenburg, Amin Dada, Miriam Balzer, Jana Fragemann, Frederic Jonske, Moritz Rempe, Stanislav Malorodov, Fin H. Bahnsen, Constantin Seibold, Alexander Jaus, Zdravko Marinov, Paul F. Jaeger, Rainer Stiefelhagen, Ana Sofia Santos, Mariana Lindo, André Ferreira, Victor Alves, Michael Kamp, Amr Abourayya, Felix Nensa, Fabian Hörst, Alexander Brehmer, Lukas Heine, Yannik Hanusrichter, Martin Weßling, Marcel Dudda, Lars E. Podleska, Matthias A. Fink, Julius Keyl, Konstantinos Tserpes, Moon-Sung Kim, Shireen Elhabian, Hans Lamecker, Dženan Zukić, Beatriz Paniagua, Christian Wachinger, Martin Urschler, Luc Duong, Jakob Wasserthal, Peter F. Hoyer, Oliver Basu, Thomas Maal, Max J. H. Witjes, Gregor Schiele, Ti-chiun Chang, Seyed-Ahmad Ahmadi, Ping Luo, Bjoern Menze, Mauricio Reyes, Thomas M. Deserno, Christos Davatzikos, Behrus Puladi, Pascal Fua, Alan L. Yuille, Jens Kleesiek, Jan Egger
最終更新: 2023-12-12 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2308.16139
ソースPDF: https://arxiv.org/pdf/2308.16139
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://www.michaelshell.org/
- https://www.michaelshell.org/tex/ieeetran/
- https://www.ctan.org/pkg/ieeetran
- https://www.ieee.org/
- https://www.latex-project.org/
- https://www.michaelshell.org/tex/testflow/
- https://www.ctan.org/pkg/ifpdf
- https://www.ctan.org/pkg/cite
- https://medshapenet.ikim.nrw/
- https://shapemi.github.io/
- https://www.zib.de/projects/shape-informed-medical-image-segmentation
- https://www.zib.de/projects/geometric-analysis-human-spine-image-based-diagnosis-biomechanical-analysis-and-neurosurgery
- https://www.miccai.org/special-interest-groups/shape-modeling-and-analysis/
- https://autoimplant.grand-challenge.org/
- https://autoimplant2021.grand-challenge.org/
- https://www.birs.ca/events/2021/5-day-workshops/21w5128
- https://link.springer.com/book/10.1007/978-3-030-93722-5
- https://link.springer.com/book/10.1007/978-3-319-03813-1
- https://www.sci.utah.edu/cibc-trd/160-iga.html
- https://geomedia-workshop.github.io/
- https://www.embs.org/wp-content/uploads/2021/02/TMI-CFP-GDL_final.pdf
- https://proceedings.mlr.press/v194/
- https://link.springer.com/book/10.1007/978-3-642-55987-7
- https://doi.org/10.5281/zenodo.6802613
- https://doi.org/10.6084/m9.figshare.9616319
- https://humanconnectome.org/
- https://www.humanconnectome.org/study/hcp-young-adult/document/wu-minn-hcp-consortium-open-access-data-use-terms
- https://doi.org/10.6084/m9.figshare.8857007.v2
- https://doi.org/10.6084/m9.figshare.14806362
- https://doi.org/10.6084/m9.figshare.7435385.v2
- https://autoimplant2021.grand-challenge.org/Dataset/
- https://doi.org/10.6084/m9.figshare.14161307.v1
- https://github.com/anjany/verse
- https://github.com/neheller/kits21
- https://www.synapse.org/#!Synapse:syn27046444/wiki/
- https://github.com/abenhamadou/3DTeethSeg22_challenge
- https://hecktor.grand-challenge.org/
- https://zenodo.org/record/6504722
- https://competitions.codalab.org/competitions/17094
- https://isles22.grand-challenge.org/
- https://doi.org/10.7937/TCIA.T905-ZQ20
- https://wiki.cancerimagingarchive.net/display/Public/Data+Usage+Policies+and+Restrictions
- https://autopet.grand-challenge.org/
- https://github.com/JunMa11/AbdomenCT-1K
- https://flare22.grand-challenge.org/
- https://toothfairychallenges.github.io/
- https://asoca.grand-challenge.org/
- https://portal.conp.ca/dataset?id=projects/calgary-campinas
- https://openneuro.org/datasets/ds003346/versions/1.1.2
- https://zenodo.org/record/7155725#.Y0OOCOxBztM
- https://lndb.grand-challenge.org/
- https://zenodo.org/record/8014041
- https://www.nature.com/articles/sdata2017117
- https://emidec.com/segmentation-contest
- https://doi.org/10.6084/m9.figshare.13055663
- https://doi.org/10.6084/m9.figshare.c.5904905.v1
- https://brainsuite.org/
- https://headctstudy.qure.ai/dataset
- https://xrlab.ikim.nrw/
- https://github.com/Jianningli/medshapenet-feedback
- https://shapenet.org/
- https://medshapenet-ikim.streamlit.app/
- https://kite.ikim.nrw/
- https://enfaced2.ikim.nrw/
- https://autoimplant.ikim.nrw/
- https://zvrm.ume.de/