神経画像解析のための多用途モデル

神経画像は人間の脳を研究する上で重要な部分なんだ。セグメンテーションや再構成、レジストレーションみたいな方法が神経科学者や臨床研究者が脳の構造や機能を理解するのを助けてる。でも、これらの作業は難しいこともあって、データセットやタスクに変化があるたびに新しいモデルや既存のモデルの調整が必要になることが多い。モデルのトレーニングは時間がかかるし、多くの研究者は機械学習のスキルやリソースを持っていないから、古い方法に頼ってしまうことが多い。その結果、神経科学での先進的な技術の利用が制限されることもあるんだ。

そこで、私たちは再トレーニングや調整なしで様々な神経画像タスクを処理できる新しいモデルを提案する。このモデルは、見たことのないタスクも理解できて、予測をするのに1回のフォワードパスだけで済む。異なる画像タイプやデータ収集方法にわたる様々なタスクをこなせて、これまでトレーニングされていない新しいタスクにも適応できるんだ。コロナルスライスでのテストでは、注釈付きの被験者が少ない状況でも、私たちのモデルは特定のタスク用にトレーニングされたモデルよりも優れた性能を示した。

私たちのモデルは、新しいタスクの予測段階でそのタスクの例を見ながら多様な画像処理タスクをこなすことができる。様々なタスクでトレーニングされた後は、新しいタスクに対しても一度の処理で予測ができる。モデルは非常に柔軟で、事前に決まったタスクセットを必要としない。

神経画像における計算方法は、脳の働きを理解する上で大きく進展した。これにより、非侵襲的な診断や治療オプションが実現し、患者ケアも向上した。最近の深層学習の研究は、神経画像分析の性能や速度向上の可能性を示している。

現在の多くの深層学習アプローチには大きな欠点があって、それぞれ特定のタスクのためにトレーニングされた物しかできない。新しいタスクやデータに対する一般化ができないのが、彼らの有用性を制限している。セグメンテーションやモーション補正のような異なる神経画像タスクは通常、異なるモデルが必要だけど、それらが似た入力データを使ってもね。これらの異なるモデルを設計してトレーニングするには費用と時間がかかるし、トレーニングデータセットを作るには手作業が必要なことも多い。そのため、特に臨床環境では必要な計算リソースが常に揃っているわけではない。

その結果、研究者たちはデータに合わない古い方法を使うことになったりする。多くの神経画像タスクが似ているから、モデルが一般化できる方法を見つけることで、トレーニングが必要なモデルの数を減らすことができるかもしれない。

私たちは、様々な神経画像タスクに対してオールインワンの解決策として私たちのモデルを紹介する。このモデルは、各タスクごとに特別にトレーニングすることなしに複数のタスクやデータタイプを処理できる。このアプローチにより、モデルは予測時に提供された例のセットを使って新しいタスクに直接挑戦できる。畳み込みアーキテクチャを使用して、これらの例から入力を取り込み、目的のタスクを定義するために処理する。つまり、モデルがどのタスクを実行するかを事前に明確に定義する必要がないんだ。

私たちの研究は、このシステムがどれだけうまく機能するか、またそこからどんな洞察が得られるかに焦点を当てている。プロセスを簡素化するために、まずは2D画像でテストを始めることにした。評価では、私たちのモデルをタスク特化型モデルと比較し、同じ量のトレーニングデータを使ったパフォーマンスを分析する。私たちの結果は、ラベル付きの例が利用できるとき、私たちのモデルがタスク特化型モデルと同等の性能を発揮することを示している。新しいセグメンテーション手法に直面したとき、私たちのモデルはそのデータセットで直接トレーニングされたタスク特化型モデルと同じ性能を出せるんだ。

#関連研究

神経画像分析には多くのタスクや方法が含まれている。これらのタスクがどのように機能するかを理解することは、それらを効果的に適用するのに役立つ。神経画像分野で使われる一般的な画像技術には、構造的MRI、機能的MRI、拡散テンソル画像（DTI）、コンピュータ断層撮影（CT）、PETスキャンがある。これらの各方法は異なる種類の画像を生成し、テストの場所、使用される機器、遵守されるプロトコルなどの要因によって異なることがある。

通常、複数の処理タスクが一つのワークフローに統合される。一般的なタスクには、解剖学的セグメンテーション、頭蓋骨剥離、画像の整列、異なる画像方法間の移行、ノイズの低減がある。これらのタスクを実行するためのソフトウェアソリューションを提供するツールキットが多く存在し、伝統的な最適化方法を使用していることが多い。有名なツールキットには、Freesurfer、FSL、SPMなどがある。最近では、精度向上とランタイムの短縮から、深層学習方法も取り入れられ始めている。しかし、これらの方法の多くはまだ特定のタスクや画像タイプに限られている。

マルチタスク学習（MTL）は、類似性を利用して複数のタスクを同時に解決しようとする方法だ。神経画像では、MTLネットワークがセグメンテーションと分類を同時に行うために提案されている。しかし、タスク数が多くなるとMTLには課題があり、多くのMTL方法はモデルが新しいタスクに適応することを許可しない。

医療画像におけるデータ不足の問題を解決するために、いくつかのニューラルネットワークが、豊富なデータを持つ関連タスクにプレトレーニングされた後、特定のタスクにファインチューニングされる。このアプローチは機械学習の経験や計算リソースが必要で、臨床研究ではしばしば不足している。

Few-shot learningは別のアプローチで、モデルがわずか数個のラベル付き例または時にはまったくなしで予測を行えるようにする。多くのfew-shot方法はトレーニングや調整を必要とする。医療画像の分野では、これらのfew-shot方法は主に単一画像の特定の領域に焦点を当てている。

自動機械学習（AutoML）ツールは、深層学習モデルの作成とトレーニングのステップを簡素化し、技術的知識の必要性を減らすのに役立つ。NN-UNetのようなAutoMLソリューションは、生物医学画像セグメンテーションのようなタスクのためにモデルの設計とトレーニングに成功している。しかし、それらには強力なハードウェアが必要で、柔軟性を制限することがある。

データ拡張は、既存のデータを変更することでトレーニングデータの範囲を広げ、モデルが入力の変動に対応できるようにする。神経画像では、実データを必要とせずに画像をシミュレーションでき、まったく新しいタスクを作ることもできる。私たちはデータ拡張を使用し、モデルが新しいタスクに一般化できるようにリッチなタスク特有の拡張を開発している。

私たちのモデルは、7つのペアワイズ・コンボ・アヴェレージ（Pairwise-Conv-Avg）ブロックから構成され、U-Netのようなフレームワークに配置されている。このモデルは、入力画像と参照画像のペアとの相互作用を可能にする。各ペアワイズ・コンボ・アヴェレージブロックは、入力の特徴とコンテキスト画像を組み合わせて予測を改善するのに役立つ。これはコンテキストセットのサイズに関係なく機能するように設計されている。

#一般化可能なマルチタスクモデル

トレーニング中に見なかったタスクの一般化を可能にするために、いくつかのタスクを定義し、その中には見たタスクと見ていないタスクがある。それぞれのタスクには、複数のデータセットから引き出された入力出力画像ペアが関与する。

モデルは条件付きで、どのタスクを実行するかを示す入力出力画像ペアのコンテキストセットに依存する。このコンテキストセットはサイズが変わる可能性があり、トレーニングの各イテレーション中にデータセットからサンプリングされる。私たちは、コンテキストセットによって定義されたタスクを入力神経画像に適用し、監視学習を使ってネットワークを最適化するニューラルネットワークを使用する。

モデルを多用途にするために、損失関数や入力画像のエンコーディング方法を慎重に選ぶ。このデザインにより、モデルは異なるタイプのタスクや入力を効果的に処理できる。

セグメンテーションタスクの場合、私たちはしばしばソフトダイス損失を使用するが、他のタスクはピクセルごとの平均二乗誤差を使用し、異なる損失の種類が同様の大きさを持つようにバランス調整する。このモデルはトレーニング中に複数のタスクを同時に学ぶので、これらの損失がどうバランスされるかが性能に大きく影響する。

モデルは、一度に複数の入力画像モダリティを受け入れることもできる。入力画像は3チャネルの浮動小数点値として表現できる。出力はタスクに依存し、多くのタスクでは単一チャネルを使用する。各トレーニングイテレーション中に、タスクをサンプリングし、そのタスクに使用するデータセットを選択する。必要に応じて画像やセグメンテーションマスクを準備し、モデルがさまざまなタスクに効率的に適応できるようにする。

#モデルアーキテクチャ

私たちのモデルのアーキテクチャは、U-Netのような構成に基づいており、画像を異なるスケールで効果的に処理できる。入力画像とコンテキストセットからの画像ペアは最初に、畳み込みを使って表現を生成するエンベディング層を通過する。その後、これらの表現は複数のペアワイズ・コンボ・アヴェレージブロックを介して処理される。

これらのブロックは、入力画像とコンテキスト画像の間の相互作用を促進するように設計されており、必要な情報が共有されることを保証する。最終的なペアワイズ・コンボ・アヴェレージブロックからの出力は、最終的な出力を提供するためにさらに処理される。

私たちの実験では、トレーニングデータセットの多様性を高めるためにさまざまな拡張方法を使用している。推論中、モデルは入力画像とコンテキストセットを取り込み、迅速な予測を生成する。テスト時には、サンプリングとコンテキストセットへのわずかな変更を含むブートストラッピング技術を使用して、精度をさらに高める。

#実験

私たちのモデルを評価するために、まずはタスク特化型ネットワークとそのパフォーマンスを比較する。コンテキストセットのサイズの影響や、モデルがトレーニング中に見なかったセグメンテーションプロトコルと画像タイプへの一般化を分析する。

広範なデータセットを作成するために、さまざまな公的データセットから神経画像を収集する。画像を正しく整列させ、良質なものにするためにセグメンテーション手法を使用する。最終的なデータセットには2,000以上の被験者と16,000枚近くの画像が含まれ、複数のモダリティにわたっている。

私たちのテストでは、神経画像タスクに関連する重要なメトリックに焦点を当て、私たちのモデルの性能をタスク特化型ベースラインと比較する。私たちの発見は、私たちのモデルが新しいタスクやモダリティに効果的に一般化できることを示しており、特定の単一タスクにトレーニングされたモデルをしばしば上回っている。

大規模な注釈付きデータセットが利用可能な場合、タスク特化型モデルが時折より良いパフォーマンスを示した。しかし、これらのモデルをトレーニングするには時間とリソースがかなり必要だった。一方、私たちのモデルは比較できる性能を提供し、限られたデータの状況でもさまざまなタスクに楽に適応できる。

#結論

私たちの研究は、単一のモデルがトレーニングや微調整なしに多くの神経画像タスクを効果的に実行でき、研究者にとって貴重なツールとなり得ることを示している。異なるタスク間の類似性を活用する可能性は、神経画像分析へのアプローチをよりスムーズにすることができる。このモデルは、臨床研究者や科学者にとって大きな利益をもたらし、複雑な問題に対するシンプルな解決策を提供する可能性がある。

このアプローチを改良し続けながら、私たちは神経画像タスクやデータタイプのより広い範囲への適用を拡大することに興奮している。このモデルが神経画像タスクの実施を簡素化し、強化する可能性は非常に大きく、さらなる発展はその有用性をさらに高めることだろう。