画像からfMRI活動を予測する新しいモデル

機能的磁気共鳴画像法（fMRI）は、脳の活動を血流の変化を検出することで測定する技術だよ。脳の一部が活発になると、もっと血液が必要になるから、fMRIがその活動をキャッチするんだ。俺たちの目標は、画像に基づいてfMRIの活動を予測するモデルを作ることだったんだ。

従来は、まず画像から特徴を取り出すためにディープニューラルネットワークを使ってた。その後、各人に対して別々のモデルを作って、その特徴をfMRIの活動に結びつけてた。でも、特徴とfMRIデータがとても複雑で次元が高いから、管理が難しいっていう問題があったんだ。だから、パラメータを減らしたモデルを作りたかったんだ。そうすれば、プロセスがもっと効率的になるからね。

#モデル設計

俺たちのモデルは、リニアエンコーディングヘッドと事前学習された幹モデルの二つの主要なパートで構成されてる。幹モデルはすでにいろんなタスクで訓練されてるんだ。エンコーディングヘッドはfMRIの活動を理解することに焦点を当ててる。これには主に三つの部分があるんだ：

1. 特徴投影：高次元の特徴を扱いやすいサイズに減らすんだ。最初にこれらの特徴を低次元に投影して、それから平均を取るんだ。つまり、モデルのいろんな層からの情報を組み合わせて、よりコンパクトな表現を作るってわけさ。

2. 低次元エンコーディング：この部分は、減らした特徴をfMRI活動空間にマッピングする。各被験者に対して共通の変換と特定の変換の両方を使うんだ。各被験者にはユニークなマッピングがあるけど、特徴の共通理解にまだつながってるんだ。

3. PCA fMRI活動埋め込み：最後の部分は、変換された特徴を使ってfMRIデータを再構築する。これには主成分分析（PCA）を使ったんだ。PCAの結果が最終出力の作り方を導いて、データの特定の詳細をオーバーフィットしないようにしてる。

#特徴投影の詳細

最初の段階で、画像から取り出した特徴のサイズを減らすんだ。これは、各入力層を独立して扱いやすいサイズに投影するプロセスを使ってる。個々の投影は、全体の表現を作るために結合されるんだ。

パラメータを節約するために、データのチャネルに沿って最初に投影を行い、その後高さと幅でプールする特別な技術を使ってる。これで、モデルがコンパクトで効率的に保たれるんだ。構造化された投影を使うことで、標準的な方法に比べてパラメータ数を大幅に削減できるよ。

#低次元マッピング

モデルの中央部分は、減少した特徴空間からfMRI空間へのマッピングを扱ってる。ここでは、各被験者に対して共通のマッピングと個別のマッピングメソッドを使ってる。つまり、各人には特定の道があるけど、共通の理解エリアもあるってことだ。

このユニークなマッピングは重要だけど、あまり多くの追加パラメータは必要ないんだ。これで、新しい被験者に対しても完全な再設計なしに適応できるモデルになるんだ。

#fMRI活動の再構築

最後に、モデルは低次元の特徴を使ってfMRIの活動ベクトルを再現するんだ。元のfMRIデータは高次元だから、この再構築がモデルのほとんどのパラメータを持つことになる。オーバーフィットを避けるために、PCAを使ってこの最後の段階を初期化して、訓練中は固定してる。

四つの主成分を平面マップで可視化すると、滑らかなパターンが見えるんだ。視覚システムの最も活発な部分への強いコネクションがあるよ。

#パラメータ数と効率

全体として、俺たちのモデルには合計1億6百万のパラメータがあって、そのうち2500万は訓練可能なんだ。対照的に、同じ入力を使った基本的な線形回帰モデルは470億のパラメータが必要になる。俺たちのデザインは、これらのパラメータを効率的に使うことを目指してるから、複雑さを避けてるんだ。

#幹モデルの選定

このプロジェクトでは、特定の幹モデル、EVA02ビジョントランスフォーマーを使うことに決めたよ。このモデルは、いろんな画像タスクで訓練されていて、画像データを扱う能力が高いんだ。幹モデルがどのように訓練されるかの違いが、俺たちのモデルのパフォーマンスに影響を与えるんだ。

#データ準備

俺たちは、チャレンジ用に提供された特定のデータを使ってモデルを訓練したんだ。各被験者のデータは訓練、バリデーション、テストセットに分けられた。これで、さまざまなデータセットに対してうまく機能する強固なモデルを作るのに役立ったんだ。

画像はサイズを変更してトリミングすることで準備した。人それぞれが画像を見る際の小さな違いを模倣したかったんだ。データに対する追加の変更はあまり効果がなかったから、シンプルに保つことにしたよ。

それから、完全なデータセットの小さいバージョンも作った。このバージョンにはダウンサンプルされた画像とfMRIマップが含まれていて、他の人たちが使えるようになってる。

#モデルの訓練

訓練の目標は、モデルがfMRIの活動を正確に再現することだったよ。誤差を測定するために標準的な損失関数を使って、パフォーマンスを改善するために正則化手法を適用したんだ。

訓練は二つの主要なフェーズで行われた。まずは、幹モデルの重要な部分を固定しつつエンコーディングヘッドの訓練に集中した。その後、両方の部分を一緒に微調整して全体のパフォーマンスを向上させたよ。

強力なGPUを使って訓練プロセスを加速させたら、両方のフェーズを完了するのに数時間かかった。

#モデルのパフォーマンス

訓練後、俺たちのモデルは有望な結果を示した。fMRIデータをどれだけうまく再構築できたかを測定したら、微調整フェーズの後にスコアが少し改善したよ。

微調整によって多少の改善が見られたけど、全体的には小さな影響だったかも。それは、幹モデルの多くのパラメータが過剰適合につながる可能性があるってことかもしれない。

#様々な幹モデルの比較

いろんな幹モデルで、俺たちのモデルがどれだけ性能を発揮するかもテストしたんだ。全部の幹モデルは似たようなアーキテクチャを使ってたけど、いくつかは他よりも大きく多様なデータセットで訓練されてた。結果として、大きなデータセットで訓練されたモデルの方がパフォーマンスが良い傾向が見られたんだ。

面白いことに、俺たちの幹モデルは膨大なデータセットで訓練されたにもかかわらず、さらに大きなキュレーションされたデータセットで訓練されたモデルよりも良い性能を発揮した。これは、訓練データの質やスーパービジョンの方法が、単にたくさんのデータを持つことよりも影響力がある可能性があるってことを示してる。

#予測結果の可視化

可視化を使って、各被験者の予測活動が彼らの脳の平面解釈にどのようにマッピングされるかを見たんだ。各被験者のデータ再構築の精度には目に見える違いがあって、これは提供されたデータのセッション数に依存しているようだった。

予測は一貫したパターンを示したんだけど、特に視覚をつかさどる脳のエリアで顕著だったよ。

さらに、特定の被験者からのサンプルも見て、モデルがシンプルな画像に対しては明確な予測をすることが多いけど、もっと複雑なものには苦労していることが分かった。驚くことに、一部の予測は否定的な結果を示したけど、これはモデルの高い正則化レベルや未考慮の信号に関連しているかもしれないね。

#興味のある領域によるパフォーマンス

評価には、異なる脳の領域での予測パフォーマンスも含めた。いくつかの領域は他の領域よりもよく予測されたんだ。例えば、一次視覚入力に関連するエリアや特定の視覚処理タスクは、中程度の視覚処理に関連するエリアよりも高い精度で再構築されたんだ。

#結論

俺たちの研究は、画像からfMRI活動を効果的に予測するモデルを提示することでAlgonauts 2023チャレンジに貢献したよ。結果は、被験者間でパラメータを共有することで強固なベースラインモデルを作る助けになることを示唆しているんだ。

結局、微調整はいくつかの助けになるけど、訓練データの質やスーパービジョンといった他の要因が脳の活動を正確に予測するためには重要だってことを強調したい。そして、視覚皮質の異なる領域によってパフォーマンスが変わることを示す結果も出たんだ。これは脳機能を構造的に理解することの重要性を際立たせてるよ。

この研究をサポートしてくれたみんなの協力に感謝しつつ、この分野のさらなる探求を楽しみにしてるんだ。