合成データでマウスのポーズ推定を改善する

動物の行動を追跡・測定することは、生物学、エコロジー、神経科学の分野でめっちゃ重要なんだ。特にマウスは、アルツハイマーやパーキンソン病みたいな神経変性疾患の研究でよく使われる。研究が進むにつれて、こうしたテーマを研究するために多くのビデオデータが集められてるけど、注釈がないと多くのコンピュータビジョン手法が使えないんだよね。この記事では、合成データを使ってラベルのない画像からマウスの体のポーズを推定する新しい方法について話すよ。

#より良いツールが必要な理由

従来、マウスの行動を測定するには手作業がめっちゃ多かった。研究者は、各肢の位置を特定して記録するためにたくさんのビデオフレームを見なきゃいけなかったんだ。この方法は時間がかかる上にミスも起こりやすい。初期のコンピュータビジョン技術は、動物に物理的なマーカーやペイントを使って人間の手間を減らそうとしてたけど、これにも欠点があった。マーカーは動物の自然な行動を妨害するし、データもマーカーの位置によって制限されちゃう。

最近、コンピュータビジョンの進歩でマーカーなしの追跡システムが登場した。これらのシステムは物理的なマーカーにあまり依存しないけど、それでもビデオデータの処理には一定の手間がかかる。監視下の深層学習技術が人間や動物のポーズ推定に人気だけど、その効果は大量の注釈データにアクセスできるかどうかにかかってるから、いろんな動物種には手に入れるのが難しいこともあるんだ。

#私たちのアプローチ

この研究では、ラベルのない画像を使ってマウスの体のポーズを予測する新しい方法を提案するよ。完全に監視された方法に頼るんじゃなくて、人間のポーズのために元々設計された自己監視型の技術を適応させるんだ。私たちの方法は、ラベルのない画像とマウスの3Dモデルから生成された一対の2Dポーズのセットを使って学習するために、生成対抗ネットワーク（GAN）を使用してる。

手動での注釈が不要になることで、詳細なラベルが欠けているけど大量に手に入るデータを使って効率的にモデルをトレーニングできるんだ。このアプローチでは、モデルが学ぶためのさまざまなポーズを生成することもできて、柔軟性や応用可能性が増すんだ。

#仕組み

私たちの方法は、マウスの3Dモデルを使ってトレーニング用の先行情報として機能する2Dポーズを作成するところから始まる。ペアの画像とポーズの注釈を必要とする代わりに、合成されたポーズだけを使うんだ。これらの合成ポーズは、マウスのスナウト、尾、肢などの異なる関節位置を含んでるよ。

ポーズ推定モデル自体は、二段階のマッピングプロセスで構成されてる。最初の部分は、入力画像を畳み込みニューラルネットワーク（CNN）に入力して、スケルトン画像を生成すること。最後に、二番目の部分はスケルトン画像を取り込んで2Dポーズの表現にマッピングするんだ。

トレーニング中は、生成された画像と入力画像の違いをチェックするロス関数を使って、スケルトン画像から関節位置へのマッピングを測定し、スケルトン画像の信頼性を評価する。これらのロスの組み合わせを使用することで、モデルを効果的に改善し、より正確なポーズ予測を可能にするんだ。

#データセットと手法

私たちのデータセットは、ALSに関連するさまざまなテストを受けたマウスのビデオで構成されてる。各ビデオではマウスがトレッドミルで走っているのを捉えて、これらのビデオから画像を抽出してポーズ推定器をトレーニングしたよ。データセットをトレーニング用とテスト用の画像に分けて、モデルのパフォーマンスを評価したんだ。

マウスの動きを明瞭に捉えるための特別なセットアップを使ってデータを記録した。この試験中に集めたデータは膨大で、モデルのトレーニングにしっかりした基盤を提供してる。

#結果の評価

私たちのモデルが2Dポーズをどれだけ正確に予測できるかを評価するために、各関節位置の平均誤差（MPJPE）という指標を使用した。これは、予測された関節位置を真の注釈と比較して精度を評価するもの。私たちのテストでは、動物のポーズ推定によく使われる有名な監視手法DeepLabCutとモデルの予測を比較したよ。

結果として、DeepLabCutは人間の注釈に依存してる分、ちょっとだけパフォーマンスが良かったけど、私たちの自己監視型の方法もすごい成果を出した。私たちのモデルの予測は真の値とかなり一致していて、正確なポーズ推定の可能性を示してるんだ。

#他の動物への適応

私たちのアプローチの大きな利点の一つは、さまざまな動物種に適応できること。これを証明するために、馬の画像でもモデルをテストしたよ。このテスト用の合成先行情報は3Dの馬モデルを使って生成した。私たちのモデルは主にマウスの画像でトレーニングされてたけど、馬の画像でもうまく機能したんだ。

さらに、シマウマの画像を使ってモデルをテストしたところ、モデルはシマウマ用の合理的なポーズ予測もできた。こうした適応力は、私たちの方法が再トレーニングやデータ収集の手間なしにさまざまな領域に応用できる可能性を示してるね。

#結論

まとめると、私たちはラベルのないデータを使ってマウスの2Dポーズ推定に自己監視アプローチを適応させることに成功した。これにより手動の注釈の必要性を最小限に抑えて、トレーニングプロセスを効率化できるんだ。この技術は、動物行動研究に関するさまざまな研究分野での迅速な展開の機会を開くことになる。

合成先行情報を効果的に生成・利用することで、私たちのモデルは監視手法と競争力のある結果を達成できることを示した。将来の研究では、ALSを持つ遺伝子改変マウスの歩行パターンを研究するためにこの方法論を適用して、神経変性疾患の発展に関する貴重な洞察を提供する予定だよ。

私たちの研究は、動物の行動を追跡するための効率的なツールの開発の重要性を強調していて、最終的には複雑な生物学的プロセスの理解に貢献することになるだろうね。