病理組織学の画像検索の進展

病理学で似たような画像を探すのは医療従事者にとって重要なんだ。これによって、患者を診断したり、治療結果を予測したりするのに役立つんだよ。全スライド画像（WSI）は、患者から取った組織サンプルの詳細なデジタルコピーなんだ。WSIの間で正しいマッチを見つけることがこの分野でのカギの技術なんだ。

この記事では、病理学における画像検索のためのいろんな方法を見ていくよ。Bag of Visual Words（BoVW）、Yottixel、Self-Supervised Image Search for Histology（SISH）、Retrieval with Clustering-guided Contrastive Learning（RetCCL）の4つの主要な検索エンジンに焦点を当てるね。これらの方法がどう機能するか、強みや弱み、速度、精度、ストレージのニーズについて比較してみる。

#画像検索ソリューションの必要性

デジタル病理が進むにつれて、病理医が組織画像を効果的に比較するためのツールの需要が高まっているんだ。これらのツールは、専門家同士でセカンドオピニオンを依頼するように、以前のケースからの洞察を集める手助けをするんだよ。しかし、効率的な画像検索ソリューションを作るのは簡単じゃないんだ。最初の障害は、WSIがギガピクセルのファイルであることなんだ。これにより、画像をパッチやタイルと呼ばれる小さなセクションに分割する方法が必要になる。

効果的な検索エンジンは、WSIを管理しやすい数のパッチにセグメント化できるアルゴリズムを使用することが求められるんだ。これにより、重要なパッチだけがさらなる検査のために選ばれるんだ。このプロセスでは、事前にトレーニングされたディープラーニングモデルを使ってパッチから特徴を抽出することが含まれるかもしれない。しかし、検索がどれだけ早くできるかだけではなく、メモリのストレージも最小限である必要があるんだ。多くの現在のソリューションは、スピードだけに焦点を当てていて、メモリ効率を無視しているんだ。

#画像検索方法の概要

最近、いくつかの画像検索方法が提案されている。これらの中には完全な検索パイプラインを提供するものもあれば、検索エンジンに必要な特定のコンポーネントだけを提供するものもある。これから、病理学における検索を行うために選んだ4つのフレームワークを分析してみる。

#Bag of Visual Words (BoVW)

BoVWアプローチは確立されていて、画像の小さなセクションから視覚的な辞書を作成することで機能するんだ。この画像記述子をサンプリングして抽出するために、さまざまな技術を使うことができるんだ。記述子を集めると、それを使って検索用の視覚的な辞書を作成するんだよ。BoVWは、WSIを視覚的な単語で表すヒストグラムを生成する。

このフレームワークは、医療画像解析を含むさまざまな分野で幅広く応用されているんだ。この研究では、病理学の目的に合わせてカスタマイズされたBoVWのバージョンを詳しく調べたよ。その結果、BoVWが画像の検索や分類タスクを効果的に処理できることがわかった。

#Yottixel

Yottixelは新しい検索エンジンで、パッチと全スライド画像の両方を扱うことができるんだ。WSIを色のヒストグラムと近接性に基づいて小さなパッチに分けるために、非監視型の方法を導入したんだ。これらの小さなパッチが全体のWSIを表すモザイクを形成する。

Yottixelは、そのモザイクパッチからディープな特徴をニューラルネットワークを使って抽出するんだ。次に、バイナリゼーション技術を使って特徴のバーコードを生成して、効率的なストレージと迅速な検索を可能にする。この方法は、ストレージをうまく管理しつつ正確な結果を得るのに効果的だって証明された。

#Self-Supervised Image Search for Histology (SISH)

SISHはYottixelフレームワークを基に構築されていて、追加のネットワークを組み込むことによってユニークな特徴を加えているんだ。このネットワークは検索速度を向上させることを目的にしているんだ。SISHはクイックサーチのためにツリー構造を利用しているけど、実際には不安定な結果を示しているんだ。SISHの著者たちは、Yottixelの改善を試みたが、ほとんど改善が見られず、検索後に新しいランキングアルゴリズムを追加したんだ。

#Retrieval with Clustering-guided Contrastive Learning (RetCCL)

RetCCLはYottixelのアプローチを修正して、その色のヒストグラムをディープな特徴に置き換えている。主に病理学においてより良い結果を得るために、クラスタリングガイドの対比学習を利用することに焦点を当てているんだ。この焦点にもかかわらず、他のエンジンと比較して速度と精度が十分でないことが多いんだ。

#画像検索フレームワークの比較

私たちの作業では、これら4つの画像検索エンジンがさまざまなシナリオでどのように機能するかの広範な評価が含まれているんだ。処理速度、全体の精度、ストレージのニーズなどの要素を調査したんだ。

#各方法のアルゴリズム構造

以下は、方法の違いが顕著な主要なカテゴリだよ：

• 分割： すべての方法はWSIをパッチに分けるべきだけど、やり方が違う。BoVWはランダムサンプリングを使い、Yottixelは非監視型のモザイクアプローチを使用、SISHとRetCCLはYottixelのモザイクを適応させて新しい技術を導入していない。

• 特徴抽出： 各検索エンジンは、パッチから抽出されたディープな特徴を必要とする。BoVWは従来の方法に依存するけど、YottixelとSISHは特定のネットワークからのディープな特徴に焦点を当てている。RetCCLは自分のネットワークを使っている。

• エンコーディング： ほとんどの方法は、速度やストレージ効率を向上させるためにさまざまなエンコーディング技術を利用する。BoVWとYottixelはそれぞれヒストグラムとバーコードを生成する。SISHとRetCCLは整数ベースのエンコーディングを使用するけど、より多くのストレージが必要になる。

• スペース： 各方法によって必要なストレージの量が異なり、BoVWとYottixelが最も少ない。SISHのツリー構造の使用は高いストレージ要求につながる。

• マッチング： 画像を比較する方法はフレームワークによって異なる。BoVWは異なる距離のメトリックを許可するけど、Yottixelはハミング距離に焦点を当てている。SISHとRetCCLもそれぞれ特有の比較技術を持っている。

#評価のためのパフォーマンス指標

内的データ（Mayo Clinicからのデータ）と公共データセットに基づいて結果を収集したよ。主要な指標は次の通り：

• 検索精度： これはトップ1精度やトップ3、トップ5の検索結果の多数決を用いて評価されたんだ。

• インデックス作成と検索速度： 画像のインデックスを作成するのにどれくらい時間がかかったか、どれくらい速く検索できたかを測定した。

• ストレージ要件： これは各方法がインデックスされた画像を保存するのにどれだけのディスクスペースを使用したかを追跡したんだ。

#内部データセットの結果

私たちは、乳房腫瘍、肝臓、皮膚癌、大腸ポリープの4種類の組織サンプルから収集されたデータを使って実験を行ったよ。

#検索精度の発見

結果は一貫して、Yottixelがほとんどのデータセットで最も良いパフォーマンスを示していて、トップ1の測定で高い精度率を達成した。BoVWは精度は低いけど、それでも効率的な速度とストレージ使用のおかげで競争力を保っていた。SISHとRetCCLは満足のいくスコアを達成するのに苦労していて、RetCCLはしばしば最も効果が薄かった。

#インデックス作成と検索速度の発見

BoVWはインデックス作成の最速の方法であることが証明されたけど、Yottixelは効率的なバイナリ比較のおかげで検索速度も速かった。SISHとRetCCLは処理速度で大幅に遅れをとり、実際のアプリケーションでの実用性を制限していた。

#ストレージ要件の発見

BoVWは最も少ないストレージスペースを必要とし、リソースが限られたアプリケーションに理想的だ。Yottixelも頑張ったけど、BoVWよりは少し要求が高かった。一方で、SISHとRetCCLはかなり多くのスペースを必要としていて、大規模データセットには課題をもたらしているんだ。

#外部データセットの結果

私たちは、CAMELYON16、BRACS、PANDAという3つの公共データセットでも検索エンジンをテストしたよ。Yottixelはこれらのデータセットでもパフォーマンスが優れていて、特に精度で輝いていた。SISHは多くの検索が失敗したことで信頼性に課題を抱えていたんだ。

#検索速度とストレージの発見

内部テストと同様に、Yottixelは速度とストレージの効率で優れていた。SISHは引き続き苦戦し、その設計が大規模なアプリケーションには適していないことを再確認させられたんだ。

#結論と今後の方向性

病理学における画像検索エンジンを評価することは、既存のソリューションの強みと弱みを認識するために重要なんだ。結果は、YottixelとBoVWが速度とストレージ効率の面でしっかりした選択肢であることを示しているけど、検索精度には改善の余地があることを示している。一方、SISHとRetCCLは臨床利用に適するためにはかなりの改善が必要だ。

今後は、新しいパッチアルゴリズムや画像選択の自動化ソリューションの導入が役立つかもしれない。また、多モーダル検索戦略を探求することで、病理学における画像検索エンジンの機能を大いに向上させることができるだろう。デジタル病理の需要が高まる中で、画像検索の速度と精度を向上させることに焦点を当てることがますます重要になるだろう。