CholecInstanceSegを紹介するよ: 外科用ツールセグメンテーションのための新しいデータセットだ！

腹腔鏡手術やロボット手術では、手術中に使われる器具を正確に特定してセグメンテーションすることが重要だよ。これは、手術をより安全で簡単にするために欠かせないんだ。手術手順に関する情報を提供するデータセットはいくつかあるけど、器具についての詳細なラベルが少ないことが多い。それに、存在する多くのデータセットは豚の手術に焦点を当てていて、人間に対してはあまり役に立たないんだ。

このギャップを埋めるために、私たちはCholecInstanceSegという、腹腔鏡手術における器具のセグメンテーション用に作られた大規模なデータセットを紹介するよ。このデータセットには、以前のデータセットとは違って、患者の手術に関する新しいラベルが含まれてる。CholecInstanceSegは、85の臨床手術から取得した41,933の注釈付きフレームを含んでいて、64,400の特定された器具を特徴としてる。それぞれの器具には特定のマスクとIDが付けられてるよ。私たちはラベルの正確性を確保するために厳密な品質チェックを行った。このデータセットは、手術をサポートできるコンピュータープログラムの開発を改善するために作られたんだ。

#背景

最小侵襲手術（MIS）は、開腹手術に比べて利点が多いため、より一般的になってきてる。これらの利点には、出血量の減少、患者の痛みの軽減、回復時間の短縮、手術後の合併症の減少が含まれるよ。しかし、MISは視覚化のためにカメラに依存することが多くて、これが外科医の視界を制限して複雑な手術を難しくすることがある。

これらの視覚化の問題を克服するために、コンピューターベースの介入を支援する技術が開発されているんだ。主な課題の一つは、限られた視界の中で手術器具を正確に特定することだよ。この能力は、外科医を助けたり、特定のタスクを自律的に実行する技術を作るために欠かせない。

現在入手可能な手術器具のセグメンテーションに焦点を当てたデータセットにはいくつかの制限があるよ。多くは人間の手術よりも動物の手術に重点を置いていて、日常的な臨床場面での有用性が限られているんだ。他のデータセットでは、1種類の器具の基本的なセグメンテーション情報しか提供されていなかったり、個々の器具についての詳細情報をほとんど提供していない。

これらの懸念に対処するために、私たちはCholecInstanceSegデータセットを作成したんだ。これは、85の腹腔鏡手術からの41,933のフレームを特徴としていて、手術における器具のインスタンスセグメンテーションのために利用できる最大のデータセットだよ。

#データソース

CholecInstanceSegは、Cholec80、CholecT50、CholecSeg8kの3つの既存の腹腔鏡手術データセットからフレームを使って作成されたんだ。これらのデータセットには合計85のビデオシーケンスが含まれてる。

ソースデータセットを指すとき、私たちはビデオと画像シーケンスを区別するよ。ビデオは音声付きの視覚ファイルで、画像シーケンスはビデオから抽出された個々のフレームで構成されているんだ。CholecInstanceSegで使われているフレームは、利用するために必要な倫理的承認を既に得ている公共のデータセットから来てる。

CholecSeg8kには、Cholec80データセットの17のビデオからの8,080のフレームが含まれていて、このデータセットは主にセマンティックセグメンテーションのラベルを提供するけど、特定のインスタンス情報は欠けてる。CholecT50データセットは50のビデオで構成されていて、器具と組織との相互作用の詳細を含むより詳細なラベルを持っているけど、私たちが提供しようとした包括的な器具ラベリングは不足しているんだ。

Cholec80は80の腹腔鏡手術のビデオを含んでいて、器具の存在に関する情報はあるけど、完全な注釈は提供していないよ。

#セグメンテーションラベル

CholecInstanceSegは、腹腔鏡手術で使用されるさまざまなタイプの器具にラベルを付けることに重点を置いてる。観察に基づいて、7つの異なる器具カテゴリを記録したよ：グラスパー、バイポーラ器具、フック、クリッパー、ハサミ、灌漑器、そしてスネア。スネアは、以前のデータセットには独自の特性と機能から含まれていなかった新しい追加項目だよ。

ラベリングのときには、すべての器具を含めるけど、手術針や他の手術器具として直接分類されないアイテムなど、データセットを複雑にする可能性のあるアイテムは除外したんだ。器具が見えているときだけラベリングを行い、器具を持っていないインストゥルメントポートにはラベリングしなかったよ。

高品質の注釈を維持するためのガイドラインも定めた。高い精度を目指してはいたけど、完全な完璧を求めることは、時間や予算の制約から実現できなかったから、ラベルの境界の小さな不完全さは許容したんだ。各器具の重要な特性がまだ特定できるようにするのが目標だよ。

#注釈ツールと技術

CholecInstanceSegの注釈を集めるために、LabelMeという人気プロジェクトに基づいたオープンソースの注釈ツールのカスタマイズ版を使用したんだ。このツールはインタラクティブなセグメンテーションに特化していて、手術器具を特定するのを手助けしてくれる。

時々、自動システムが困難に直面したときには、手動入力に切り替えなければならなかったんだ。この問題は、器具と背景が色が似ている複雑なシーンや、煙や眩しさで視認性が悪いときによく発生したよ。

私たちが使用したデータセットの一つであるCholecSeg8kには、いくつかのセマンティックセグメンテーションのラベルがすでにあった。これらを修正してインスタンスIDを含めて、同じ画像の異なる器具を区別できるようにしたんだ。セマンティックセグメンテーションをインスタンスレベルの注釈に変換するために、接続成分分析という技術を使用したよ。

このプロセスでは、器具をカテゴリごとに整理して、ソフトウェアを混乱させる可能性のある重複や遮蔽を特定した。インスタンスIDを正しく割り当てるために複数のワークフローを作成し、ラベルの誤りや欠落した器具の注釈などの問題を特定したんだ。

注釈のスピードと品質を向上させるために、半自動的なアプローチを採用した。この方法は、人間の入力とAI駆動のモデルトレーニングを組み合わせて、より多くの画像に対してインスタンスセグメンテーションラベルを生成するのを手助けしてくれるよ。

#注釈プロセス

CholecInstanceSegデータセットを作成するための全体的なプロセスは、いくつかの主要なステップで要約できるよ：

1. インスタンス-CholecSeg8kの注釈： 既存のセマンティックセグメンテーションラベルのデータセットを、インスタンスIDを含むフォーマットに変換した。これには約2週間かかり、いくつかの品質チェックが含まれたよ。

2. ラベリングプロトコルの作成： 最初の注釈中に発生した課題に対処するためのガイドラインを3週かけて開発した。これには高い複雑さを伴う困難なケースへの対処戦略が含まれたんだ。

3. インスタンス-CholecT50-Sparseの注釈： このステップには3週間かかり、私たちが開発したガイドラインを使用してデータに正確なラベリングを行った。

4. インスタンス-CholecT50-Fullの注釈： この半自動アプローチではさらに3週間が必要で、前の注釈に基づいて、質を向上させるための反復的なトレーニングと修正が含まれた。

5. インスタンス-Cholec80の注釈： データセット内の多様性を確保するために、1週間をかけてこの部分を手動で注釈を行ったよ。

6. 最終品質管理： すべての注釈の正確さと一貫性を確保するために、徹底的なレビューを行うために2週間を割り当てた。

注釈中、主な注釈者が大部分の作業を管理し、より経験のある副注釈者が品質管理や注釈ガイダンスを提供した。さらに、専門のチームが不明確な状況を解決するのを手伝ったよ。

#データセットの概要

CholecInstanceSegは公開されていて、研究者がデータに簡単にアクセスできるように構成されてる。このデータセットは訓練用と検証用のディレクトリに分かれていて、画像はPNG形式、注釈はJSON形式で提供されてるよ。注釈は、クラスラベル、ポリゴン座標、インスタンスIDを示す特定の構造に従ってる。

私たちのデータセットと関連データセット間の一貫性を維持するために、ビデオ名とフレームIDを保存して、私たちのデータセットと既存のリソースとの統合を簡単にするつもりだよ。

#パフォーマンスと検証

CholecInstanceSegデータセットの有効性を確保するために、Mask R-CNNとMask2Formerの2つのベースラインモデルをトレーニングしたんだ。これらのモデルは、セグメンテーションタスクのトレーニングにおける一般化能力が高いことで選ばれているよ。パフォーマンスは、将来の研究のためのベンチマークを提供するために、確立されたメトリックを使用して測定した。

モデルトレーニングを通じたパフォーマンス検証に加えて、ラベルの一致分析も行って、正確さを確認したよ。2人の注釈者がデータセットのサブセットを独立してラベリングして、インターアノテーターの一致を評価した。結果は高い一貫性を示し、私たちのラベリングプロセスが効果的であったことを示してる。

さらに、手動と半自動の注釈を比較して、自動プロセスのスピードが品質を犠牲にしていないことを確認したんだ。結果は良好で、両方のアプローチが類似の結果を得たことを示してるよ。

#結論

CholecInstanceSegは、腹腔鏡手術におけるインスタンスセグメンテーションアルゴリズムの開発のために、高品質の包括的リソースを提供することで、既存のデータセットのギャップを埋めることを目的としてる。このデータセットは、さまざまな器具にわたる広範な注釈を提供していて、研究や開発の目的での信頼性を確保するために検証されているんだ。

このデータセットは、外科医をサポートする技術の作成や改善を支援することを意図していて、手術をより安全で効率的にするんだ。このデータセットを公開することで、手術器具のセグメンテーションやコンピュータ支援手術の分野でのさらなる革新を促進できればと思ってるよ。