CLEF 2023での主張支援のための画像検索評価

この作品は著作権で保護されています。使用はクリエイティブ・コモンズライセンスの「表示 4.0 国際」（CC BY 4.0）に基づいて許可されます。

#カンファレンス概要

この論文では、ギリシャのテッサロニキで行われたCLEF 2023というイベントについて話します。このカンファレンスは技術のさまざまなアプローチを評価することに焦点を当てていて、特に議論に関連する画像検索の分野に特化しています。

#はじめに

この研究では、議論を支える画像を検索することに焦点を当てた共有タスクに参加しました。私たちは、画像を生成したり、テキストのスタンスを判断したり、フィルタリングオプションを使ったり、特徴をマッチングしたりするさまざまな方法を利用しました。アプローチの複数のバージョンを提出し、結果をベースラインと比較しました。私たちの方法は、ベースラインと似たような結果を出しました。

画像は、議論を説得力のあるものにするのに大きな役割を果たすことがあります。強力な書かれた議論は、適切な画像によって補完されることが多いです。現在の方法は完璧ではありませんが、私たちは議論を支える画像を検索するタスクに取り組みました。

#関連研究

このセクションでは、画像生成や画像特徴のマッチングに関する以前の研究をレビューします。

#ステーブル・ディフュージョン

ステーブル・ディフュージョンは、テキストの説明から画像を生成するモデルです。「漫画」などの特定のスタイルが説明に含まれている場合、生成された画像はそのスタイルを反映します。

私たちは、512x512ピクセルの解像度で画像を生成するように訓練された特定のバージョンのステーブル・ディフュージョンを使用しました。

#特徴マッチング

特徴マッチングは、さまざまな角度から撮影された異なる画像で同じオブジェクトの部分を特定するのに役立ちます。これらの重要な部分はキーポイントと呼ばれます。

SIFTという方法がこれらのキーポイントを検出し、説明するために使用されます。新しい画像の特徴をデータベースと比較し、距離の測定を使って類似性を評価します。SIFTは、キーポイントと画像の視覚的な説明を抽出し、異なる画像がどれだけ似ているかを理解する手助けをします。

FLANNは、大規模な画像群の中で似た特徴を素早く見つけるための別のツールです。システムは2つの画像の特徴を比較し、その距離を計算します。距離が近いほど、より類似していることを示します。FLANNは、従来の方法に比べて大規模データセットに対してより効率的です。

距離制限を適用することで、あまり関連性のないマッチをフィルタリングできます。距離制限を下回るマッチはより良いと考えられ、画像間の強い類似性を示します。さらに、ホモグラフィーという方法が異なる視点から撮影された同じオブジェクトの画像を整列させ、直接の比較を容易にします。

#私たちのアプローチ

私たちの作業は、公共のコード共有プラットフォームで利用可能です。全体のプロセスはいくつかのステップで構成されています。

#クエリ前処理

私たちは質問を重要な用語に分解しました。言語処理ツールを使って、句読点を取り除き、重要な動詞を特定しました。特定のテキストボディに頻繁に現れない用語に焦点を当てました。これにより、最も関連性の高い単語だけを残すことができました。

例えば、「学校で性教育が必要ですか？」という質問を「性教育必要学校」に変換しました。支持する視点の議論についてはこの形式を維持しました。反対の視点については、「not」を前に追加しました。

#画像事前選定

最初に、文書IDとそのテキストコンテンツをリンクするデータベースを構築しました。このデータベースを利用して、BM25という方法を使って各クエリに関連する最適な50枚の画像を見つけました。

#スタンス検出

トレーニングデータに基づいてテキストのスタンスを分類できるテキスト分析ツールを使用しました。このツールは入力されたテキストを受け取り、「反対」、「支持」、「中立」などの異なるラベルと評価します。最も高い確率を示すラベルをクエリに追加しました。

#画像生成

クエリを可視化するために、情報を表す画像を生成しました。生成された画像は、特徴マッチングを使って他の画像と比較し、どれだけ類似しているかを確認しました。

#画像ランキング（特徴マッチング）

この方法は、特定のクエリに対する画像の関連性に基づいて画像をランク付けしました。マッチの質を向上させるために、各クエリに対してフォトリアリスティックな画像と漫画スタイルの画像を生成しました。両方のタイプの特徴をセット内のすべての画像にマッチさせました。強いマッチの数によって、各画像がクエリにどれだけ合っているかが決まりました。良いマッチが多い画像ほど、高いランクを得ました。

#結果の提出

私たちは、以下のような以前の方法の組み合わせで5つの異なるアプローチを提出しました：

1. 前回の研究のベースライン。
2. クエリ前処理と画像事前選定のみ。
3. テキストに対するスタンス検出を含むもの。
4. 画像内のテキストに基づくスタンス検出。
5. テキストと画像の両方に対するスタンス検出の組み合わせ。

各アプローチには、最終結果を決定するために画像生成と画像ランキングが含まれていました。

#関連性評価

評価プロセスでは、各50のトピックに対して支持的な視点と反対の視点のトップ10画像を集め、合計5000枚の画像を得ました。重複を削除した後、3人の異なる評価者によって判断された1938枚の画像が残りました。彼らは画像を、オフトピック、支持、反対、中立として分類しました。判定者間の合意レベルは中程度でした。

異なる方法の評価では、以下のルールを追跡しました：

• 2人の評価者がラベルで合意した場合、そのラベルを使用しました。
• 明確な多数派がない場合、複数の評価者から関連性があるとラベリングされた画像は中立とされました。

#パイプライン評価

私たちの方法で返された画像は、キュレーションされた判断と照合され、さまざまな成功の指標を計算しました。これには、さまざまなベンチマークの精度計算が含まれています。また、私たちのアプローチとベースラインの性能の違いが意味のあるものであるかどうかを確認するために統計的テストを使用しました。

#議論

私たちの結果は、方法間にいくつかの違いが見られたものの、どれもベースラインとは有意に異ならなかったことを示しています。

全体的な精度率は比較的低かったです。これは、私たちのデータセットに選択するのに関連する画像が不足していることから来ている可能性があります。評価者間の中程度の合意は、特定の画像に対して正しいスタンスを特定するのが難しいことを示唆しています。

今後は、判断者のために混乱を最小限に抑えるための明確なガイドラインを作成することを提案します。ウェブサイトのテキストに対するスタンス検出は、私たちの結果にはあまり寄与していないように見えました。将来のテストでは、異なるモデルを使用することでより良い結果が得られるかを探るべきです。

さらに、私たちは見る画像の数を増やすことで結果が改善される可能性があると提案します。5000枚の画像の中で、最終的にユニークだったのは1938枚だけで、これは私たちのプロセスに潜在的な問題があることを示しています。

私たちの方法はベースラインを上回ることはありませんでしたが、より多くの情報が結果を改善することを期待しています。驚くべきことに、最も良い結果を出したバージョンは、前処理と画像選定のみを含む非常にシンプルな方法でした。

異なる方法の組み合わせをテストし、他のスタンス検出や画像生成ツールを探求することも結果を改善する助けになるかもしれません。より明確なスタンスを持つより良い画像が、将来の成果を向上させる可能性があります。

結論として、私たちのアプローチを調整し、レビューする画像を増やすことが重要な次のステップです。このプロセスを通じてアドバイザリーチームからの継続的なサポートに感謝します。