マルチモーダルAIにおける関係の幻覚への対処

大規模言語モデル（LLM）は、人工知能との関わり方を変えてきたんだ。テキストを生成したり、質問に答えたり、画像を理解したりできるんだけど、「幻覚」と呼ばれる問題にも直面してる。これは、実際の知識に基づかない間違った情報や誤解を招く情報を生み出す現象なんだ。

この問題は、テキストと画像を組み合わせたマルチモーダル大規模言語モデル（MLLM）に目を向けるとさらに複雑になるよ。ここでは、モデルが画像内の物体や関係を誤って表現すると幻覚が発生することがある。例えば、モデルがテーブルの横にいる男の子を見て、男の子がテーブルの上にいるって言ったら、それが幻覚になる。MLLMが現実のシナリオで信用できるようにするためには、これらの問題に対処することが大事だね。

#関係の幻覚って何？

これらのモデルの幻覚は、主に3つのタイプに分類できるよ：物体の幻覚、属性の幻覚、関係の幻覚。

• 物体の幻覚：モデルが画像内の基本的な物体を正しく特定できるかに焦点を当ててる。
• 属性の幻覚：物体の色や形などの特性を正確に説明できるかを見る。
• 関係の幻覚：これはもっと複雑で、画像内の複数の物体の関係をどれだけ理解しているかに関わってる。

例えば、モデルが猫と椅子を見て、猫が椅子の上に座っていると言ったけど、実際には椅子の下にいる場合、それが関係の幻覚だね。

#既存の研究の課題

現在の幻覚に関する研究はほとんどが最初の2つのタイプ（物体と属性）に集中していて、関係の幻覚にはあまり深く入ってない。現在の評価方法はしばしば詳細を見逃してるし、単純な方法に頼ってて全体像を捉えられてないことが多い。そのせいで、データの収集やラベリングの仕方によってバイアスが生じることも。

例えば、既存のデータセットは実際の状況をうまく表現できていないか、特定の関係を過剰に強調している可能性がある。それで、関係の幻覚をよりよく評価できるベンチマークを作る必要があるんだ。

#Reefknotの紹介

この課題に対処するために、Reefknotという新しいベンチマークを作ったよ。これは、MLLMの関係の幻覚に焦点を当ててて、2万以上の実世界の例から成り立っているんだ。

まず、関係の幻覚を明確に定義して、物事の見方とそれについての考え方を組み合わせた。そして、Visual Genomeという信頼できるソースを使って、物体間の意味のある関係を集めるためのデータセットを作ったよ。

評価では、現在のMLLMが関係の幻覚にかなり苦しんでいることを発見した。それを助けるために、幻覚の発生を減らすためにモデルの回答に対する自信を測る新しい戦略を提案している。

#関係の幻覚を評価する

我々の評価には3つのタスクがある：

1. はい/いいえの質問（Y/N）：画像に基づいて特定の関係が存在するかどうかをモデルに尋ねる。
2. 選択肢問題（MCQ）：正しい回答と3つの不正解の選択肢を提示して、モデルの理解力をテストする。
3. 視覚的質問応答（VQA）：このタスクでは、モデルが画像についてのオープンエンドの質問に答える。

これらのタスクを通じて、現在のモデルが関係の幻覚をうまく管理できていないことが分かった。

#回答における自信の重要性

重要な発見の一つは、多くの幻覚がモデルの回答に自信がないときに発生するってことだ。モデルが不確かだと、幻覚を生成する可能性が高くなる。これに対抗するために、「Detect-then-Calibrate」という技術を開発した。

この方法はシンプルで、モデルの自信が一定のレベルを下回ると、その答えが間違っているかもしれないことを示唆する。そういう場合には、以前の処理層からの情報を使ってモデルの出力を調整して、最終的な答えを改善する。テストでは、幻覚を約10%減少させる効果が確認されたよ。

#Reefknotデータセットの構築

Reefknotデータセットを作成するのは慎重なプロセスだった。最初にVisual Genomeデータセットから関係のトリプレットを特定した。各トリプレットは、主語、関係、目的語から成っている。あまり役に立たない例をフィルタリングした後、関係を知覚的と認知的の2つのタイプに分類した。

• 知覚的関係：これには「上に」や「後ろに」といった明確な位置に関する用語が含まれる。
• 認知的関係：こちらはもっと抽象的で、「見ている」や「持っている」といった行動に関連している。

次に、これらの関係に基づいた質問を一連作成し、各質問が画像の内容に直接関連しつつ曖昧さを避けるようにした。

#Reefknotを使ったMLLMの評価

いくつかの人気MLLMをReefknotベンチマークを使ってテストしたよ。結果はパフォーマンスに大きな違いを示した。いくつかのモデルは特定のタスクでうまくいったけど、他のタスクでは苦戦していて、全体的なパフォーマンスを改善するための調整が必要だってわかった。

面白いことに、認知的幻覚は知覚的幻覚よりも少ない頻度で発生した。これは一見逆説的に思えるかもしれない。モデルが視覚的な説明が豊富なデータセットで訓練されているため、認知的関係を理解するのに優位性がある一方で、知覚的関係を見逃している可能性があるんだ。

#確率分布の分析

我々の研究では、幻覚が発生するときの自信レベルの変化も見てみた。モデルが間違った情報を生成するとき、自信が大幅に低下することがわかった。正確な予測をするためには、モデルは通常95%近い高い自信を示す。でも、幻覚が発生すると、その自信は約70%まで落ち込むことがある。

これらの確率パターンを分析することで、幻覚の発生をより効率的に特定できるようになった。この分析は、MLLM内で幻覚が発生しやすい深い層を理解するのに役立ってる。

#Detect-Then-Calibrateメソッド

我々の「Detect-then-Calibrate」メソッドは、関係の幻覚に取り組む上で重要だ。モデルが自信を欠いている時を監視することで、回答をより良く調整できる。モデルが不確かであることがわかった場合、以前の層からの隠れ状態を使って、最終的な出力を向上させる。

厳密なテストを通じて、この方法は複数のデータセットで改良を示し、その効果を確認した。

#結論と今後の方向性

最後に、我々の研究はMLLMにおける関係の幻覚に対処する上での大きなギャップを強調している。Reefknotベンチマークは、これらのモデルを評価し、将来の改善を導くための貴重なツールだ。

現在のアプローチは基本的な幻覚を軽減するのに成功しているけど、もっと広い文脈で関係の幻覚を理解し対処するためのさらなる探索が必要だね。これからは、これらの問題の根本原因を調査して、より信頼性のある技術を洗練させていくつもりだ。

これらの分野に焦点を当てることで、信頼できるマルチモーダルAIシステムの発展に貢献し、リアルなアプリケーションで正確で意義のあるインタラクションを提供できるようにしたいと思ってるんだ。