動画質問応答のためのダイナミックマルチエージェントシステム

ビデオ質問応答（VQA）は、動画クリップに基づいて質問に答えるタスクだよ。EgoSchema Challenge 2024はこれに焦点を当ててて、5,000以上の質問が含まれるデータセットを提供してる。それぞれの質問には5つの選択肢があって、ベストな回答を見つけるのが課題。

私たちは、動的に生成されたマルチエージェントを使ったビデオ質問応答（VDMA）っていう新しいアプローチを提案するよ。この方法は、特定の専門知識を持ったエージェントをその場で作って、正確に質問に答えるんだ。この方法は既存のシステムと一緒に使われて、回答の質を向上させることを目指してる。

#EgoSchema Challenge

EgoSchemaは、長形式のビデオ質問応答タスク用に設計されたデータセットだよ。動画内の行動の目的やツールの使い方、重要なアクションの特定など、いろんな側面をカバーする質問が含まれてる。このデータセットを使って、正確でコンテキストに敏感な回答を提供するのがチャレンジ。

最近、これらの課題に対処するためにいろんな方法が提案されてきたんだ。画像の説明を使って回答を生成する方法や、関連情報を集めるエージェントを使用するシステムに頼る方法もある。最近の大規模言語モデル（LLM）を使った研究では、エージェント間のディベートを利用して回答の質を向上させようとしたこともある。私たちの戦略は、これまでの研究を基にして、VQAタスクに特化した複数の専門エージェントからなるフレームワークを導入することだ。

#私たちの貢献

私たちの貢献は2つの主な部分から成り立ってる：

1. マルチエージェントフレームワーク：動的エージェント生成と複数の専門エージェントによる質問応答の2段階からなるシステムを提案するよ。
2. パフォーマンス結果：私たちの方法を試して、EgoSchemaデータセットで70.7％の精度を達成したよ。複数のエージェントを使う方が、単一のエージェントに頼るよりも効果的だって結果が出た。

#私たちのアプローチの仕組み

VDMAシステムは2つの主要な段階で構成されてる。

#ステージ1：動的エージェント生成

最初の段階では、ビデオの内容と質問のテキストを分析して、適切な専門家を特定するよ。各専門エージェントが質問に答えるために知っておくべきことを示すプロンプトを生成する。このやり方で、ビデオと質問の特定のコンテキストに基づいた応答ができるから、精度が向上するんだ。

#ステージ2：複数エージェントによる質問応答

2段階目では、最初に作成したエージェントを使って質問に答えるよ。各専門エージェントは、質問やビデオに関連する特定の知識を使って応答を形成する。全ての専門家からの情報をまとめて最終的な回答を決めるオーガナイザーエージェントもいる。

各エージェントは、ビデオと質問を分析するための2つのツールを使える。一つは画像キャプションから情報を提供するツールで、もう一つはより深いビデオ分析用。エージェントは特定の質問に基づいて最適なツールを選んで、ビデオを解釈したり、最良の答えを共有したり、その理由を説明するんだ。

オーガナイザーは、全エージェントの回答を見て、最終的な回答にまとめるよ。

#結果

私たちはEgoSchemaデータセットを使って方法を評価した。これは3分のビデオクリップに関する質問に答えるやつだよ。各質問には5つの選択肢があって、モデルは質問に最も合った答えを選ぶ。

精度をさらに向上させるために、私たちは5つの異なるモデルを含むアンサンブル法を使った。アンサンブル法は、最終的な回答を決めるために各モデルからの票を集める方式だよ。この投票法はかなりシンプルだけど、精度がかなり向上することが証明されたんだ。

#私たちのアプローチの精度

私たちのマルチエージェントシステムの性能を他の方法と比較したとき、マルチエージェントアプローチの方が精度が良かったよ。例えば、複数のエージェントを使用したモデルは、そうでないものよりも成功率が高かった。

テストでは、3人の専門エージェントがいる方が2人だけよりも良い結果を出したよ。ただ、不確実なときにオーガナイザーに短い回答を指示したら、少しだけ精度が下がった。

アンサンブル法を適用した後、全体の精度は70.7%に達した。この数値は、どの個別モデルよりも高かったよ。

#アブレーションスタディ

私たちの方法の効果をさらに評価するために、アブレーションスタディを実施した。これは、私たちのアプローチの異なる部分をテストして、全体のパフォーマンスにどう影響するかを見たことを意味する。重点を置いたのは3つの点だよ：

1. マルチエージェントシステムとシングルエージェント法の性能比較。
2. ダイナミックに生成されたドメインエキスパートの役割評価。
3. 分析中に使用するビデオフレームの数の影響調査。

#実験1：マルチエージェントとシングルエージェント

私たちは、マルチエージェントシステムとシングルエージェントアプローチを比較した。結果は、マルチエージェント法がわずかに優れていて、精度は73.2%で、シングルエージェントは72.8%だった。

複数のエージェントの利点は、いろんな視点や専門知識を持ってるから、難しい質問を明確にするのに役立つんだ。

#実験2：ドメインエキスパートとAIアシスタント

次に、ダイナミックに生成された専門家とすべてのエージェントに一般的なAIアシスタントを使った場合のパフォーマンスを見た。専門家を使った方が精度が良くて（73.2%）、均一なAIアシスタント（72.6%）よりも良かった。

特定の質問に集中できる専門家がいることで、より正確で関連性のある応答が得られたことを示してる。

#実験3：フレーム数の変化

最後の研究では、分析に使用するビデオフレームの数を変えることで、パフォーマンスにどう影響するかをテストした。18フレームと90フレームを比較したんだ。一般的に、フレーム数を増やすことでパフォーマンスが向上したけど、特にアクションシーケンスの分析においてそうだった。

でも、フレームを増やしたことでキャラクター同士のインタラクションを評価しにくくなったのもあって、ビデオの小さい部分を占めるから気を付ける必要があるね。最も関連性の高いセグメントに焦点を当てるために、フレームの選択には注意が必要だってことを示してる。

#結論

この記事では、長形式のビデオ質問応答のためのVDMAを紹介したよ。私たちの方法は、EgoSchemaデータセットで70.7%の精度率を効果的に達成した。ダイナミックに生成されたマルチエージェントシステムを使う方が、一つのエージェントに頼るよりも効果的で、いろんな専門知識を活用して質問に答えることができるんだ。

私たちのアプローチは、複数の段階とエージェントに依存してるから、シングルエージェントシステムに比べて計算コストは増えるけど、精度の向上は大きな利点だね。最近のLLMの進展もあって、こういうシステムの計算性能に対する懸念は少なくなってきてる。

今後の研究では、エージェントに意見を言わせて合意形成を図る、ってのが役立つかもしれない。エージェントが使うツールの選択がパフォーマンスに重要な役割を果たしてるし、これらのツールの改善がさらに良い結果につながるだろう。