# コンピューターサイエンス # 計算と言語 # 人工知能 # コンピュータビジョンとパターン認識

OmniBenchでマルチモーダル言語モデルを評価する

新しいツールが、いろんなデータタイプにわたる大規模言語モデルのパフォーマンスを評価するんだ。

Yizhi Li, Ge Zhang, Yinghao Ma, Ruibin Yuan, Kang Zhu, Hangyu Guo, Yiming Liang, Jiaheng Liu, Zekun Wang, Jian Yang, Siwei Wu, Xingwei Qu, Jinjie Shi, Xinyue Zhang, Zhenzhu Yang, Xiangzhou Wang, Zhaoxiang Zhang, Zachary Liu, Emmanouil Benetos, Wenhao Huang, Chenghua Lin

2025-06-07T16:21:06+00:00 ― 1 分で読む

マルチモーダルモデルの重要性
マルチモーダルモデルの評価
OmniBenchの主な特徴
実世界への応用
OmniBenchの開発
OmniBenchからの主な発見
今後の方向性
結論
オリジナルソース
参照リンク

最近の技術の進展により、画像や音声、テキストなど、さまざまな情報を扱える大規模言語モデルが作られたけど、これらのモデルがこれらの異なるデータを一緒にうまく処理できるかについてはまだ学ぶべきことがたくさんある。主な課題の一つは、これらの情報を同時に処理する能力を測るテストがないことだ。そこで登場するのがOmniBenchだ。

OmniBenchは、異なる情報源からのデータを同時に提示されたときに、これらのモデルがどれだけ理解し、推論できるかを評価するために作られた新しいツールだ。これができるモデルを「オムニランゲージモデル（OLMs）」と呼ぶ。OmniBenchの目的は、研究者がこれらの異なるタイプの情報を統合するためのより良い方法を開発することを促進することだ。

マルチモーダルモデルの重要性

マルチモーダルな大規模言語モデルは、人間が周囲の世界を理解する方法を模倣するように設計されている。画像や音声などのさまざまな情報を組み合わせることで、これらのモデルはより正確で役立つ応答を提供できる可能性がある。例えば、医療分野では、視覚、音声、テキストを組み合わせたモデルが病気の診断をより正確に行うのに役立つかもしれない。

多くのモデルが二種類のデータを同時に扱う進展を見せているが、視覚、音響、テキストの三種類すべてを同時に処理するのは苦手だ。この能力のギャップは、これらのモデルが実際のシナリオでどれだけうまく機能するかを評価するための改善が必要であることを示している。

マルチモーダルモデルの評価

現在のテスト方法は、画像や音声など特定のデータタイプにしか焦点を当てていないことが多い。これでは、さまざまな情報を一緒に扱うときにこれらのモデルがどれだけうまく機能するのかを理解するのが難しい。包括的な評価ツールがないと、弱点を特定して対処するのが難しい。

OmniBenchは、視覚、音響、テキストの入力の間で情報を認識し解釈する能力に基づいてモデルを評価するベンチマークを提供することで、このギャップを埋めることを目指している。これは、実際のアプリケーションでどれだけうまく機能できるかを判断するのに重要だ。

OmniBenchの主な特徴

OmniBenchは、高品質な人間の注釈によって際立っている。これにより、評価されたモデルは三種類のデータタイプから情報を組み合わせて正しい答えを提供する必要がある。評価は以下のことを強調している：

指示に従う能力： 画像と音声の組み合わせが与えられたとき、モデルがどれだけ指示に従うか。
推論能力： 異なる情報の断片をつなげて関連する答えを提供できるか。

OmniBenchでの初期調査から、多くのオープンソースモデルが三種類の情報を一緒に処理するのに大きな課題に直面していることが明らかになった。

実世界への応用

マルチモーダルモデルの潜在的な影響は、さまざまな分野で大きい。例えば、都市計画では、モデルが視覚データと組み合わせて緊急車両の音を認識することで交通管理を支援し、安全性を高めることができる。

さらに、これらのモデルは、異なる環境からの音を分析し、自然センサーからの視覚データと組み合わせて生物多様性のモニタリングを改善する役割を果たすかもしれない。また、人間と機械の相互作用を向上させ、デバイスをより応答的で直感的にすることもできる。

OmniBenchの開発

OmniBenchを作成するために、研究者は多様なデータソースを含め、高品質な入力を確保することに注力した。これには、モデルが効果的に情報を分析し組み合わせることを必要とする千以上の質問と回答のペアが含まれている。各質問は、正しい答えを得るために視覚と音声の要素がどちらも必要になるように設計されている。

開発プロセスの重要な部分は、注意深い注釈スキームだった。これは初回のタグ付けの後、すべてのデータが厳しい品質基準を満たすことを確認する徹底的なチェックを含む。目標は、すべての質問と回答がモデルに異なる情報の間のつながりについて批判的に考えさせる必要があることを確実にすることだ。

OmniBenchからの主な発見

OmniBenchを活用することで、いくつかの興味深い結果が得られた。例えば、多くの既存のモデルは、結合データに直面したときに指示に効果的に従うのが難しい。画像または音声のみでより良い結果を出すモデルもあるが、三種類の情報を統合するタスクを与えられるとパフォーマンスが大きく低下する。

さらに、多くのモデルは複雑な推論タスクよりも物体の識別でより良いパフォーマンスを示す傾向がある。これは、これらのモデルを改善し、統合情報をうまく処理できるように適応させるための研究が引き続き必要であることを示している。

今後の方向性

技術が進展するにつれて、より良いマルチモーダルモデルの必要性がますます明らかになっている。改善の余地がある分野はたくさんあり、より多様なトレーニングデータセットの作成や、さまざまなデータタイプをうまく統合するためのモデルのアーキテクチャの改善が含まれる。

OmniBenchは、現在のモデルでどこに改善が必要かを特定し、研究者に対して明確な進むべき道を示す重要なリソースとなる。こうしたモデルの能力向上に引き続き注力することで、人間のように理解し推論できるシステムに近づくことができる。

結論

OmniBenchは、マルチモーダルな大規模言語モデルが直面している課題を浮き彫りにし、この分野での研究と開発が継続的に必要であることを強調している。視覚、音響、テキストの情報を効果的に統合できるモデルを目指すことで、さまざまな分野に利益をもたらすより高度な応用への道を開いていく。OmniBenchのようなツールがあることで、人工知能における可能性の限界を押し広げ続けることができる。

オリジナルソース

タイトル: OmniBench: Towards The Future of Universal Omni-Language Models

概要: Recent advancements in multimodal large language models (MLLMs) have aimed to integrate and interpret data across diverse modalities. However, the capacity of these models to concurrently process and reason about multiple modalities remains inadequately explored, partly due to the lack of comprehensive modality-wise benchmarks. We introduce OmniBench, a novel benchmark designed to rigorously evaluate models' ability to recognize, interpret, and reason across visual, acoustic, and textual inputs simultaneously. We define models capable of such tri-modal processing as omni-language models (OLMs). OmniBench is distinguished by high-quality human annotations, ensuring that accurate responses require integrated understanding and reasoning across all three modalities. Our main findings reveal that: i) most OLMs exhibit critical limitations in instruction-following and reasoning capabilities within tri-modal contexts; and ii) most baselines models perform poorly (below 50\% accuracy) even when provided with alternative textual representations of images or/and audio. These results suggest that the ability to construct a consistent context from text, image, and audio is often overlooked in existing MLLM training paradigms. To address this gap, we curate an instruction tuning dataset of 84.5K training samples, OmniInstruct, for training OLMs to adapt to multimodal contexts. We advocate for future research to focus on developing more robust tri-modal integration techniques and training strategies to enhance OLM performance across diverse modalities. The codes and live leaderboard could be found at https://m-a-p.ai/OmniBench.