ChatRexで画像認識を進化させる

ChatRexは、現実世界のアプリケーション向けに画像の認識と理解を向上させるんだ。

Qing Jiang, Gen Luo, Yuqin Yang, Yuda Xiong, Yihao Chen, Zhaoyang Zeng, Tianhe Ren, Lei Zhang

2025-05-04T04:18:40+00:00 ― 1 分で読む

結論
オリジナルソース
参照リンク

コンピュータビジョンの世界では、画像を理解するのがめっちゃ大事なんだ。まるで、猫が真っ白な壁を見つめてるときに何を考えてるかを理解しようとするみたいなもん。科学者たちはマルチモーダル大規模言語モデル（MLLMs）っていうものを考え出した。これは画像で素晴らしいことができる高性能な機械だけど、いくつかの問題を抱えてる。写真を認識することはできるけど、実際に何を見てるのか-例えば、そのぼやけた形がペットなのか、ランダムな靴下なのかを理解するのは難しいんだ。

このモデルに画像の中の複数の物体を見つけてってお願いしたら、人気のあるモデルQwen2-VLは見えてるものの約43.9%しか正確に思い出せないんだ。考えてみれば、100個の隠れたイースターエッグのうち44個しか見つけられないってのは、ベテランの卵ハンターにはかなりがっかりな結果だよね！

ミッション

ここでの目標は、これらのモデルが画像を理解するだけでなく、もっと正確に認識できるようにすること。新しくChatRexっていうモデルを紹介するよ。これは、賢く働くようにデザインされてるんだ。

ChatRexの働き方は？

ChatRexは、画像の中の物体を最初から当てるんじゃなくて、別の戦略を使ってる。「ユニバーサルプロポーザルネットワーク」っていうやつを使って、物がどこにあるかの提案をして、その後ChatRexが詳細を把握するんだ。友達にピザ屋の大体の方向を指し示されるみたいなもんで、そこにたどり着くために道を navigate する必要がある。

要するに、ChatRexはポテンシャルな物体を示すボックスを使って、それが何かを特定するんだ。全体を一気に推測しようとするより、ずっと効率的なんだよ。

データの側面

さて、良いモデルには良いデータが必要だよね？いい材料なしで fancy な料理を作ろうとするみたいなもんだ-うまくいかないよ！データの問題を解決するために、Rexverse-2Mデータセットを作った。これは、様々な詳細が注釈された数百万の画像を含む、かなり広範なものなんだ。

このデータセットは、ランダムな画像をモデルに投げつけるだけじゃない。画像を異なるレベルで理解する必要がある特定のタスクに焦点を当てているんだ。だから、「これが猫だ」から「この猫はソファで寝ながら世界征服を企んでる」まで、いろんなことがわかるんだよ。

なんでこれが必要なの？

なんでこれが重要なのか不思議に思うかもしれない。考えてみて：ロボットが画像をもっとよく理解できたら、現実世界の多くのアプリケーションを助けられるかもしれない。自動運転車が歩行者を見つけるだけでなく、手を振ってるのか、ジョギングしてるのか、ただ考え事をしてるだけなのかも認識できる想像してみてください。

また、日常生活では、アップロードした画像を見ながら手助けしてくれるチャットボットがあるといいよね。「ねえ、この写真の中に私の犬を見つけてくれない？」って言ったら、パッと！ボットがFidoがどこにいるのか正確に教えてくれる-たぶんまたそのリスを追いかけてるんだ。

MLLMsの認識の課題

進展があったにも関わらず、MLLMsは細かいディテールでしばしば問題を抱えてる。長い一日の後に車を駐車した場所を思い出すのと同じように、色や車のメーカーは覚えても正確な場所は思い出せないって感じ。

いくつかの課題はこんな感じ：

モデル間の対立：時々、モデルがデザインされた方法がタスクをめぐって争うことになることがある。まるで車の中でショットガンを誰が取るか決めるみたいに-みんな口を挟みたいけど、結局混乱になっちゃうんだ。
バランスの取れてないデータ：これらのモデルを正しくトレーニングするための良いデータが足りないんだ。テニスボールだけでジャグリングを学ぶようなもんで、それには得意でも、ボウリングの玉や燃えるトーチになると、まったくお手上げだよ！

ChatRexのユニークなデザイン

ChatRexの特徴は、そのデザインにある。物体の認識（物体を見つけて特定すること）と理解（それらの物体が何かを知ること）のタスクを分離してるんだ。

二層モデル

ChatRexはサンドイッチのように構成されていて、さまざまなコンポーネントをレイヤーにして、性能を上げてる。低解像度の画像に対応するエンコーダと、高解像度の画像に対応するエンコーダの二つがある。入力が良ければ良いほど、出力も良くなる、新聞を読むのと高精細グラフィックの電子リーダーを使うのとの違いみたいなもんだ。

ユニバーサルプロポーザルネットワーク

ChatRexの中心にはユニバーサルプロポーザルネットワーク（UPN）がある。このUPNは、コンサートでバンドがステージに登場する前にすべてが整っているかをチェックするバックステージのスタッフみたいなもんなんだ。UPNは候補となる物体を特定して、分析する必要のあるものを追跡し、ChatRexが処理できるリストを準備するんだ。

質の高いデータセットを作る

前述のように、新しいデータセットRexverse-2Mは重要なんだ。数百万の注釈付き画像を含んでいて、自動データエンジンを通じて作成されている。このエンジンはデータが正確にキャプチャされ、ラベル付けされることを保証するんだ。

3つの重要なモジュール

画像キャプショニング：このモジュールは、それぞれの画像で何が起こっているかを説明するキャプションを生成する。
物体グラウンディング：この部分はキャプションの中の特定の物体を特定し、そのアイテムの周りにバウンディングボックスを作成するモデルを使用する。
リージョンキャプショニング：ここで、画像の特定の領域の詳細な説明を生成する。

これらのモジュールの組み合わせにより、モデルは正しく把握できる-まるで完璧にステージでパフォーマンスをするダンストroupeのように！

ChatRexをトレーニングする

優れたアスリートが大事な試合のために訓練するように、ChatRexも緻密なトレーニングプロセスを経る。認識と理解の能力を構築するために、2つの主要なステージがある。

ステージ1：アライメントトレーニング

最初のステージでは、目標はシンプルだ：視覚的特徴とテキストの特徴を整合させること。モデルが視覚とテキストを結びつけられるようにすることが重要なんだ。

ステージ2：ビジュアルインストラクションチューニング

2つ目のステージでは、ChatRexがユーザーとのやり取りを会話的に理解して応答する方法を学ぶから、ちょっとワクワクするんだ。

パフォーマンスの評価

さて、ChatRexがどれだけ素晴らしいかの話はおいといて-実際に機能するのか？

物体検出テスト

ChatRexは、学生が数学の問題でテストされるのと同じように、数多くのデータセットでテストされてる。その結果は有望だ！他の既存のモデルと比較すると、物体検出で強いパフォーマンスを示しているんだ。

例えば、COCOデータセットでのテストでは、ChatRexは印象的な平均適合率（mAP）スコアを達成していて、物体を正確に特定して分類できることを示してる。

参照物体検出

説明に基づいて物体を特定する際、ChatRexは引き続き輝いている。単語だけでアイテムを特定できるから、会話型AIでのスターなんだ。あなたの探してるものが何かを見極められるんだ。

理解と一般的なマルチモーダルベンチマーク

ChatRexは認識だけでなく、理解にも優れている。いろんなアカデミックなベンチマークで評価されていて、他のトップモデルと同じペースで進みながら、厄介な幻覚エラーを減らす手助けをしてる。

課題と洞察

ChatRexは確かに一歩前進してるけど、課題もある。特に、複数の物体検出、信号ノイズ、協調予測の管理に関して改善が必要なんだ。

これからどうなる？

未来を見据えると、さらに賢いモデルの可能性がある。認識と理解の進歩とともに、ChatRexのようなモデルが日常生活で私たちをサポートする時代が来るんじゃないかな。運転、買い物、ただ周りの世界をナビゲートする時とかね。

結論

要するに、ChatRexは町に登場した新しいスーパーヒーローみたいなもので、コンピュータビジョンにおける認識と理解の課題に取り組む準備ができてる。視覚が何を意味するかを理解することと、それを正確に認識することのギャップを埋めることで、ChatRexは新しい可能性の扉を開いてくれる。

もしそれが洗濯物の山の中からあなたの失くしたペットを見つける手助けをしてくれるなら、まさに本格的なマジックだよね！

結局のところ、認識と理解は手を取り合って進む。正しいツールと少しの想像力があれば、コンピュータビジョンの未来は明るいよ。もしかしたら、いつの日か、私たちの生活を一枚の写真ずつナビゲートしてくれるChatRexスタイルのアシスタントができるかもしれないね！

オリジナルソース

タイトル: ChatRex: Taming Multimodal LLM for Joint Perception and Understanding

概要: Perception and understanding are two pillars of computer vision. While multimodal large language models (MLLM) have demonstrated remarkable visual understanding capabilities, they arguably lack accurate perception abilities, e.g. the stage-of-the-art model Qwen2-VL only achieves a 43.9 recall rate on the COCO dataset, limiting many tasks requiring the combination of perception and understanding. In this work, we aim to bridge this perception gap from both model designing and data development perspectives. We first introduce ChatRex, an MLLM with a decoupled perception design. Instead of having the LLM directly predict box coordinates, we feed the output boxes from a universal proposal network into the LLM, allowing it to output the corresponding box indices to represent its detection results, turning the regression task into a retrieval-based task that LLM handles more proficiently. From the data perspective, we build a fully automated data engine and construct the Rexverse-2M dataset which possesses multiple granularities to support the joint training of perception and understanding. After standard two-stage training, ChatRex demonstrates strong perception capabilities while preserving multimodal understanding performance. The combination of these two capabilities simultaneously unlocks many attractive applications, demonstrating the complementary roles of both perception and understanding in MLLM. Code is available at \url{https://github.com/IDEA-Research/ChatRex}.