新しいモデルがマルチモーダルAIを変革中

最近のモデルは、AIのさまざまなメディアを生成したり理解したりする能力を高めてるね。

Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, Bo Zhao, Bowen Zhang, Liangdong Wang, Guang Liu, Zheqi He, Xi Yang, Jingjing Liu, Yonghua Lin, Tiejun Huang, Zhongyuan Wang

2025-06-04T08:49:30+00:00 ― 1 分で読む

マルチモーダルタスクの課題
新しい手法
モデルの訓練
生成と知覚の結果
複雑なデザインの簡素化
人間による評価と品質評価
新モデルのアプリケーション
未来の方向性
まとめ
オリジナルソース
参照リンク

最近の人工知能の進歩は、画像、テキスト、動画などのさまざまなメディアタイプでコンテンツを理解し生成できるモデルの新しい道を開いているよ。これらの開発の中で、次のシーケンスの部分を予測する方法に焦点が移ってきたんだ。つまり、前のデータに基づいて次に何が来るかを見るってこと。このアプローチは、さまざまなメディアタイプを効率的に組み合わせるためのより良い結果を達成する可能性を示しているんだ。

マルチモーダルタスクの課題

AIは伝統的にマルチモーダルタスクに取り組む際に課題に直面してきた。これらのタスクは、複数のメディアタイプを組み合わせたコンテンツを理解し生成する必要があるんだ。過去には、主に画像生成のために拡散モデルと呼ばれる複雑なモデルが使われ、他のアプローチは視覚と言語のモデルをテキスト処理と組み合わせていた。これが柔軟性とパフォーマンスを制限していて、もっと効果的な解決策を見つけることが重要なんだ。

新しい手法

最近の研究で、さまざまなメディアタイプでシーケンスの次の部分を予測することに特化した新しいモデルのセットを紹介したよ。画像、動画、テキストをトークンと呼ばれる管理可能な単位に分解することで、単一のモデルを訓練して新しいコンテンツを効果的に理解し生成できるようにしたんだ。この新しい手法は、コンテンツ制作からインタラクティブな体験まで、さまざまなアプリケーションでより大きな効率とスケーラビリティを可能にするんだ。

モデルの訓練

モデルを準備するために、いろんなソースからの多様なデータを使ったよ。画像、動画、テキストのミックスが含まれていて、これらのデータタイプを混ぜることで、モデルに異なるメディア形式内外のパターンを認識させたんだ。訓練プロセスは主に2つのフェーズで構成されていて、最初はテキストと画像に焦点を当て、その後に動画データを導入した。この段階的なアプローチのおかげで、モデルは効果的に学ぶことができたんだ。

生成と知覚の結果

新しいモデルの結果は素晴らしいよ。生成タスクと理解タスクの両方で、従来のモデルよりも優れたパフォーマンスを見せてる。例えば、テキストプロンプトに基づいて画像を生成する際、私たちのモデルは人間の評価や自動評価でも高いスコアを得ているんだ。これは、高品質なコンテンツを生成するだけじゃなく、テキストで与えられた指示を正確に遵守しているってこと。

動画生成においても、私たちのモデルはユニークな能力を示した。新しい動画を作成するためにノイズを追加する方法とは異なり、私たちのアプローチはシーケンスを理解することに依存しているんだ。これにより、入力に基づいて一貫した動画を生成できる。例えば、次に何が起こるかを予測して動画を延長できるから、ストーリーテリングやコンテンツ制作に適しているんだ。

複雑なデザインの簡素化

私たちの手法の主な利点の一つは、そのシンプルさだよ。従来のマルチモーダルモデルは複数のプロセスを組み合わせた複雑なデザインに依存していることが多い。私たちのアプローチはトークンとその関係にのみ焦点を当てているから、ステップが少なくなって複雑さも減る。これにより、訓練が速くなり、より良い結果が得られるんだ。これが、実際のシナリオでのアプリケーションをよりシンプルにできる。

人間による評価と品質評価

モデルの品質を評価するために、包括的な人間評価を行ったよ。独立した評価者のグループが、生成された画像と動画のクリアさや与えられたプロンプトとの関連性を基に評価した。フィードバックによると、私たちのモデルは、現在利用可能な多くのリーディングモデルと同等、もしくはそれ以上の結果を一貫して生み出しているんだ。

自動化された指標を利用してパフォーマンスを評価することもしたよ。これは、さまざまなタスクにおいて私たちのモデルの結果を標準のベンチマークと比較することを含んでいる。結果は、私たちのモデルが効果的に競争できるだけでなく、いくつかの領域ではリードしていることを示しているので、その強靭さと多様性を示しているんだ。

新モデルのアプリケーション

私たちのモデルの潜在的なアプリケーションは広いよ。コンテンツ生成のためのクリエイティブな業界、ゲームでのインタラクティブな体験の向上、あるいはテキストベースの学習に視覚的な説明を提供することで教育を助けることにも使える。マルチモーダルコンテンツの生成と理解のプロセスを簡素化することで、私たちのモデルはさまざまな分野で容易に採用できるようになるんだ。

未来の方向性

私たちのアプローチの成功は、人工知能の分野でのさらなる研究の可能性を開いたんだ。今後の研究では、より複雑なタスクを扱うためにモデルを洗練させたり、効率を改善したりすることに焦点を当てるかもしれない。私たちは、動画の要約や複雑なプロンプトに基づく画像生成など、特定のタスクにこれらのモデルを適応させる可能性も見ているよ。

この技術をさらに開発して、ユーザー体験やインタラクションを向上させる方法で人工知能の進歩に貢献したいと思っているんだ。これには、さまざまなプラットフォームで簡単に利用できるより魅力的でインタラクティブなコンテンツの作成が含まれるよ。

まとめ

要するに、次のトークン予測モデルの最近の進展は、人工知能の分野で重要な前進を示しているんだ。複数のメディア形式の理解と生成を一つの効率的なプロセスにまとめることに成功したことで、このアプローチの有効性を示したんだ。私たちのモデルは、既存の方法を上回るだけでなく、マルチモーダルアプリケーションの将来の発展に向けたシンプルなフレームワークを提供しているんだ。

これらの進展は、人工知能が人間の創造性やインタラクションを支援し強化する可能性を実現するのに近づけてくれる。これは、継続的な探求と革新のためのワクワクするエリアなんだ。これらのモデルをさらに洗練させ、新しいアプリケーションを探求し続ける中で、さまざまな分野での影響に期待を寄せているよ。

オリジナルソース

タイトル: Emu3: Next-Token Prediction is All You Need

概要: While next-token prediction is considered a promising path towards artificial general intelligence, it has struggled to excel in multimodal tasks, which are still dominated by diffusion models (e.g., Stable Diffusion) and compositional approaches (e.g., CLIP combined with LLMs). In this paper, we introduce Emu3, a new suite of state-of-the-art multimodal models trained solely with next-token prediction. By tokenizing images, text, and videos into a discrete space, we train a single transformer from scratch on a mixture of multimodal sequences. Emu3 outperforms several well-established task-specific models in both generation and perception tasks, surpassing flagship models such as SDXL and LLaVA-1.6, while eliminating the need for diffusion or compositional architectures. Emu3 is also capable of generating high-fidelity video via predicting the next token in a video sequence. We simplify complex multimodal model designs by converging on a singular focus: tokens, unlocking great potential for scaling both during training and inference. Our results demonstrate that next-token prediction is a promising path towards building general multimodal intelligence beyond language. We open-source key techniques and models to support further research in this direction.