LLM予測のためのパフォーマンス法を紹介するよ

大規模言語モデル（LLM）は、スケーリング法則という概念のおかげで最近大きく進歩してきたんだ。でも、スケーリング法則は、主に損失に基づいたパフォーマンスの粗い見積もりしか提供しない。損失には、モデルの設計、使用するデータの種類、モデルのトレーニング方法など、多くの要因が影響している。だからさ、さまざまなトレーニング条件下でのLLMの実際のパフォーマンスを推定する方が役立つかもしれないんだ。

この記事では、「パフォーマンス法則」という新しい方法を紹介するよ。これは、MMLUスコアという広く認識されている指標を使ってLLMのパフォーマンスを予測するのに役立つんだ。このスコアは、LLMが実際の会話やタスクをどれだけうまく処理できるかを示す。モデルの設計やトレーニングデータのサイズの重要な側面を見れば、さまざまなLLMのMMLUスコアを正確に予測できるんだ。モデルのサイズや作った組織に関係なくね。

パフォーマンス法則は、LLMに適したアーキテクチャを選ぶのに役立ったり、コンピュータ資源の効率的な配分をサポートしたりすることができるんだ。多くの実験を必要とせずにね。LLMの急速な進歩は、日常生活の多くの側面に影響を与えて、成功したオンラインアプリケーションにつながった。しかし、これらのモデルのトレーニングには多くの計算力が必要で、高いコストや開発者への不確実性につながっている。開発者は、リソースを最適化したりリスクを軽減したりする方法を見つける必要があることが多いんだ。

研究者たちは、特定の条件下でのトレーニング損失に焦点を当てて、LLMのパフォーマンスを予測するいくつかの方法を提案している。でも、異なるモデルが異なるトークナイザーやトレーニング戦略を使っているから、トレーニング損失だけに頼るとパフォーマンスの正確なイメージは得られないかもしれない。最近の研究は、モデルサイズやトレーニングデータの量に基づいてLLMのパフォーマンスを予測しようとしたけど、これらのアプローチは異なるモデルタイプや設計に対する適応性が低かったり、精度や信頼性を考慮していなかったりするんだ。

これらの課題に対処するために、LLMのMMLUスコアを予測する経験的な方程式を開発したんだ。この方程式は使いやすくて、トレーニングデータの量とモデルの層の数やサイズなどのいくつかの重要な設計特性だけを必要とする。より複雑なモデルでも、パフォーマンス予測に必要な調整は管理可能なままなんだ。

2024年の人気のオープンソースモデルの少数を使って回帰技術を使ったら、我々の方法でサイズの異なるLLMのパフォーマンスを予測できることが分かったんだ。0.5ビリオンパラメータから1000ビリオン以上まで、さまざまな年や異なる組織にわたってね。パフォーマンス法則は、既存のスケーリング理論では完全には説明できないLLMの開発に関するさまざまなトレンドを明らかにするのに役立つ。

この方法は、特に予算が厳しい時に、開発者がLLMプロジェクトに適したアーキテクチャを選ぶ手助けをして、計算資源を節約し、モデルのトレーニングによる環境への影響を軽減できるようにする。

#パフォーマンス法則の仕組み

従来の密なモデル設計に従うLLMに対して、パフォーマンス法則は以下の主要な要素に依存しているんだ：

• 層の数
• 隠れサイズ
• フィードフォワードネットワークのサイズ
• トレーニングデータの量（兆トークンで測定）
• モデル全体のサイズ（ビリオンパラメータで測定）

大事なのは、どんなモデルでもデータを増やせば無限に能力が上がるわけじゃないってこと。だから、こうしたことを考慮するために、予測に飽和調整を加えているんだ。例えば、0.5ビリオンパラメータのモデルは、約500ビリオントークンのトレーニングデータで良い結果を出すかもしれないけど、単にモデルサイズを増やすだけでは必ずしもパフォーマンスが良くなるわけじゃない。

例えば、層が多いスリムなモデルはトレーニング中の安定性に苦しむことがあって、良い結果が出ないこともある。また、同じパラメータ数のモデルでも構造によってパフォーマンスが異なることがあるんだ。

我々のアプローチでは、モデルのトレーニングの安定性も考慮している。もし基盤の計算システムに精度の問題があれば、これがパフォーマンスに悪影響を与えることがある。だから、高アクティベーションパラメータと総モデルパラメータの関係を評価することで、モデルのパフォーマンスの最適性を判断できる。

我々のパフォーマンス予測モデルは、過剰適合を避けるために十分頑健なシンプルな回帰関数を使用している。信頼性の高い予測を保証しつつ、我々の方法の広範な適用性を示すために、分析を10のオープンソースモデルに限定したんだ。さらに、LLMで報告されたデータ品質の問題を考慮して予測を調整した。

#エキスパートモデルでのパフォーマンス予測

現在、多くのパフォーマンス予測方法は、様々なアクティベーションパターンのために、エキスパートモデル（MoE）に対して困難を抱えている。我々の方法は、MoEモデルのアクティブなパラメータの数を考慮することで、正確なパフォーマンス予測を提供する。

実際、これらのモデルのパフォーマンスは、パラメータが少ない密なモデルと同様に扱えることが分かったんだ。これにより予測が簡単になる。ただし、アクティブなパラメータが少なすぎたり多すぎたりすると、このやり方は通用しないから、それに対応するためにスケーリングファクターを導入した。

#予測からの洞察

我々のパフォーマンス法則を使ったさまざまなLLMの結果は、予測されたMMLUスコアと実際のスコアの間に強い相関関係があることを示している。我々の発見には以下が含まれるよ：

• モデルの深さ： 層の数を増やすとパフォーマンスが通常向上するけど、この利点はトレーニングの不安定さによって減少することがある。より深いモデルは多くの計算パワーを必要とするから、トレーニング条件が最適でないとパフォーマンスが落ちることがある。

• 隠れサイズの重要性： 新しいモデルを設計する時、開発者はフィードフォワードネットワークのサイズよりも隠れサイズに焦点を当てた方が利益があるかもしれない。大きな隠れサイズは学習に役立つからね。

• 共通アーキテクチャは同様にパフォーマンスする： 様々なタイプのアテンションアーキテクチャは似たような結果を出す可能性があるため、多くのデザインのバリエーションにもかかわらず、主要な改善は依然として開発者を逃しているようだ。

• データ品質がパフォーマンスに影響する： パフォーマンス予測はしばしば当たるけど、データ品質に関する細かいニュアンスを見落としている。LLM開発の主要なプレイヤーはおそらく似たようなデータの品質を共有していて、同等のモデルパフォーマンスに寄与しているだろう。

#パフォーマンス法則の応用

パフォーマンス法則から得られる洞察は、いくつかの実用的な方法で活用できるよ：

1. 未来のモデルの能力を予測： 開発者は、既存のトレンドやデータに基づいて新しいモデルが将来的にどのようにパフォーマンスするかを予測できる。

2. 最適なアーキテクチャを設計： パフォーマンス法則を使って、開発者は効率を最大化するために異なるパラメータを評価して適切なLLMデザインを作成できる。

3. モデルの状態を監視： パフォーマンス予測は、モデルがうまく機能しているか、修正が必要な根本的な問題があるかを評価するためにも使用できる。

4. モデルの拡張を計画： 既存のモデルを改善しようとする開発者は、小さなモデルを大きなバージョンに拡張することで得られる利益を予測し、リソースを賢く最適化できる。

5. データ汚染を特定： 予測されたパフォーマンスと実際のパフォーマンスを比較することで、開発者はデータ汚染の潜在的な問題を見つけて、対処するための必要な行動を取れる。

6. モデル構造の推測： クローズドソースモデルに関する情報が限られていても、開発者は観察されたパフォーマンスに基づいてアーキテクチャやトレーニングデータのサイズを推定できる。

#結論

全体として、パフォーマンス法則はLLM開発者に、モデルパフォーマンスをより良く推定し、より効果的なアーキテクチャを設計し、モデルの健康を監視し、データ品質や汚染といった問題に対処するための貴重なツールを提供するんだ。この方法を採用することで、開発プロセスがスムーズになり、トレーニングフェーズ中のエネルギー消費を減らす環境に優しい実践が促進される。

これらの洞察や予測は、LLM開発の進展に関するより広い質問も提起する。データ品質への注目が高まる中、それに伴う課題もあるから、LLMの未来は可能性に満ちたダイナミックな分野のままだね。