トランスフォーマー内部: レイヤーのダイナミクスとパフォーマンス

トランスフォーマーは大規模言語モデルで広く使われてるけど、内部がどう動いてるか分からない人が多いよね。この記事では、事前学習済みのトランスフォーマーの層を通る情報の流れを変えるとどうなるかを探るよ。これを研究することで、既存のモデルをもっと上手く使ったり、新しいバージョンのデザインを改善したりできるかもしれない。

凍結したモデルでいくつかのテストを行って、下の層と上の層の違いを観察したんだけど、中間層は意外と同じような部分が多いことが分かった。また、層を飛ばしたり、順序を変えたり、一緒に実行したりしても、いくつかのタスクはうまくいくことが分かったんだ。

トランスフォーマーモデルはめっちゃ大きいから、訓練後に何をしてるか理解するのが難しい。各層は同じセットアップだけど、構造の中での位置やパラメータの値が違うんだ。

中間層を説明するために、ペインターの組み立てラインみたいに考えてみよう。各入力はキャンバスで、いろんなペインターを通るんだ。鳥を描くのが得意なペインターもいれば、車輪に集中するペインターもいる。一人のペインターは、下のペインターからキャンバスを受け取って、何を加えるか決めるか、そのまま上のペインターに渡すだけなんだ。

このアナロジーでは、全てのペインターが同じスタイルを理解してるから、他のペインターから受け取った作業を壊すことなく受け取れる。配置を変えても、キャンバスを完全に台無しにはできないこともある。時には、全てのペインターが一度にキャンバスに取り組むこともある。このアナロジーがトランスフォーマーの層がどう機能するかを考える手助けになるよ。

このアナロジーに基づいて、特定のアイデアが成り立つか実験したよ。キーワードとしては、

• 層は同じ情報表現の仕方を共有してる？
• すべての層は必要？
• 中間層は同じタスクをしてる？
• 層の順序は重要？
• 層は同時に働くことができる？
• 特定のタスクで順序は重要？
• ループすることで一緒に走る層の性能が上がる？
• どの変更が一番影響が少ない？

これらの質問に答えるために、事前学習済みの大規模言語モデルで一連の実験を行ったんだ。トランスフォーマーの動かし方をいろいろ試して、デコーダー専用モデル（Llamaのような）やエンコーダー専用モデル（BERTのような）での様々なテストでのパフォーマンスを測定した。モデルのパラメータを変えることは、BERTの一つの評価ステップを除いては行なってないよ。

#さまざまな実行戦略

主にLlama2とBERT-Largeの二つのトランスフォーマーモデルに注目したよ。Llama2は70億パラメータと32層のデコーダー専用モデルで、BERTは24層と3.4億パラメータのエンコーダー専用モデルなんだ。テストにはこれらのモデルの標準的な事前学習済みバージョンを使用した。

両モデルを評価するために、いくつかのベンチマークを使ったよ。Llama2では、科学的な質問、常識推論、数学の問題、単語予測に関するタスクを見た。一方、BERTでは、ファインチューニングステップを含むよく知られたベンチマークからのタスクを使用した。

最初の目的は、モデルの層を組み合わせて大きな層にできるか見たかったんだ。中間層のトレーニングの仕方が、情報の理解を共有しているかもしれないということが、これらのモデルに新しい知識を追加するうえで重要な意味を持つかもしれないと思った。

#層は同じ表現空間を共有してる？

層が同じ情報表現の仕方を使ってるかを見るために、モデルがいくつかの層を飛ばしたり、隣接する層の順序を変えたりできるかテストしたよ。例えば、Llama2で層6が通常層5から入力を受け取るとしたら、層6に層4の出力を渡したらどうなる？

結果は、初期の層を飛ばすことが大きな悪影響を及ぼした一方で、中間層を飛ばすのはモデルにとってはより強靭だった。このことから、中間層はおそらく情報を表現する方法を共有してるけど、最初と最後の層とは違うってことが示唆された。

これを確認するために、異なる層の隠れ状態をベンチマークで見たら、中間層の活性パターンが非常に似てることが分かった。これは、モデルが初め、中間、終わりの層で異なるグループを持ってることを示唆してる。

#すべての層は必要？

次に、中間層が本当に同じ表現空間を使ってるかを探ったよ。層を飛ばして、その層がモデルにとって情報を理解するのに重要かどうかを試してみた。テストの結果、いくつかの中間層を飛ばしても多くのベンチマークはうまくいったから、すべての層が必要というわけではないことが分かった。

#中間層は皆同じことをしてる？

中間層が表現空間を共有してたとしても、それがみんな同じ作業をしてるってわけではない。中間層の重みを中心層の重みに置き換えたら、性能が急激に落ちた。これは、中間層が仕事をこなすために異なる役割を果たしてることを示してる。

#順序は重要？

以前のテストで、中間層は表現空間を共有してるけど、異なるタスクを実行してるって分かった。で、これらのタスクの順序がどれくらい重要か見たかった。中間層の順序を逆にしたり、ランダム化したりする実験を行ったんだ。

逆にしたりランダム化したりしても、モデルはスムーズに機能を維持できたことが分かった。ランダムな順序が逆の順序よりもパフォーマンスが良かったのは、順序が層に与える影響のせいかもしれない。

#層を並行して実行できる？

中間層を独立して実行して、後で結果を組み合わせられるかも調べたよ。同時に中間層を実行して、その平均結果を最終層に送るって方法を試した。ほとんどのベンチマークはまたしてもスムーズな機能維持を示したけど、数学に特化したタスクはこの方法でうまくいかなかった。

#順序が特定のタスクにとって重要？

数学的なタスクと推論タスクは、層の順序を変えることに対してかなり影響を受けることに気づいた。これは、精密な推論を必要とするタスクが層の配置に対してより敏感だということを意味してる。

#ループは並行層を助ける？

層が自己にループバックすることで性能が向上するかも実験したよ。結果は、並行した層を複数回実行することで、1回だけ実行するよりも良いパフォーマンスを得られることを示した。

#どの変数が一番影響が少ない？

層を変更するさまざまな方法をテストした後、そのパフォーマンスを比較したよ。中間層を単純に繰り返すのが一番悪影響を及ぼし、ランダム化した順序や層を一緒にループさせるのは一番ネガティブな影響が少なかった。

#結論

我々の実験は、トランスフォーマーには3つの異なるクラスの層があって、中間層に最も複雑さが集中してることを示してる。これらの中間層は情報を表現する方法を共有してる可能性があるけど、決して冗長ではない。層の実行方法はパフォーマンスに大きな影響を与えることができるし、特に数学や推論タスクにおいて顕著だよ。

将来的な研究では、トランスフォーマーが新しい方法にどれだけ適応できるかを探っていく予定。もしトランスフォーマーが異なる条件下でファインチューニングできるなら、そのパフォーマンスはさらに改善されるかもしれない。この研究は、正確さを管理しながらトランスフォーマーモデルをより効率的かつ効果的に調整するための有用な洞察を提供するよ。