大規模言語モデルのメモリ機構

記憶は人間が機能するために超大事な部分なんだ。記憶がなかったら、誰も日常のタスクをこなすのは難しいよね。大型言語モデル（LLM）の登場によって、これらのモデルは人間みたいに言語を理解したり生成したりする能力が向上してきてる。でも、これらのモデルには実際に記憶があるのかな？現在の理解では、彼らは記憶の兆候を示しているみたい。でも、その記憶がどう機能してるのかはまだ完全に明らかじゃない。

簡単に言うと、LLMは物事を覚えて、それに基づいて応答できるけど、研究者たちはそれがどういう風に起こるのかを深く調査していないんだ。いくつかの過去の研究がLLMの記憶を理解しようとしたけど、強い基盤を提供することはできなかった。この文章では、ユニバーサル近似定理（UAT）という理論的枠組みを使って、LLMの記憶がどう機能するかを明らかにしていくよ。

また、異なるLLMがどれくらい物事を覚えられるかをテストして、彼らの記憶スキルを測る新しい方法を提案するつもり。LLMの記憶は「シュレーディンガーの記憶」みたいに働いてるって提案したいんだ。つまり、特定の質問をされるまで記憶が表に出てこないってこと。モデルが質問に答えたら、何かを覚えてるってわかるけど、答えなかったら、何も覚えてるかどうかわからない。最後に、人間の脳の記憶能力とLLMの記憶能力を比べて、どう似ていてどう違うのかを示すよ。

#言語の重要性

言語は人間が持つ最も重要なスキルの一つなんだ。それはコミュニケーションや知識の共有の鍵だよ。言語モデルを使えば、人間の知能みたいに振る舞うシステムを作って、人間だけができるタスクをこなすことができる。今、トランスフォーマーに基づくLLMが人工知能の研究の中心になってる。これらのモデルは驚くべき言語スキルを持っていて、翻訳、テキスト要約、感情分析、質問応答、新しいテキスト生成など、私たちの日常生活にすでに影響を与えてる。

彼らの素晴らしい能力にもかかわらず、LLMが物事をどう覚えるかに関する研究はまだ限られてる。記憶は人間がうまく機能するために必要不可欠だよ。例えば、会話の中で、何が言われたかを覚えておかないと、適切に応答できない。この記憶がスムーズなやり取りを可能にするんだ。LLMの能力が向上するにつれて、重要な質問が浮かび上がる：これらのモデルには本当に記憶があるのか？もしあるなら、それはどんな感じで、人間の記憶とはどう違うのか？

現在の研究は主に二つのアイデアに焦点を当ててる：

1. 文脈の長さを拡大する：このアプローチは、LLMに一度に考慮できる情報の量を増やして、より大きな記憶を与えることを目指してる。短い文脈では重要な情報を見逃す可能性があるから、文脈を長くすることでモデルはもっと詳細を覚えることができるんだ。

2. 外部記憶の統合：このアイデアは、過去の情報を保存できるシステムを作ることを含んでいて、モデルが必要に応じて記憶をアクセスしたり更新したりできるようにする。これらのシステムはモデルが不要な情報を忘れたり、重要な記憶を強化したりするのに役立つ。

LLMの記憶を改善するためにいくつかの進展が見られたけど、まだ解決されていない疑問が残ってる。例えば、「アメリカの大統領は誰？」と聞かれると、LLMは古い答えを出すかもしれない。これは、彼らが何かを覚えていることを示しているけど、その記憶がどこから来たのかは不明だ。おそらく、モデルの以前のトレーニングから来ていて、外部の情報源からは得られていないんだ。

#記憶の定義

深掘りする前に、記憶が何を意味するのかを定義するのが重要だよ。一般的な定義によれば、記憶は情報をエンコード、保存、必要に応じて取り出すことを含む。しかし、このアイデアは難しいこともある。脳はストレージデバイスのようには機能しない。情報が脳のどこに保管されているのかを疑問に思うかもしれない。単一のニューロンは一つの情報、例えば単語を記憶するのか、それとももっと複雑な情報を保持するのか？

例えば、ただランチに行くことを考えてみて。いつ食べるか、カフェテリアがどこにあるか、食べ物の選択肢は何か、道具をどう使うかを覚えておかなきゃいけない。脳は一度にたくさんの詳細を思い出す必要があるから、全ての記憶が固定された場所に保存されているわけではないんだ。

だから、もっと実用的な記憶の定義を提案するよ：

• 入力：誰かが記憶を呼び起こすためには、プロンプトやヒントが必要だ。これは彼らが以前に学んだ何かに関連しているかもしれない。

• 出力：入力に基づく応答は正しい場合もあれば、間違っている場合も、忘れている場合もある。正しい出力は、以前に知られていたことと一致していることを意味する。

要するに、特定の入力がなければ、誰も記憶を思い出せないんだ。例えば、関連する質問がなければ、突然ニュートンの第一法則を思い出したりはしないよ。この入力の必要性は、記憶の働きの重要な部分なんだ。

#LLMにおける記憶

私たちは、LLMの記憶を評価するために様々なデータセットを使って、中国語と英語の詩に焦点を当てたよ。これは、モデルが特定の入力に基づいてどれだけ良く出力を生成できるかを見るために選んだんだ。データを準備した後、いくつかのLLMをこれらのデータセットを使ってファインチューニングして、情報をどれだけうまく思い出せるかを見たよ。

結果は、LLMには先に定義した通りの記憶能力があることを示した。一部のモデルは、トレーニングされた詩のほとんどを覚えるのが得意だった。これはすごいことで、人間は特別なトレーニングがなければ、その数の詩を覚えるのも苦労するからね。

結果は、いくつかのモデルが特定の言語でより良く機能したことを明らかにした。モデルのサイズやトレーニングデータの質が記憶に大きく影響したんだ。大きなモデルや質の高いデータでトレーニングされたモデルは、一般的により多くの情報を保持していた。これは人間の記憶と似ていて、より良い学習体験がリコールを向上させるんだ。

私たちの実験では、LLMはタイトルや著者のような最小限の情報のみで詩全体を生成できた。この正確な応答を生み出す能力は、LLMが情報を効果的に覚えて思い出せることを示していて、これらのモデルに存在する記憶能力を強調してるよ。

#出力の長さが記憶に与える影響

もう一つの側面は、覚えられるテキストの長さだった。最初の考えでは、出力が長いほど思い出すのが難しいだろうと思ってた。中国の詩を使って、入力と出力の結合された長さを調整してテストしてみたところ、結果は、テキストの長さが増すにつれて、モデルが内容を正確に覚えるのが難しくなることを確認したよ。

#人間の記憶とLLMの記憶の比較

LLMの記憶とデータベースのストレージの違いを理解することが重要だね。従来のデータベースは、検索や変更ができる固定的な方法でデータを保存している。一方、LLMの記憶は、内部モデルを使って現在の入力に基づいて出力を生成する、よりダイナミックなプロセスなんだ。

LLMと人間の脳は、どちらも似たように機能しているみたい。どちらも過去の経験や現在の入力に基づいて応答を生成できるんだ。たとえば、誰かが特定の情報を思い出すように頼んだら、できるけど、すべての詩を言えと言われたら、難しいかもしれない。人間はしばしば記憶を呼び起こすために特定のプロンプトを必要とするから、LLMと同じように。

#結論

この探求を通じて、LLMには記憶能力があることがわかった。この記憶は、ダイナミックなフィッティングメカニズムを通じて機能し、これらのモデルが最小限の入力に基づいて情報を覚えたり生成したりすることを可能にしているんだ。LLMの情報の思い出し方は、人間の記憶をより深く理解するのに役立つかもしれない。

この研究は、LLMと人間の記憶の類似性を強調しているけど、脳の働きは複雑で完全には理解されていないことを認識することも重要だよ。どちらのシステムも、コンテキストや学習した情報に基づいて出力を生成する能力に依存しているように見える。今後の研究では、LLMと人間の脳の記憶の nuances をさらに明らかにして、認知プロセスについての理解を深めることができるかもしれないね。