言語学習の再考：LLMと人間

大規模言語モデル（LLM）は言語を処理するのに大成功を収めているけど、人間の学習とどれくらい似ているか疑問が生まれる。この記事では、特に言語習得についての議論の中で、LLMが人間の認知を理解する役割について考えてみる。

私たちは、人間もLLMも一般的な学習者とは言えないって主張する。つまり、彼らには特定の好みやバイアスがあって、それが学習プロセスを導くんだ。特にLLMは、トレーニング中と自然選択に似た選択プロセスによる二重最適化のプロセスを経る。この視点から見ると、LLMと人間のパフォーマンスを比較することは、人間の認知バイアスが言語学習にどんな役割を果たしているかを明確には示さない。

#一般的な学習者とは何か？

一般的な学習者とは何かという議論は長い歴史がある、特に人が概念を習得する方法についての議論において。いくつかの理論では、学習は先天的なメカニズムを通じて起こると提案されているし、他の理論では経験を通じて学ぶことを支持している。一般的な学習者というアイデアは、その学習者が特定の言語に関するバイアスや制約から自由であるだろうということを示唆している。

でも、実際にはそんなバイアスのない学習者は存在しないことが分かっている。どんな学習シナリオでも、入力データだけでは結果を完全には決定できない。学習者は、直接経験したこと以上の言語について、教育的な推測をするために自分のバイアスを使わなきゃいけない。

一般的な学習者には三つの解釈がある：

1. バイアスのない学習者：特定の言語に対してバイアスや制約がない学習者。
2. バニラ学習者：特別なトレーニングなしで普遍的に使える学習者。
3. ドメイン一般の学習者：言語そのものに限定されずに言語を習得する学習者。

私たちの視点から見ると、一般的な学習者の概念は実際の応用においては不十分だ。LLMは特定のデータで訓練されていて、それが彼らのバイアスを形成している。だから、彼らは一般的な学習者とは見なせない。進化のような成熟プロセスを経て学習が形成されているからだ。

#LLMは一般的な学習者なのか？

LLMが一般的な学習者の有意義な定義に当てはまるかどうかが問題だ。私たちは、LLMはこの説明には当てはまらないと主張する。

#一般的な学習者は存在しない

最近の研究では、LLMはバイアスのない制約のない学習者ではないことが明らかになっている。一般的な学習者なんて存在しないからだ。異なるモデルアーキテクチャは、あいまいなデータに基づいて異なる選択をする。たとえば、あるLLMは階層的な構造を採用する一方で、他のLLMは同じトレーニングデータに基づいて線形表現を好むかもしれない。

LLMが能力を発揮できるのは、専門性を持っているからだ。専門性がなければ、彼らはただトレーニングデータを再現するだけで進歩はない。全部許されるモデルなんて存在しないことを認めなければならない。すべてのモデルには、学習プロセスを導く傾向やバイアスがある。

#バニラ学習者の幻想

次に、LLMのバイアスがデフォルトとして認識されるかを探る必要がある。もしランダムに学習者を選んだら、私たちのように言語を学ぶだろうか？私たちは、このオフ・ザ・シェルフのバニラモデルのアイデアは誤解を招き、現代のLLMには当てはまらないと主張する。

世界中の何千もの研究室が、多くのLLMをテストするためにかなりのリソースを費やしてきた。特定のタスクで優れたパフォーマンスを示すモデル、例えばBERTやGPT-4は、パフォーマンスに基づく選択プロセスを経て出現した。つまり、私たちが目にするモデルは特定のタスクに最適化されているから、一般的でもランダムでもないということだ。

現代のLLMは特定の目的に最適化されていて、この最適化プロセスは時間をかけて小さな変化や大きな変化を経ている。その結果、LLMは言語関連のタスクに非常に特化されている。

#人間の学習 vs. LLM

学習についての議論に戻ると、LLMはバニラ学習者とは見られない。彼らは特定の役割のために設計され、洗練されていて、これは人間が言語を習得する方法とは大きく異なる。人間の進化は盲目的なプロセスで行われるが、LLMは人間のエンジニアが設定した特定の目標に向かって指向されている。

LLMが一般的な学習者かどうかを議論する際には、一般的な学習者なんて存在しないことが重要だ。学習プロセスは、人間でもLLMでも、バイアスや制約によって影響を受ける。

#LLMを評価する際のベンチマークの役割

LLMはさまざまなベンチマークを通じて人間の言語について学んでいる。これらのベンチマークは、モデルを互いにテストするために使われる標準だ。役立つ洞察を提供するけど、常に人間の能力の全範囲を反映するわけじゃない。

#ベンチマークの理解

ベンチマークは、LLMと人間が特定のタスクで同じようにパフォーマンスを発揮するかを確立するのに役立つ。シンプルなものから高度なタスクまで、さまざまな現象をカバーしている。これらのベンチマークの出現は、この分野を改善し、言語処理の興味深い側面を明らかにしている。

LLMが特定のベンチマークをクリアするかもしれないが、これらの結果を解釈する際には注意が必要だ。これらは必ずしも認知レベルでの言語理解を反映するものではなく、むしろモデルのトレーニングがどれだけうまくいったかの反映に過ぎない。

#ベンチマークを目的として

ベンチマークは、LLMが言語を学ぶ際に二重の役割を果たす。パフォーマンスを評価するテストとして機能することもあるし、トレーニングの目標に組み込まれることもある。もしベンチマークがトレーニング目標の一部になると、外部的な成功の測定基準として機能しなくなる。

LLMはトレーニング中や自然選択に似たプロセスを通じて最適化されている。これは、ベンチマークがどのモデルが成功し、どのモデルが成功しないかに影響を与えることを意味する。

#学習プロセス

多くのベンチマークが存在しているにもかかわらず、重要な言語学習の側面をテストしないことが多い。異なる現象がどの順番で習得されるかを測定できないことが多い。LLMがさまざまな構造を学ぶ様子を観察することは、彼らの言語理解に貴重な洞察をもたらすかもしれない。

最近の研究では、LLMと人間の子供が似たような学習経路をたどる可能性があることが示唆されている。これにより、LLMが人間の言語学習の本質を調査するための潜在的なツールとして位置づけられ、認知プロセスの理解への窓を提供している。

#行動と学習の区別

行動のベンチマークは役立つけど、言語習得の関連する側面をすべてカバーしているわけではない。見落とされがちな重要な領域は、行動とその行動につながる計算プロセスの関係だ。

#行動 vs. 計算プロセス

LLMが人間の言語処理と一致するかどうかをテストするために、人間の言語タスク中の脳の活動とLLMの行動を比較できる。ある程度の一致があるかもしれないけど、脳とモデルの構造の違いによる不一致は避けられない。

LLMがどれほど人間のプロセスを模倣しているかという疑問は、探求の余地がある領域だ。もし彼らが似たような行動を示すなら、その根底にあるメカニズムを理解することが、LLMと人間の認知を比較する妥当性を判断するために重要。

#不可能な言語についての議論

重要な議論は、LLMが可能な言語と不可能な言語を区別できるかどうかに絡んでいる。人間の学習者には限界があるが、LLMはその処理においてこうした制約がないかもしれない。

#不可能な言語の概念

ある言語は既知の文法構造に違反するため、達成不可能だというアイデアを提唱している。この概念は、人間の言語の基本的な構成要素を主張する言語理論に根ざしている。特定の構成はこれらの基本的な原則に反するため、人間の学習者はそのような言語を習得できないとされている。

研究者たちは、人間の学習者とLLMがそのような言語を異なって処理するかどうかを検証するためのテストを実施した。初期の研究では、通常の人間の限界を超えた能力を示した例外的なポリグロット学習者に焦点が当てられ、新しい言語に触れたときにパラメータをリセットする能力を示した。

#LLMと不可能な言語

LLMが可能な言語と不可能な言語を区別できないという主張が生まれる。批評家は、LLMのアーキテクチャには階層的な組織に対するバイアスがないと主張している。これにより、LLMやその他の類似モデルは、人間の言語構造に対して敏感でない一般的な学習者であるという主張に至る。

いくつかの実験では、LLMが不可能な構造よりも人間のような文法を好む傾向が示されている。これは、彼らが人間の学習者とは異なる点があるにもかかわらず、言語を処理する際に制約がまったくないわけではないことを明らかにしている。

#結論

要するに、LLMは言語学習と認知に関する議論において興味深いケースを示す。彼らは驚異的な能力を持っているけど、一般的な学習者とは見なされるべきではない。LLMも人間も、特定のバイアスを持って言語にアプローチし、それが学習を形作る。

これらの違いを理解することは、認知科学においてLLMを効果的に利用するために重要だ。彼らは人間の言語処理について貴重な洞察を提供するけど、その最適化された性質は人間の言語習得のユニークさを否定するものではない。

今後の研究は、LLMが人間の認知をどのように明らかにできるかに焦点を当てつつ、学習モデルとしての限界を認識する必要がある。言語モデルの進化は、言語と心の理解を進めるためのエキサイティングな機会を提供し続けている。