大規模言語モデルの知能を評価する

大きな言語モデル（LLMs）、たとえばChatGPTの登場で、多くの人がその知能や役立ち具合、潜在的なリスクについて話してるよね。「超人間的」なAIのアイデアについての心配もある。これは、人間よりもはるかに賢いシステムを指してるんだ。今のLLMsが色んなタスクで人間よりもよくできるのは明らかだけど、私たちにとって簡単に見えることでは苦労することもある。

一つ大きな懸念は信頼性だよね。たとえば、LLMsはほぼどんなテーマでも最小限の入力で研究記事を書くことができるんだけど、正確じゃない情報を生成することもあって、科学雑誌でAI生成コンテンツを使うことに制限がかかってる。それで重要な質問が出てくる：人間の知能を測る方法を使って、LLMsが本当にどれだけ賢いかをチェックできるのかな？

#二種類の知能

LLMsの知能を理解するためには、知能を二つの種類に分けると良いかも：定量的知能と定性的知能。

#定量的知能

定量的知能は、LLMsがどれだけの情報を蓄積し扱えるかを指してる。これは人間が知識を蓄えることに似てる。LLMsはインターネットからの膨大なデータでトレーニングされてるから、編み物みたいな趣味から量子物理学みたいな複雑なテーマまで、広範な分野をカバーできる。彼らは個々の人間が持てる以上の情報を保持できるんだ。

定量的知能を評価するには、LLMsを色んなトピックや詳細レベルでテストすべき。少数の質問だけじゃなくて、数十万の質問を短期間で評価することができる。基本知識、一般的理解、難しいテーマのミックスを含めてね。今のテスト、たとえば大規模マルチタスク言語理解（MMLU）テストは良いスタートだけど、情報の取得と問題解決能力を明確に分けてるわけじゃない。

#定性的知能

定性的知能は、推論やモデルがまだ会ったことのない情報から意味のある結論を出すような、もっと複雑な能力を含む。これが重要なのは、モデルがただおなじみのデータを並べ替えているだけか、それとも新しい問題に実際に対処できるかを判断するのに役立つから。定性的知能を正確に評価するためには、別のテスト方法が必要だね。

たとえば、LLMsが議論でどれだけ人を説得できるかを比較することで、彼らの説得力を知る手がかりになる。無作為化比較試験（RCTs）みたいな方法を使うことで、定性的側面と定量的側面の両方を評価できる。ただ、定性的知能をLLMsで評価するための標準的なアプローチはまだないね。

#データの成長と知能の成長

LLMsにもっとデータが入力されて大きくなると、これ以上の情報を取り込めないポイントが来るはず。これ、おもしろい考えで、もしモデルをこれまでに作られたすべての情報でトレーニングできたら、どれだけ賢くなるんだろう？人間の知識や洞察を全部持ってたとしても、思考や推論の能力は人間よりも大きくならないって主張するよ。モデルのトレーニングが人間のアイデアや言語に基づいてるからね。

LLMsがすごい言語スキルを示しても、それが広い思考能力に結びつくかはまだ議論の余地がある。言語だけでそのスキルを発展させるのに十分なのかな？それに、単に膨大なデータを再整理するだけでは、人間らしい行動に至らないかもしれない。

「超人間的」なAIを考えると、今日のLLMsは量の面で人間の知識を簡単に超えられることがわかる。彼らは、チームが必要なタスクをすぐに処理できる。ただ、少なくとも今のトレーニング方法で、定性的なスキルが大幅に向上する可能性は低いと思う。

#より良い評価の必要性

これらのモデルがどれだけ賢いかを本当に理解するためには、定量的な面と定性的な面の両方を見なきゃいけない。それに、研究でこれらの問題に対処するための新しい枠組みを開発する必要がある。今でも、LLMsが知能をどう成長させるかを明確に理解していないけど、彼らの社会への影響はすでに巨大だよ。

これらのモデルが定量的知能を進展させることで、さまざまな分野で使えるようになり、異なる専門知識を組み合わせることができる。今、専門家のチームが必要なタスクも、近い将来には一つのLLMが管理できるかもしれない。これって、簡単なリクエストが新しいマーケティングキャンペーンやクリエイティブな作品、複雑な研究をデザインするきっかけになるかもしれないってこと。

これらの進展がプロセスを加速させる一方で、すぐに超知能AIが登場するという考えは大袈裟かもしれない。むしろ、これらのモデルが日常生活にもっと統合されるにつれて、仕事の喪失や誤情報、政治的操作といった課題に直面する可能性がある。

#結論

結論として、LLMsの発展は彼らが人間の知識のかなりの部分を持つことを示唆している。でも、彼らが人間の推論や定性的な能力をすぐに超えることはないかもしれない。彼らの知能や「超人間的」な特性を適切に評価するには、定量的知能と定性的知能のために異なる測定基準を使う必要がある。そうすることで、これらのモデルが本当に何ができるのか、そして私たちの世界にどんな影響を及ぼすのかをよりよく理解できるようになるよ。