機械って子供みたいに類推解けるの？

子供が「体 : 足 :: テーブル : ?」みたいなパズルを解くのを考えると、機械、例えば大型言語モデル（LLM）が同じことができるのか気になるよね。子供たちは小さい頃から、ある例から知っていることを別の例に応用する方法を学ぶんだ。彼らはパターンを見つけて類推を解決し、大人でも困ってしまうような点をつなぐことができるんだ。最近の研究によると、LLMは特定の類推問題には挑戦できるけど、子供ほど異なる文脈での問題解決スキルを一般化するのは苦手なんだって。

#類推的推論って何？

類推的推論っていうのは、あることについて知っていることを使って別の状況を理解することだよ。例えば、体には足があるって知ってたら、テーブルには脚があるってわかるよね。これは人間が学び、創造的に考えるのを助ける基本的なスキルなんだ。大人はこれらのタスクで子供より優れたパフォーマンスを発揮することが多いけど、驚くべきことに、子供は3、4歳から簡単な類推を解決できるんだ。彼らは異なる類推タイプにスムーズに切り替えられるけど、最近の研究ではLLMにはそれが得意じゃないって示されてる。

#研究の内容

私たちの研究では、LLMが子供や大人のように類推解決スキルを一般化できるか見たかったんだ。子供たち、大人たち、LLMに文字列類推を解かせたんだ。この類推はラテン語、ギリシャ語、さらには作り上げた記号リストに基づいてて、人間と機械が新しい文脈に知識をどれだけ移せるかをテストしたんだ。

#文字列類推

文字列類推タスクはこういう感じだよ：「abc」が「abd」に変わるなら、「pqr」は何に変わるべき？同じような変化を加えないとパズルを解けないんだ。このタイプのタスクはシンプルで、人間は通常パターンを簡単に識別して応用できるから、正解することが多いんだ。

#誰が参加した？

私たちは7〜9歳の子供42人、62人の大人、そして4つの異なるLLMをテストしたんだ。すべての参加者には、ラテン語、ギリシャ語、記号の3つのアルファベットにわたる同じタスクが与えられたよ。

#みんなのパフォーマンスはどうだった？

#大人と子供vs. LLM

私たちは、大人と子供がラテン文字を簡単に扱って、LLMも大人と同じくらいできるだろうって予測してたんだ。でも多くのLLMはラテン文字ではうまくいったけど、ギリシャ文字になるとつまずいて、記号リストではかなりパフォーマンスが落ちたんだ。これで、大人と子供は適応が得意なのに対して、LLMは馴染みが薄くなると適応が苦手だってことが分かった。

#全体的な結果

異なるアルファベットでのパフォーマンスを比べると、子供と大人は似たような結果を出して、安定して良いパフォーマンスを見せたよ。でもLLMは、文字や記号のタイプが変わるときにルールを把握して柔軟に応用する能力が欠けてるのが明らかだった。

#LLMはどうして子供のように一般化できないの？

#難しい部分

LLMが一般化するのが難しかった理由を理解するために、タスクを詳しく見てみたんだ。複雑なルール、例えば文字の順序を認識することが、LLMにとって一番難しかったみたい。シンプルなタスクではうまくいったけど、パターンのより微妙な理解が必要な項目では苦労してたんだ。

#ルールチェック

私たちは、「次の文字」とか「前の文字」みたいに特定のルールにだけ集中するシンプルなバージョンのタスクを試してみた。LLMはこれを直線的なリストで正解できたけど、その後、ルールを組み合わせて類推するタスクに戻すと再びつまずいたんだ。これは、LLMが条件が整っている時にパターンを特定するのは得意だけど、より抽象的なタスクにその能力をうまく移せないことを示唆してるよ。

#どんなミスをした？

子供、大人、LLMがしたミスを分析したとき、明確な違いが見えたんだ。子供は時々正解から遠くそれてしまうこともあったけど、LLMはより予測可能な間違った答えのパターンをたどる傾向があった。面白いことに、LLMはルールを「文字通り」に解釈することが多くて、人間はそうしなかったんだ。これから、彼らは習ったルールを厳密に適用するから、柔軟性が限られるってことが分かるよ。

#結論

まとめると、LLMはシンプルな文字列類推を解けるけど、異なる文脈で一般化する能力は子供には及ばないんだ。これは、彼らの推論能力における限界を浮き彫りにしてる。新しい状況に知識を適応して応用する能力は独特の人間の特性みたいで、まだ機械が私たちのように考えるには時間がかかりそうだね。だから、次に子供がパズルを解いてるのを見たら、彼らの脳が機械がまだ追いつこうとしてることをやってるって思い出してね！