ARCでの人間の問題解決を評価する

抽象推論コーパス（ARC）は、人間と機械が深い思考と推論を必要とする視覚的な問題をどれだけうまく解決できるかを見るためのテストなんだ。2019年に導入されて以来、機械はこれらの問題にうまく取り組むのに苦労してる。人間がこのベンチマークでどれだけうまくやっているかを理解することは、その信頼性にとって重要なんだ。

過去の研究では、研究者たちはARCのいくつかのタスクをどれだけ人間が解決できるかを見てきたけど、その研究は完全なデータセットのほんの一部しか使ってなかった。だから、以前の結果は本当の人間のパフォーマンスを正確に示しているとは限らない。この文章では、1729人の多くの人が元のARCタスク全部を使ってテストされた研究について報告するよ。彼らのパフォーマンスを見れば、人間がこのベンチマークでどうやってやっているかのより明確なイメージが得られる。

#ARCにおける人間のパフォーマンス

データを分析した結果、ARCにおける平均的な人間のパフォーマンスは73.3%から77.2%の正解率の間で、トレーニングタスクを解いたときの真の平均は76.2%だと推定されるんだ。より難しい評価タスクでは、人間のパフォーマンスは55.9%から68.9%の範囲で、平均64.2%だった。興味深いことに、これらの数字が以前の推定よりも低いにもかかわらず、人間は現在のARCタスクに対する最良のAIソリューションよりもずっと良い結果を出しているんだ。

注目すべき発見は、ARCの800タスクのうち、790は少なくとも1人が3回以内の試行で解決したことだ。これは、多くの問題がインターネット上の通常の作業者によって解決できることを示している。

#ARCの課題

ARCは、異なるシステムが新しい問題に対してどれだけ知識を一般化できるかを評価するために意図的に作られた。ARCの各挑戦は、与えられた例に基づいて根底にあるルールを理解することを必要とするユニークなタスクを提示する。これらのタスクは見た目はシンプルに見えるけど、実際には関係性、形、カウント、論理を理解することが含まれていて複雑なんだ。

以前の研究では、人間の正確性は約83.8%だったけど、それはほんの少しのタスクに基づいていたから、その推定がどれほど正確だったかは不明だった。今回の研究は、多くの人が元のセットの全タスクを解こうとすることで、より強い推定を提供することを目指している。

#研究の詳細

この研究では、参加者は400のトレーニングタスクと400の評価タスクに取り組んだ。それぞれのタスクには1から10の例があり、参加者は解決策を考えるための推論スキルを使う必要があった。平均して、約11.8人の参加者が各トレーニングタスクを完了し、約10.3人が各評価タスクを完了した。

質の良いデータを確保するために、参加者はAmazon Mechanical Turkから募集され、時間に対して報酬をもらった。彼らの年齢は18歳から77歳で、平均年齢は39.8歳だった。各参加者は正解を得るために3回試行することができ、試行に対するフィードバックは最小限だった。

#実験の設定

参加者にはインターフェースの使い方について指示があり、プロセスに慣れるためのチュートリアルタスクを通じて案内された。タスクには色を選ぶこと、グリッドのサイズを変更すること、出力を編集することが含まれていた。重要なのは、参加者が自分の最後のアクションを元に戻せる機能を追加したことで、誤りを修正するのに役立ったことだ。

チュートリアルの簡単なタスクを完了した後、参加者は理解を確認するための質問に答える必要があり、その後本当の実験を始めた。完全なタスクには5つのランダムに選ばれたARCタスクが含まれ、各参加者は同じ条件下で推論スキルを使うことができた。

#成功の測定

参加者の成功は、3回の試行以内にどれだけタスクを正しく解決できたかに基づいて評価された。また、全タスクにおける平均パフォーマンスも計算した。私たちの調査結果は、一般的に人間はトレーニングタスクで評価タスクよりも良いパフォーマンスを発揮していることを示している。

トレーニングセットからの平均パフォーマンスは76.2%の成功率を示した一方で、評価セットは64.2%の低い平均を示した。これらの結果は、評価タスクが実際に人間にとってより難しいことを確認している。

#エラーの性質

人々がこれらのタスクに取り組む際にどのようなエラーを犯したかも調べた。主な観察として、多くの参加者が最初にグリッドのサイズを間違って変更したけど、全体として正しいグリッドサイズを持った提出物がかなりあった。

もう一つの興味深い点は、「コピーエラー」の割合で、参加者が例の入力や出力からコピーしたタスクを間違って提出することだった。これは人間の間でよく見られる間違いだけど、機械はそのようなエラーの率がずっと低かった。

#評価タスクの難しさ

中心的な疑問は、なぜ評価タスクがトレーニングタスクよりも難しいのかということだ。評価タスクはグリッドサイズが大きいことに気づいたけど、サイズだけが難しさに影響を与える要因ではないことが分かった。

参加者はトレーニングタスクに比べて評価タスクにもっと時間をかけていた。興味深いことに、評価タスクにもっと時間がかかったにもかかわらず、彼らのパフォーマンスは低く、そのことは評価タスクに必要な推論がより複雑であることを示唆している。

参加者の行動を分析した結果、トレーニングタスクについて考えるのにかけた時間は評価タスクよりも少なかった。この発見は、人間が評価セットを解決するためのプロセスを考えるのにもっと時間を必要としたことを反映している。

#人間の能力と平均パフォーマンス

平均パフォーマンスが面白い数値を示すけど、これは人間の能力の固定された測定を表しているわけではないことを理解することが重要なんだ。パフォーマンスには報酬の構造、時間のプレッシャー、参加者プールの多様性など、さまざまな要因が影響を与える可能性がある。

この研究では、ほぼすべてのタスク（98.8%）が少なくとも1人の参加者によって解決可能であることが示された。つまり、もしオンラインで10人にランダムに聞いたら、そのうちの1人がどんなARCタスクでも解決できる可能性が高いということだ。この発見は、人間の知性が本質的にこれらのタイプの問題を解決する能力があることを示している。

#エラーからの学び

励みになる発見は、ミスを犯しても、人間は最小限のフィードバックから学び、効果的に回答を調整できることだった。機械は初めての試行でうまくいくことが多いけど、人間は複数回の試行後に正確性を大幅に向上させた。このエラーから学び、誤解を修正する能力は、人間の知性の重要な側面なんだ。

#結論

この包括的な評価は、人間がARCベンチマークでどれだけうまくやっているかのより明確な視点を提供した。私たちは、人間が通常、現在のAIアプローチよりも多くのタスクを解決していることを発見したけど、機械は特定の領域で間違いを犯す率が少ない傾向がある。

これらの発見は、人間と機械の問題解決戦略の違いを浮き彫りにし、機械が人間の推論を完全に模倣するのにはまだ苦労していることを示している。人間の参加者からの行動の痕跡や反応を研究することで、研究者は抽象推論の問題をより効果的に解決できるAIシステムを改善することを希望している。

全体として、結果は人間の知性と機械の知性の間にまだギャップがあることを示しているけど、このギャップの性質を理解することで、人間のように推論できるより賢い機械を作る努力を進める助けになるかもしれない。