「WSC+」とはどういう意味ですか？
目次
WSC+は、マシンが質問を理解して生成する能力を向上させるために作られた新しいデータセットだよ。これは、言語理解を必要とする難しい質問にマシンがどれだけうまく答えられるかをチェックする「ウィノグラッド・スキーマ・チャレンジ」というテストを元にしてるんだ。
WSC+の仕組みは？
WSC+をもっと良くするために、「エキスパートの木」という新しい方法が使われたんだ。この方法は、有効な質問をもっとたくさん作るのに役立つんだ。実際、WSC+には以前の取り組みよりもずっと多くの有効な質問があるよ。機械が作った3,000以上の文が含まれてるんだ。
WSC+の違いは？
WSC+は、マシンが直面する新しいタイプの難しい質問を追加してるから目立つんだ。中にはあいまいだったり、不快だったりする質問もあって、これによって研究者はマシンがどれだけ自信を持って回答してるか、またどこで間違えたりバイアスを示す可能性があるかを確認できるんだ。
結果と洞察
トップのマシン、GPT-4がWSC+データセットでテストされた時、68.7%の質問に正解したんだ。それは人間のベンチマーク95.1%に比べてかなり低い結果で、マシンは良くなってきてるけど、まだまだ道のりは長いってことを示してるんだ。