「タクシー」とはどういう意味ですか？

目次

タクシーは、チャットボットみたいな言語モデルが情報をどれだけ理解して、一貫性を保てるかを確認するために作られた新しいツールだよ。人が新しいことを学ぶとき、既に知っていることと結びつけることが多いんだ。例えば、コラットが猫だって学んだら、それが哺乳類で爪を持ってることもわかるよね。

このタクシーっていうツールは、言語モデルが新しい事実で更新されたときに、その事実が既に知ってることとちゃんと合うかを確認することに焦点を当ててるんだ。多くの質問を選択肢形式で聞くことで、これらの更新がどれだけうまくいくかを見てるよ。

タクシーには、動物の種類やその特性みたいなさまざまなテーマに関する976個の変更に関連する11,120の質問が含まれてる。主な目的は、モデルが更新後に情報を一貫させられるかを見ることなんだ。

初期の結果では、モデルは一部の一貫性を保てるけど、人間よりはうまくいってないみたい。あと、モデルはあまり一般的でないトピックに対しては、一貫性を保つのが得意みたいだね。