LLMはクリエイティビティを公平に評価できるの？
この研究は、LLMが代替用途テストで創造性をどれだけよく評価できるかを調べてるんだ。
Abdullah Al Rabeyah, Fabrício Góes, Marco Volpe, Talles Medeiros
― 1 分で読む
目次
最近、大きな言語モデル（LLM）例えばGPTが創造性を評価するために使われてるけど、これらのモデルって本当に創造的な回答がどれだけクリエイティブか合意できるのかな？この研究では、LLMが「代替用途テスト（AUT）」のクリエイティブな回答をどう評価するかを探りたいと思ってる。このテストでは、日常的なアイテムの変わった使い方を考えるように求められるんだ。以前の研究では、単一のモデルが他の人間や同じモデルの回答を評価してたけど、今回はLLMが自分たちの回答を他のモデルのと比べて公平に評価できるかを見たいんだ。
代替用途テスト（AUT）って？
AUTは創造的思考を見つけるための人気のテストだよ。普通の物の違った使い方を提案するように求められるんだ。たとえば、クリップがしおりとして使えるっていう感じで。ちょっと箱の外で考えなきゃいけないゲームみたいなもんだね。
研究の焦点
この研究では、LLMが自分の回答を好むのか、他のモデルが作った回答を公平に評価できるのかを調べることに焦点を当ててる。そのために、特別なAUTの回答セットを作って、それをクリエイティブさに基づいてグループ分けしたんだ。4つのすごいLLMを使ってこれらの回答を評価して、その評価を比べた。モデルたちがどれだけ同意してるのかを確かめたかったんだ。
回答を集める
研究者たちは5つの一般的な物を選んだんだ。それぞれの物について、LLMはクリエイティビティに基づいて3種類の回答を生成する必要があった：普通の、クリエイティブな、そして非常にクリエイティブなもの。たとえばフォークだったら、「食べ物を食べる」っていう基本的な使い方から、「小さなマシュマロを発射する」みたいなワイルドな使い方まで作り出す感じ。各LLMは合計60の回答を生み出したよ。
創造性レベルのテスト
評価する時は2つの方法を使ったんだ。一つはスコアリングで、各回答に1から5の数字を付けてクリエイティブさを評価する方法。もう一つはランキングで、回答を最もクリエイティブでないものから最もクリエイティブなものまで順序付けする方法だよ。これらの作業を一緒にやるのか、小さなグループでやるのか、評価の精度に違いが出るのかを見たかったんだ。
結果：高い合意のレベル
結果はモデル間で高い合意のレベルを示したよ。モデルたちは強く合意していて、クリエイティビティ評価はほとんどの場合0.7以上って感じだった。つまり、同じ認識を持ってたんだ。さらに、自分たちの回答に追加ポイントを与えることもなくて、まるで審判が自分のチームをひいきしないみたい。全体的に、LLMはクリエイティビティ評価に対して公平なアプローチを示してるみたいだね。
従来の方法の限界
過去には、人間の専門家が従来の方法を使ってクリエイティビティを判断してたけど、これって結構バラバラだったんだ。人によって考え方が違うからね。だから、研究者たちはLLMがもっと良い仕事をできるか興味を持ったんだ。LLMはより均一な評価を提供できて、速くて安上がりだし、人間の評価に影響を与える文化的バイアスも受けにくいんだ。
LLMによる創造性評価に関する先行研究
以前の研究では、LLMが創造的な作品、例えば文章やジョーク、詩を評価できることが示されてるよ。一部の研究では、LLMが様々なタスクでクリエイティビティをどれだけうまく判断できるかを見てた。他の研究では、LLMが評価に影響を与えるバイアスを持つ可能性があるので注意が必要だって指摘してる。全体的に、LLMを創造性評価に使うことへの関心は高まってるね。
代替用途テストを使った結果
この研究では、モデルたちは回答を生成して評価するのが結構うまくいったよ。どの回答が普通、クリエイティブ、非常にクリエイティブかを見分けられたし、結果はそれぞれのレベルをうまく区別できてることを示してた。モデルたちはよりクリエイティブな回答には一貫して高いスコアを付けてたから、練習の成果が出てるみたいだね。
スコアリング対ランキング
スコアリングとランキングの方法を比べると、研究者たちはLLMがスコアリングでより良いパフォーマンスを発揮したことを発見したんだ。これによって、クリエイティビティを一貫して評価しやすくなった。ただ、ランキングはモデル間のクリエイティビティの見方の違いを浮き彫りにする面白い洞察を示してたよ。
一緒に評価するのか別々に評価するのか
研究では、グループで回答を評価することがモデルの精度に影響を与えるかテストしたんだ。結果は、小さなグループで評価するとモデルがクリエイティビティを正確に評価するのが難しくなることがわかって、ちょっと驚きだった。でも、大きな回答セットを扱うことでモデルはクリエイティビティレベルを見るのがもっとクリアになったみたい。
結論
全体的に、この研究はLLMがAUTに対する回答のクリエイティビティを信頼して評価できることを示した。彼らの評価は一貫していて、自分たちの回答をひいきしなかった。異なるクリエイティビティレベルを見分けられるし、モデル同士で合意も見られた。これは、LLMを使って効率的にアイデアを評価する可能性を開くものだね。
今後の研究
研究者たちは方法を洗練させて、もっと複雑なクリエイティビティタスクをテストする予定なんだ。彼らは、LLMがさまざまな分野で創造的な作品を評価するのを助けて、クリエイティビティ評価をもっと迅速で確実にする明るい未来を見てるよ。
要約
じゃあ、LLMはクリエイティビティについて合意できるの？答えはイエスだよ！彼らはクリエイティビティがどういうものかについてかなりしっかりした理解を持ってるみたいだ。少しユーモアと楽しさを交えながら評価してるから、もしかしたら近い将来、才能ショーでAIが私たちのクリエイティビティを評価することになるかもね！
タイトル: Do LLMs Agree on the Creativity Evaluation of Alternative Uses?
概要: This paper investigates whether large language models (LLMs) show agreement in assessing creativity in responses to the Alternative Uses Test (AUT). While LLMs are increasingly used to evaluate creative content, previous studies have primarily focused on a single model assessing responses generated by the same model or humans. This paper explores whether LLMs can impartially and accurately evaluate creativity in outputs generated by both themselves and other models. Using an oracle benchmark set of AUT responses, categorized by creativity level (common, creative, and highly creative), we experiment with four state-of-the-art LLMs evaluating these outputs. We test both scoring and ranking methods and employ two evaluation settings (comprehensive and segmented) to examine if LLMs agree on the creativity evaluation of alternative uses. Results reveal high inter-model agreement, with Spearman correlations averaging above 0.7 across models and reaching over 0.77 with respect to the oracle, indicating a high level of agreement and validating the reliability of LLMs in creativity assessment of alternative uses. Notably, models do not favour their own responses, instead they provide similar creativity assessment scores or rankings for alternative uses generated by other models. These findings suggest that LLMs exhibit impartiality and high alignment in creativity evaluation, offering promising implications for their use in automated creativity assessment.
著者: Abdullah Al Rabeyah, Fabrício Góes, Marco Volpe, Talles Medeiros
最終更新: 2024-11-26 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2411.15560
ソースPDF: https://arxiv.org/pdf/2411.15560
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。