ソーシャルコンピューティングにおけるデータアノテーターとしてのChatGPTの評価

チャットGPTのリリースによって、大規模な言語モデルを様々なタスクで使う新しい可能性が広がった。この研究は、チャットGPTが人間のアノテーターの代わりに社会計算タスクのデータにラベルを付けるのがどれほど上手くできるかに焦点を当てている。適切なラベル付けは、感情分析、ヘイトスピーチ検出、スタンス検出などのタスクに使われる機械学習モデルを訓練するために重要だ。最近は人間の入力を必要としない方法も出てきているけど、大量のデータを必要とすることが多い。だから、人間によるラベル付けは社会計算研究においてまだ重要だ。

#背景

OpenAIが作ったチャットGPTは、研究者たちの間で注目を集めている。一部の研究では、プログラミング、医学、教育などの分野でのチャットGPTの効果について調べられている。そして最近の研究では、チャットGPTがテキストデータにラベルを付ける能力が評価され、誤情報やヘイトスピーチの特定に焦点を当てている。

私たちの研究では、チャットGPTの5つの異なるアノテーションタスクに対するパフォーマンスをチェックした。人間のアノテーターと同じくらいの効果でラベルを作れるかを調べた。スタンス検出、ヘイトスピーチ、感情分析、ボット検出、ロシア・ウクライナの感情をカバーする5つの主要なデータセットを使った。

#データセット

#スタンス検出

最初のデータセットは、COVID-19に関するスタンス検出だった。マスクを着用することや学校を閉じることに関するツイートが含まれていて、各ツイートはクラウドソーシングでラベル付けされた。このデータセットを使って、チャットGPTがどれだけこれらのスタンスを分類できるかを確認した。

#ヘイトスピーチ

2つ目のデータセットは、アジア系へのヘイトやカウンタースピーチに焦点を当てている。COVID-19パンデミック中に関連するキーワードを使って収集されたツイートが含まれ、それぞれのツイートは「ヘイト」、「カウンタースピーチ」または「ニュートラル」とラベル付けされている。

#感情分析

3つ目のデータセットは、広く使われている感情分析タスクから来ていて、ポジティブ、ニュートラル、ネガティブとラベル付けされたツイートが含まれている。人間のアノテーターが品質管理を行い、私たちはこのデータセットを使ってチャットGPTの感情ラベル付けを評価した。

#ボット検出

次に、TweepFakeというデータセットを見た。これはボット生成のツイートをチェックするもので、ボットと認証された人間アカウントのツイートが含まれている。チャットGPTがこれらの2種類の著者を効果的に見分けられるかを調べた。

#ロシア・ウクライナの感情

最後のデータセットは、ロシア・ウクライナの紛争に関する感情を測るために作られた。状況に関連するツイートを集め、ロシア、ウクライナ、またはニュートラルを支持するかどうかに基づいてアノテーションした。

#チャットGPTのアノテーション方法

ツイートにラベルを付けるために、チャットGPT APIを使用した。タスクを明確に示すプロンプトを設計し、「ツイートをヘイト、カウンタースピーチ、またはニュートラルに分類する」といった指示が含まれている。このプロンプトに従ってツイートをチャットGPTに投入し、応答を集めた。アプローチとして、応答の最初の文をチェックしてラベルを確認し、残りのテキストで説明を分析した。

#結果と分析

チャットGPTのパフォーマンスを評価するために、人間のアノテーターが付けたラベルと比較した。精度やF1スコアのような指標を使って、チャットGPTのパフォーマンスを評価した。

全体として、チャットGPTは大多数のツイートにラベル付けを行い、ほとんどの場合で有効なラベルを提供した。ただし、タスクによって効果が異なった。

#感情分析

感情分析では、チャットGPTは約64.9%の精度で最も良いパフォーマンスを見せた。ほとんどのツイートにラベルを付けられ、感情を正しく特定する能力が強かった。しかし、時々、非常に感情的なツイートをニュートラルとしてラベル付けしてしまうことがあった。

#スタンス検出

スタンス検出では、チャットGPTは約61.2%のツイートを正しくラベル付けした。「賛成」や「反対」のラベルにはうまく対応したが、「どちらでもない」のラベルには苦労し、特定の意見を過大評価するかもしれないことを示した。

#ヘイトスピーチ

ヘイトスピーチのタスクでは、チャットGPTは57.1%の精度を達成した。ほとんどのヘイトツイートを正しく特定することができたが、ニュートラルなコンテンツとヘイトコンテンツを区別するのが難しかった。そのため、ニュートラルなツイートをヘイトスピーチとして誤ってラベル付けすることが多かった。

#ボット検出

ボット検出では、チャットGPTは63.9%の精度でツイートにラベルを付けた。人間が書いたツイートを特定する能力が強かったが、ボットのツイートを人間と間違えることが多く、慎重なアプローチを示した。

#ロシア・ウクライナの感情

ロシア・ウクライナの感情タスクでは、チャットGPTは57.3%の精度で最も効果的ではなかった。特に、ウクライナ支持のツイートに比べて親ロシアのツイートを認識するのが得意だった。多くの親ウクライナのツイートが誤って親ロシアとラベル付けされた。

#結論

この研究は、チャットGPTがラベル付けタスクでうまく機能することができるが、限界もあることを示している。タスクやデータセットによって能力が異なる。感情とスタンスの特定が必要なタスクではうまくいくが、ボット検出や最近のトピックのような主観的なタスクでは苦労している。

さらに、プロンプトデザインの改善に焦点を当てるべきだと提案する。特定のタスクに合わせたプロンプトを作ることで、チャットGPTのアノテーションパフォーマンスが向上するかもしれない。今後の研究では、チャットGPTをテキストアノテーションによりよく活用する方法を探り、人間のアノテーターとのより近い整合性を目指すべきだ。

この研究の結果は、チャットGPTのような言語モデルを社会計算タスクに統合するための今後の取り組みを導くことができ、人間のアノテーターと自動ツールとの効果的なコラボレーションの基盤を提供する。