Simple Science

最先端の科学をわかりやすく解説

# コンピューターサイエンス# ヒューマンコンピュータインタラクション# 人工知能# コンピュータと社会

AIがファクトチェックの信念に与える影響

AIによるファクトチェックが政治ニュースの認識にどんな影響を与えるかの研究。

― 1 分で読む


AIのフェイクニュースへのAIのフェイクニュースへの関わり査中。AIが政治ニュースの信念に与える影響を調
目次

偽情報は今の大きな問題だよね。気候変動やワクチン、政治みたいな重要な問題に対する人々の見方に影響を与えちゃう。ファクトチェックは偽情報の影響を減らす方法の一つだけど、オンラインに情報がたくさんあるから管理するのは難しい。多くの人が人工知能(AI)がファクトチェックを手伝えると思っていて、主張が真実か偽かをすぐに評価できるって言ってるんだ。

最近のAI言語モデルは、ファクトチェックのタスクをけっこう上手くこなせることが分かってきた。でも、これらのモデルが提供する情報に対して人々がどう反応するかを知る必要がある。この文章では、AI生成のファクトチェックが政治ニュースに対する人々の信念やそのニュースを共有する意欲にどんな影響を与えるかを見ていくよ。

ファクトチェックの役割

ファクトチェックは偽情報を修正することを目的としてる。多くの場合、偽の主張を信じる人の数を減らしたり、その情報を共有するのを止めたりすることができる。でも、オンラインに膨大な量のコンテンツがあるから、大規模にやるのは大変なんだ。

研究者やソーシャルメディアの会社は、偽情報を検出したり主張をファクトチェックしたりする自動化の方法を探ってる。しっかりしたファクトチェックシステムは、主張を見つけて証拠を集め、その真偽を判断し、その結果を説明できるべきなんだ。

特に言語を理解するAIの手法がこういったシステムを開発するために使われることが多い。ただ、インターネット上のすべての情報を処理できる機能的なシステムを作ることは依然として大きな課題だよ。

AIがどう助けられるか

最近の大規模言語モデル(LLM)の進展は、解決策を提示してるかもしれない。これらのモデルは、ニュース記事や本、ウェブサイトからの広範なデータセットで訓練されてる。いろんなトピックに詳しくて、情報を要約したりテキストの中のエンティティを認識したりするタスクで有望な結果を出してるんだ。

LLMは人間用の難しい試験にも合格経験があるんだ。自動ファクトチェックにこれらのモデルを使うのは期待できそうで、主張を特定してチェックするために必要なスキルを持っているようだ。例えば、最近の研究では、よく知られたLLMであるChatGPTがニュースソースの信頼性を評価したり、特別な設定なしに声明をファクトチェックできることが示されてる。

LLMからのメッセージは、時には人間が作成したものよりもソーシャルメディアでの偽情報の修正に優れることがある。これらのモデルは、自分の情報について説得力のある説明を提供したり、ユーザーと議論して追加の文脈を提供したりできる。

LLMをファクトチェックに使う成功は、どれだけ人間がデジタル情報の世界にそれを統合できるかに依存してる。しかし、残念ながら、人間とAIのインタラクションは複雑なんだ。以前の研究によると、AIは客観的だと見られることが多いけど、AIへの信頼は個人的な期待や、システムがどれだけインタラクティブか、AIが推奨について情報を共有するかどうかなどのいくつかの要因に依存してる。

だから、これらのモデルを広める前に、トップLLMが提供する情報に人々がどう関わるかを分析することが重要なんだ。

実験

AI生成のファクトチェックがどんな影響を与えるかを調べるために、制御された実験を行ったよ。ChatGPTからのファクトチェック情報を見ることで、人々が政治ニュースについてどう思うか、またそのニュースを共有するかを確認したかったんだ。

アメリカの代表的な参加者サンプルを集めた。各参加者には同じ40の本物の政治ニュースの見出しが示された。そのうち半分は真実で、半分は偽だった。民主党寄りと共和党寄りの見出しも含まれてたよ。

参加者は、信念に焦点を当てるグループと共有に焦点を当てるグループの2つに分かれた。目的は、参加者が見出しが正確だと思ったか、またはソーシャルメディアで共有するかを見極めることだった。参加者はこの質問に別々に答えたんだ、なぜなら見出しが真実かどうかを考えることが、共有する可能性に影響を与えることがあるから。

参加者には3つの条件を用意した:ファクトチェックを見なかったコントロールグループ、AI生成のファクトチェックを強制的に見る条件、ボタンをクリックしてファクトチェックを見ることが選べる条件。

AIファクトチェックの正確性

私たちの研究では、ChatGPTがファクトチェックでどれくらい正確だったかを見たよ。真実の見出しを15%の確率で正しく特定し、20%の真実の見出しを偽とラベル付けしてしまった。65%の真実の見出しについては、ChatGPTは確信が持てなかった。一方で、偽の見出しに関しては、AIは10%の確率で不確かで、90%は正確に偽とラベル付けした。

これは、ChatGPTは偽のコンテンツを正確に識別できる一方で、真実の見出しには苦労することを示唆してるし、十分な情報がないときにはそれを認めるんだ。

AIファクトチェックの効果

AIファクトチェックがどれくらい効果的かを測るために、参加者の信念や真実と偽の見出しに対する共有意図に影響を与えたかを見たよ。私たちの目標は、AIファクトチェックが人々が真実と偽の見出しを区別するのを助けられたか確認することだった。

興味深いことに、分析の結果、AI生成のファクトチェックを見ても、参加者が真実と偽の見出しを区別する能力に大きな変化はなかったことが分かった。信念と共有のグループ両方で、AIファクトチェックを強制的に見せられた人たちは、コントロールグループに比べて区別能力がわずかに減少したよ。

これは驚きだよね。AI生成の情報が助けになると思ってたから。でも、どうやら参加者はAIの反応に影響されなかったみたいで、遺失の見出しには有用な情報を提供していたにも関わらず。

正確性の影響を理解する

次に、AIファクトチェックの正確性が参加者にどんな影響を与えるかについて深く見ていったよ。AIの判断が正しい場合、間違っている場合、不確かな場合で異なるシナリオを考慮する必要があった。

私たちの結果は、AIが真実の見出しを偽と誤ってラベル付けした場合、参加者のその真実の見出しに対する信念を損なうことを示してる。一方で、AIが偽の見出しについて不確かだったとき、参加者はそれを信じる可能性が高くなった。

ニュースを共有しようとする人にとって、AIファクトチェックを見ることは真実の見出しを共有しようとする意図を高めたけど、AIが不確かな場合に偽の見出しを共有しようとする意図も高めたんだ。

オプトイン対オプトアウト

AIファクトチェックを見る選択肢がある人たちの行動も分析したよ。ファクトチェック情報を見たいと選んだ参加者は、偽の見出しを信じる可能性が高くなった。一方で、真実の見出しに関しては、オプトインした人とそうでない人の間に有意な違いはなかった。

AIファクトチェックを見た人たちは、あらゆるタイプのコンテンツを共有したいという強い意向を示した。この結果、真実の見出しと偽の見出し両方の共有意図が増加したんだ。

このパターンは、なぜ人々がこの情報を見ようとするのかについて疑問を投げかける。すでに見出しについて自分の意見を持っていて、自分の信念を確認したいと思っているのか、AIが違う答えを提供するかを見たかったのかもしれない。

AIに対する態度の影響

この研究では、参加者のAIに対する態度がその行動にどんな影響を与えるかも調べたよ。AIに対してよりポジティブな態度を持っている参加者は、AIファクトチェックを見た後にすべてのコンテンツ(真実か偽か問わず)を共有する可能性が高かった。

さらに、AIファクトチェックを見ないことにした参加者は、AIに好意的な見方を持っている場合、真実の見出しへの信念が低下したんだ。この逆説は、ニュース見出しに対する信念とAI技術に対する態度の関係について疑問を投げかける。

政治的信念による影響

もう一つ考慮した要素は、参加者の政治的信念だった。参加者の政治的所属がその情報の受け入れに影響したかどうかを見たよ。これは特に重要で、見出しはしばしば異なる政党を支持するものだから。

私たちの結果は、彼らの政治的見解と矛盾する真実の見出しを信じる可能性が低いことを示している。似たように、政治的所属と見出しの内容が食い違った場合、偽の見出しを受け入れる可能性も低かった。

ただ、参加者がAIファクトチェック情報を見ることを選択したとき、偽の見出しに対する信念の政治的ミスマッチの影響はあまり重要ではなかった。このことは、AI生成の情報へのアクセスが人々の政治的に敏感な情報の処理方法を変えるかもしれないことを示唆してる。

研究の制限

私たちの研究は、AIと人間のファクトチェックの相互作用に関する洞察的なデータを提供するけど、私たちの結果には限界がある。特定のAIモデルのバージョンに焦点を当てたから、他のAIシステムに同じ結果が当てはまるとは限らない。

さらに、実験では政治ニュースの見出しの小さな選択肢を使った。異なる状況やもっと幅広いニュースストーリーで同じ結果が出るとは言えない。

最後に、参加者はオンラインプラットフォームを通じて選ばれたから、ニュースの消費や共有に関する実際の行動の複雑さを完全に反映しているわけではない。

結論

偽情報は社会に影響を与え続ける重要な挑戦だ。AIはファクトチェックを手伝う可能性があるけど、私たちの研究は人々がこの情報にどう関わるかに潜む潜在的な欠点を明らかにしている。AIは偽の見出しを正確に特定できる能力があるけど、真実の情報を信じるよう導く効果は限られている。

AI生成のファクトチェックにさらされた参加者は、信頼できる情報と誤解を招くコンテンツを見分ける能力が特に高くはなかった。むしろ、AIが真実の見出しを誤って特定したり、偽の見出しについて不確かさを表現したときに、有害な影響が生じたんだ。

さらに、参加者のAIに対する態度や政治的信念がファクトチェック情報との関わり方に影響した。AI技術が私たちの情報の風景にますます統合される中で、そのリスクや利点を理解するためのさらなる研究が不可欠だ。

AIとのファクトチェックにおける人間の相互作用を調べることで、私たちはデジタル化が進む世界で偽情報と戦うためのより効果的な戦略を開発し始めることができるんだ。

オリジナルソース

タイトル: Fact-checking information from large language models can decrease headline discernment

概要: Fact checking can be an effective strategy against misinformation, but its implementation at scale is impeded by the overwhelming volume of information online. Recent artificial intelligence (AI) language models have shown impressive ability in fact-checking tasks, but how humans interact with fact-checking information provided by these models is unclear. Here, we investigate the impact of fact-checking information generated by a popular large language model (LLM) on belief in, and sharing intent of, political news headlines in a preregistered randomized control experiment. Although the LLM accurately identifies most false headlines (90%), we find that this information does not significantly improve participants' ability to discern headline accuracy or share accurate news. In contrast, viewing human-generated fact checks enhances discernment in both cases. Subsequent analysis reveals that the AI fact-checker is harmful in specific cases: it decreases beliefs in true headlines that it mislabels as false and increases beliefs in false headlines that it is unsure about. On the positive side, AI fact-checking information increases the sharing intent for correctly labeled true headlines. When participants are given the option to view LLM fact checks and choose to do so, they are significantly more likely to share both true and false news but only more likely to believe false headlines. Our findings highlight an important source of potential harm stemming from AI applications and underscore the critical need for policies to prevent or mitigate such unintended consequences.

著者: Matthew R. DeVerna, Harry Yaojun Yan, Kai-Cheng Yang, Filippo Menczer

最終更新: 2024-08-07 00:00:00

言語: English

ソースURL: https://arxiv.org/abs/2308.10800

ソースPDF: https://arxiv.org/pdf/2308.10800

ライセンス: https://creativecommons.org/licenses/by/4.0/

変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。

オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。

著者たちからもっと読む

類似の記事

コンピュータビジョンとパターン認識モーションガイドマスキング:ビデオ学習の進化

新しいマスキング技術が動きを活用して、動画学習を改善しモデルのトレーニングを向上させるよ。

― 1 分で読む