合成ニュースの増加と検出の課題

大規模言語モデル（LLM）は、リアルに見えるフェイクニュース記事を作るためにどんどん人気が出てきてる。これらのモデルは、強いLLMサポートがない言語でもニュースに似たテキストを生成できる。この文章では、主に英語でトレーニングされたLLMの一種であるLlamaを使って、フェイクのイタリアニュース記事を作成するケーススタディを紹介する。Llamaをたったの4万件のイタリアのニュース記事でファインチューニングすると、イタリア語のネイティブスピーカーでも本物とフェイクを見分けるのが難しいことがわかった。

#コンテンツファームの背景

コンテンツファームは、ニュースのように見える合成記事で埋め尽くされたウェブサイトのこと。これらのサイトは読者を引きつけ、広告収入を生むことができるけど、誤情報を広めているわけじゃない。NewsGuardのレポートによると、こうしたウェブサイトの数は急激に増加していて、2023年5月には49件、2024年6月には840件に達した。

これらのコンテンツファームは、元の情報源にクレジットを与えずにリアルなニュース記事を自動的に書き換えられる。このサイトの主な目的はオンライン広告から利益を得ることで、大手ブランドも知らず知らずのうちにこれらの偽のメディアを支援してしまうことがある。

#検出の課題

合成テキストを検出するのは簡単じゃない。研究者たちが使う偽ニュースを見つける方法の多くは、複雑な統計技術に依存していたり、リアルとフェイクのテキストの大規模データセットが必要だったりする。私たちの研究では、3つの異なるLLMと合成テキストを見つけるための3つの方法、すなわち、対数尤度、DetectGPT、監督分類を検討してる。これらの検出方法は人間の評価者よりも良い結果を出すけど、特定の情報や大量のデータへのアクセスが必要で、現実の状況では実用的じゃないんだ。

それに、実際のコンテンツファームを模倣したプロキシコンテンツファームモデルを作ることも考えているんだ。少しのファインチューニングデータでも効果的な検出ができるけど、どの主なLLMがモデルのファインチューニングに使われたかを知る必要がある。

#イタリアニュースのためのLlamaのファインチューニング

私たちのケーススタディでは、よく知られている強力なLLMであるLlamaモデルを使う。Llamaの70億（7B）と650億（65B）パラメータバージョンに注目している。Llamaは主に英語でトレーニングされたので、少ないイタリア語データセットでファインチューニングした後、どれくらいイタリアニュース記事を生成できるかを見たいんだ。

Llamaをたったの4万件のイタリアのニュース記事でファインチューニングする。これくらいのトレーニングデータがあれば、ネイティブスピーカーがフェイクだと識別するのが難しいテキストを生成できる。例えば、ファインチューニングされたLlama 65Bモデルが生成したフェイク記事をネイティブのイタリア人にチェックさせたところ、64%しか正しく識別できなかった。これは、ランダムな推測の50%よりも良い結果だ。

#合成テキストの人間評価

人々が合成ニューステキストをどれくらい見分けられるかを理解するために、イタリアのネイティブスピーカーにアンケート調査を実施。参加者はペアのテキストを読み、2つ目のテキストが機械によって書かれたかどうかを決める必要があった。それぞれのアンケートには合成とリアルなニュースが混在していて、公平なテストを実施。

結果は、参加者が機械生成テキストを正確に見分けるのに苦労していたことがわかった。特に、Llamaがイタリアニュースデータでファインチューニングされた後は、合成テキストの検出が一層難しくなり、合成記事を見分ける精度が下がった。

#検出方法の技術的詳細

合成ニュースを検出するために、私たちは主に2つのアプローチを試みている：尤度ベースの検出と監督分類。

#尤度ベースの検出

この方法は、特定のモデルによってテキストが生成される可能性はどれくらいかをトークンの尤度スコアに基づいて評価する。私たちは、対数尤度とDetectGPTの2つの技術を使って、リアルと合成テキストの識別性能を測定している。

どちらの方法も人間の検出より高い精度を示すけど、現実の利用には実用的じゃない。特定のトークンの尤度情報が必要で、常に入手可能とは限らないんだ。

#監督検出

監督分類は、人間が書いたテキストと合成テキストのバランスの取れたデータセットが必要。異なるデータセットを混ぜて、よりリアルなトレーニングシナリオを作る。データセットのサイズが大きくなるほど、分類器はより良い性能を発揮するけど、約4,000件のラベル付きサンプルを下回ると性能が大幅に低下することがわかった。

トレーニングでは、RoBERTaやXLM-RoBERTaなど、異なる分類器モデルをテスト。実験の結果、高品質な検出は十分なラベル付き例があることに依存していることが確認された。分類器は十分な良いデータがあればうまく機能するけど、小さいデータセットでは苦労する。

#検出のためのプロキシモデル

有望なアプローチの一つは、プロキシモデルを使うこと。これは、似たようなが小さいデータセットでファインチューニングされたLLM。これらのモデルは、主なコンテンツファームモデルの尤度スコアを近似できるので、元のモデルにアクセスしなくても合成テキストを検出しやすくなる。

私たちの実験では、全データセットのわずか3%でファインチューニングしても、フルファインチューニングデータセットを使用した場合とほぼ同じ性能が得られることが見て取れた。しかし、これは生成器と検出器が同じタイプのモデルのときに一番うまくいく。

#ウォーターマーキングの重要性

ウォーターマーキングは、別の可能性のある解決策かもしれない。LLMの出力に何らかの識別可能なマークを埋め込むことで、今後のユーザーが合成コンテンツをより簡単に認識できるようにできるかもしれない。ただし、これはモデル開発者の協力が必要で、コンテンツファームを作成する人は、検出を避けるためにウォーターマーキングを削除したり変更したりする可能性がある。

さらに、現在公開されている多くのモデルは、強力なウォーターマーキングシステムを欠いていて、悪用されやすい。

#より広い影響

合成ニュースコンテンツファームの増加は、世界的な情報エコシステムにとって緊急の問題を提示している。これらは読者を誤解させて、偽のニュースに時間とリソースを浪費させるかもしれない。さらに、実用的な解決策が不足しているため、学術界と技術産業はより良い検出方法の開発と、オンラインで共有される情報の整合性を向上させることに焦点を当てる必要がある。

#今後の研究方向

私たちの発見は、合成テキストを検出するためのモデルに依存しない方法の開発にもっと研究が必要であることを呼びかけている。今後の研究がこれらのアイデアを他の言語に拡大し、それぞれのユニークな課題を考慮してくれることを期待している。

特に、合成と人間が書いたコンテンツの強力な公共データベースを構築することが研究努力に役立つと信じている。これには、研究者、技術者、規制機関の間の協力が必要で、革新と情報の整合性のバランスをつくることが求められるだろう。

#結論

まとめると、大規模言語モデルがリアルな合成ニュース記事を生成する能力は、検出において重大な課題をもたらしている。私たちの発見は、そのようなコンテンツを生成することが容易であり、実際のニュースとの区別が人間にとってどれほど難しいかを強調している。現在の検出方法は有望だが、日常的な使用には実用的ではない。

今後の開発は、よりアクセスしやすい検出方法に焦点を当て、ニュースコンテンツにセキュリティレイヤーを提供するウォーターマーキング戦略を考慮する必要がある。この研究がデジタル時代における合成ニュースの問題に取り組むためのさらなる探求を促進することを期待している。