Simple Science

最先端の科学をわかりやすく解説

# コンピューターサイエンス# 計算と言語# 人工知能

LLMの幻覚検出の強化

新しい方法が言語モデルの不正確さを検出するのを改善する。

Satoshi Munakata, Taku Fukui, Takao Mohri

― 1 分で読む


新しい方法がLLMの精度を新しい方法がLLMの精度を向上させるて。言語モデルの不正確さの検出が改善されたっ
目次

大規模言語モデル(LLM)は、時々間違った情報を生成しちゃって、それがユーザーにとって有害なんだ。この問題は「ハルシネーション」と呼ばれてる。これらの不正確さを検出するのはめっちゃ大事で、LLMは日常生活やビジネスの多くのタスクに使われてるからね。

現在の検出方法

今の方法は大きく分けて3つのカテゴリがある:

  1. 外部の事実を取得:この方法は、LLMの出力を信頼できるソースの事実と照らし合わせる。
  2. LLMの内部状態を分析:これは、モデルがテキストを生成する仕組みを見て、不一致を見つけることを含む。
  3. ゼロリソース検出:このアプローチは、外部データを必要とせず、LLMの入力と出力だけに依存する。

この論文では、追加情報なしでどのLLMにも適用できる3つ目のタイプに注目してる。このカテゴリの注目すべき方法はSelfCheckGPT-Prompt(SCGP)で、LLMの出力を同じテキストの異なるバージョンと照らし合わせてチェックする。でも、ストーリーが変わるとSCGPは苦戦するから、テキストを比較するのが難しくなるんだ。

提案された方法

私たちは、複数の穴埋めテスト形式を使ってハルシネーションを検出する新しい方法を提案する。この方法は、ストーリーの変更の問題を次のステップで解決する:

  1. 元のテキストに基づいて、重要なオブジェクトをマスクして穴埋めテストを作成する。
  2. LLMにこのテストを何度も答えさせる。
  3. 各文のハルシネーションの可能性を判断するために答えを採点する。

テストの回答でストーリーを一貫させることで、私たちの方法はハルシネーション検出の精度を向上させる。

主な貢献

  1. 新しい検出方法:ストーリーの変化に対応することで精度を向上させる検出技術を紹介する。
  2. 精度の向上:私たちの方法は、既存の方法と比べてハルシネーションの検出でより優れたパフォーマンスを示してる、特に複雑なテキストにおいて。

実験結果

私たちは、LLMによって生成されたテキストのデータセットを使ってこの方法を評価した。結果は、私たちの方法がSCGPと組み合わせると、すべてのメトリックで最も良いパフォーマンスを発揮したことを示した。

結論

私たちの研究は、LLMの不正確さを検出する重要性を強調している。特に、さまざまな分野に統合され続けている中でね。提案された検出アプローチは、ハルシネーションを特定するより正確な方法を提供し、これらのモデルからの出力をより信頼できるものにする。今後の研究では、多様なデータセットや異なるLLMの使用を探求して、私たちの方法の効果を様々なコンテキストで検証するべきだね。

オリジナルソース

タイトル: A Multiple-Fill-in-the-Blank Exam Approach for Enhancing Zero-Resource Hallucination Detection in Large Language Models

概要: Large language models (LLMs) often fabricate a hallucinatory text. Several methods have been developed to detect such text by semantically comparing it with the multiple versions probabilistically regenerated. However, a significant issue is that if the storyline of each regenerated text changes, the generated texts become incomparable, which worsen detection accuracy. In this paper, we propose a hallucination detection method that incorporates a multiple-fill-in-the-blank exam approach to address this storyline-changing issue. First, our method creates a multiple-fill-in-the-blank exam by masking multiple objects from the original text. Second, prompts an LLM to repeatedly answer this exam. This approach ensures that the storylines of the exam answers align with the original ones. Finally, quantifies the degree of hallucination for each original sentence by scoring the exam answers, considering the potential for \emph{hallucination snowballing} within the original text itself. Experimental results show that our method alone not only outperforms existing methods, but also achieves clearer state-of-the-art performance in the ensembles with existing methods.

著者: Satoshi Munakata, Taku Fukui, Takao Mohri

最終更新: 2024-09-20 00:00:00

言語: English

ソースURL: https://arxiv.org/abs/2409.17173

ソースPDF: https://arxiv.org/pdf/2409.17173

ライセンス: https://creativecommons.org/licenses/by-nc-sa/4.0/

変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。

オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。

類似の記事