有害な指示に対する大規模言語モデルの安全性を評価する

大規模言語モデル（LLM）は、自然言語での指示に従う重要なツールになってる。カスタマーサービスとか、いろんなアプリで広く使われてるんだ。でも、これらのモデルが指示に従うのが上手くなるにつれて、リスクについての懸念も増えてる。一つの大きな問題は、攻撃者がモデルの入力に有害な指示を注入できる可能性で、これが元の指示を変えて、意図しない行動やコンテンツに繋がること。

LLMが現実の使用に安全であることを確保するためには、良い指示と悪い指示をどれだけ上手く区別できるかを評価することが重要なんだ。この記事では、有害な指示が秘密裏にプロンプトに追加されたとき、LLMがどれだけ頑健かを評価する新しいベンチマークを紹介するよ。目標は、有害な指示がモデルにどれだけ影響するかを測定して、LLMがそれらと元のユーザー指示をどれだけうまく区別できるかを見ること。

#これが大事な理由

LLMがいろんなアプリで使われるようになってきたから、安全性を確保することが重要なんだ。例えば、多くのチャットボットやバーチャルアシスタントは、情報提供や質問回答のためにこれらのモデルに依存してる。もしモデルが有害な指示を正確に検出できなかったら、機密情報を漏らしたり、ユーザーに害を及ぼす他の行動をとるリスクがある。

LLMの頑健性をテストするために、最新のモデルで実験をして、注目すべき弱点を見つけたよ。この発見は、LLMが単に与えられたことを繰り返すのではなく、指示をより良く理解できるようにするためのさらなる研究の必要性を浮き彫りにしてる。

#何をしたか

私たちは、LLMを有害な指示に対して体系的に評価するベンチマークを作成することに焦点をあてた。調べた状況は、商業用の会話エージェントが直面するものに似ていて、インターネットから取得した情報に基づいてユーザーの質問に答える必要がある。これにより、攻撃者がオンラインで見つかったコンテンツに有害な指示を注入する機会が生まれるんだ。

ベンチマークを作成するために、2つの質問応答データセットを使って、LLMが回答を生成するために使うテキストに有害な指示を追加した。直接的に有害な行動に繋がる指示ではなく、2種類の無害な有害指示を見たよ：

1. 元の質問と関連しないランダムな指示。
2. 同じ情報を使って答えられるが、ユーザーの元の質問とは異なる関連質問。

このアプローチで、LLMが文脈を理解し、元のユーザー指示と追加された有害指示を区別できる能力を評価することができる。

#評価フレームワーク

評価は2つの重要な領域に焦点を当ててる：

1. パフォーマンスへの影響：これは、LLMの回答が有害な指示によってどれだけ影響されるかを測る。
2. 指示の識別：これは、LLMが有害な指示に惑わされずに元のユーザー指示に従うかをチェックする。

質問応答タスクをテストベッドとして選び、特に提供された文脈から回答が選ばれる抽出型質問応答を見た。この状況は、LLMがオンラインソースから取得した情報に基づいて質問に答える実世界の状況を反映してる。

#私たちの発見

評価では、さまざまな最先端のLLMを分析した。大規模な商業モデルと小さなオープンソースモデルの両方を含めて。

#頑健性の違い

モデルが有害な指示を扱う能力には大きな違いがあることがわかった。ChatGPTやClaudeのようなモデルは、他のモデルに比べてより良い頑健性を示した。一方で、いくつかの指示調整された小型モデルは、元の指示と注入された有害な指示の区別に苦労して、頑健性がかなり低かった。これは、これらの小型モデルの訓練方法の効果に関して重要な懸念を示してる。

#小さなモデルの脆弱性

指示調整されたモデルは、期待していたほどの性能を発揮しなかった。まあまあな全体の精度を達成していたけど、有害な指示に非常に敏感だった。彼らの結果は、しばしば主なユーザーの指示を認識できず、代わりに注入された指示により従うことが多かった。このことは、現在の指示調整方法の効果に疑問を呈し、モデルが指示に従うのと同時にユーザーの真の意図を理解できるようにするための改善が必要なことを強調してる。

#文脈に関連する指示の課題

モデルが異なる種類の有害な指示を扱う能力を比較したとき、文脈に関連する有害な指示を認識するのが、プロンプトと無関係なランダムな指示を扱うよりもずっと難しいことがわかった。これは、モデルが文脈を理解せずに過度に依存している可能性を示唆していて、それによって巧妙な指示設計によって利用される可能性がある。

#注入の位置

有害な指示が文脈内のどこに配置されているかもテストした。テキストの最後に有害な指示を注入するのが、モデルが検出するのが最も難しいことがわかった。これが示すのは、いくつかのモデルが全体のプロンプトを完全に理解するのに苦労していて、代わりに最も可能性の高い次の単語を予測することで反応していること。

#特定のフレーズの影響

私たちの調査では、「前のプロンプトを無視する」のような特定のフレーズがモデルのパフォーマンスにどう影響するかを見た。このフレーズは、モデルを完全に文脈を無視させることができて、有害な指示に対してより脆弱にする。これが含まれたとき、ChatGPTやClaudeのような頑健なモデルはパフォーマンスが顕著に落ちて、特定の条件下でトリックにかかる可能性があることを示してる。

#人間の評価

自動評価を補うために、さまざまな種類の有害な指示に対してモデルがどれだけ反応しているかを人間で評価した。人間の評価では、ChatGPTやClaudeのようなモデルはユーザーの質問に従ってほぼ正しいトラックを維持しているのに対し、他の指示調整されたモデルは有害な指示に迷わされることが明らかになった。

#結論

要するに、私たちの仕事は、有害な指示注入に対する指示フォローのLLMの頑健さを評価するための新しいベンチマークを紹介した。広範なテストを通じて、多くのモデルに深刻な限界があることがわかり、敵対的なプロンプトに直面したときにパフォーマンスを維持するのに苦労してる。

私たちの実験の発見は、LLMが指示を理解し、反応する方法を改善するためのより強力な安全対策と訓練技術の緊急な必要性を浮き彫りにしている。LLMがカスタマーサービスや情報取得など、高い信頼が必要なアプリに統合されるにつれて、その脆弱性を理解することは、日常の使用において信頼性と安全性を確保するために不可欠なんだ。今後の研究は、LLMが本物の指示と有害な指示を区別できるようにするための強化された方法の開発に焦点を当て、最終的には実世界の設定での全体的なパフォーマンスと信頼性を向上させるべきだ。