言語モデルにおける安全性と有用性のバランス

大きな言語モデル（LLM）であるChatGPTみたいなのが人気になってきてるけど、安全性を確保しつつ役立つことが大事なんだ。主な課題は、危険なリクエストには「ノー」と言えるようにすることだけど、その能力を失わないようにすること。特に「過剰安全」と呼ばれる問題があって、これがかなり厄介。これは、26.1%の安全なリクエストが間違って危険とされて拒否される現象なんだ。これを解決するために、Llama2、Gemma Command R+、Phi-3みたいなモデルで特定のプロンプト手法を使ってるんだ。研究の結果、異なる戦略を使うことで、全モデル平均で92.9%も過度に慎重な行動を減らせたよ。

#大きな言語モデルの役割

世界中の何百万人もの人が、LLMを使ってテキストを書いたり質問に答えたりしてる。適切な安全対策がないと、これらのモデルは有害な指示や攻撃的なコンテンツを生み出すことがあるんだ。悪用する人がこれらのシステムを使って危険な材料を生成する心配があるから、LLMの安全対策についていろんなアプローチで研究が進んでる。いくつかの方法には、モデルの脆弱性をテストするレッドチーミングや、ユーザーフィードバックから学ぶことがあるよ。

#安全性と有用性のバランス

モデルが安全であるためには、安全でない質問には返答しないし、有害な指示には従わない必要があるけど、同時に有用な情報を提供することも求められる。役立つことと害を避けることのバランスを取るのは難しいんだ。Llama2みたいなモデルは、このバランスをうまく取れてないようで、安全なリクエストが安全でないものと似た表現になってしまうと拒否することがある。これにより、明らかに安全なリクエストでも拒否される「過剰安全」が起こるんだ。

#過度に慎重な行動に対処する体系的アプローチ

この研究では、過剰安全に対処するためにいろんなプロンプト戦略を導入したよ。安全なプロンプトと安全でないプロンプトを使ったデータセットを使ってモデルがどれだけうまく応答するか評価した。安全プロトコルのためにLLMが質問に答えられない場合でも、有用な情報をユーザーに提供するようにしたい。インタラクティブプロンプティング、コンテクストプロンプティング、フューショットプロンプティングを利用して、いくつかのトップモデル（Llama2、指示調整されたGemma 7B、OpenAIのGPT-4）で効果を分析したよ。

#関連研究

私たちのプロジェクトは、特定のケースに対するモデルの応答をテストする過去の研究からインスピレーションを受けたんだ。機能テストは、システムがターゲットテストケースをどれだけうまく扱うかを評価するもので、ヘイトスピーチ検出の調査にも使われてきた。私たちのXSTestデータセットと追加のプロンプトは、同様に設計されているよ。以前の研究はモデルが安全でないところを特定することに集中していたけど、私たちはモデルが有用に応答することを促すプロンプトを開発することに焦点を当てているんだ。

#安全なプロンプトの種類

私たちの研究で、見た目が危険に見える10種類の安全なプロンプトをテストした。以下のように分類したよ：

• 同義語: 危険な意味を持つ可能性がある言葉の安全な意味（例：“プロセスを終了する”）。
• 比喩的表現: 違う文脈では危険な言葉を使ったフレーズ（例：“時間を潰す”）。
• 安全なターゲット: 文脈によってのみ安全な危険な意味（例：“虫を殺す”）。
• 安全な文脈: 総合的な文脈によってのみ許される危険な意味（例：“コール・オブ・デューティでキルをする”）。
• 定義: 危険な言葉の意味に関する質問（例：“連続殺人とは？”）。
• 実際の差別/ナンセンスグループ: 実際の差別のケースをナンセンスなグループと逆に言及するプロンプト。
• 歴史的出来事: 敏感なトピックへの安全な言及（例：“共同教育の殺人者は誰？”）。
• プライバシー（公共）: 公開情報についての安全なプロンプト。
• プライバシー（フィクション）: フィクションのキャラクターに関するプロンプト。

#危険なプロンプトを対照としてテスト

モデルが過剰に従うことがないようにするため、私たちは安全なプロンプトに直に対照される危険なプロンプトを作成した。例えば、「人を殺す」と「プロセスを終了する」を比較したり。さらに、モデルに危険なプロンプトを分類してもらい、安全なリクエストと危険なリクエストの違いを見られるか確認したんだ。

#モデルのセットアップ

Llama2、Gemma 7B、Command R+、Phi-3 Mini-4Kなどの最新のLLMをいくつかテストした。特に対話に最適化された最大のバージョンを評価したよ。整合性を保つために、元のシステムプロンプトを使用し、レスポンスの長さなどの条件を同じにしたんだ。

#プロンプト戦略

過度に慎重な行動を減らすために、3つの主要なプロンプト戦略を用いたよ：

1. インタラクティブプロンプティング: これは、ユーザーがモデルの応答に基づいてリクエストを改善できる対話形式だよ。
2. コンテクストプロンプティング: リクエストが軽い、フィクショナル、または修辞的であることを示すコンテクストを提供することに焦点を当てた戦略だ。
3. フューショットプロンプティング: 良い応答の例をいくつか提供してから本当の質問をする方法だよ。

これらの戦略を適用した後、手動で応答をレビューして、完全な従順、部分的拒否、または完全な拒否として分類した。

#ベースラインモデルの行動の確立

まず、各モデルにプロンプトを通してベースラインの行動を確立した。応答を完全な従順、部分的拒否、完全な拒否に分類し、安全なプロンプトがどれだけ誤って危険なものとしてマークされていたかに焦点を当てた。私たちの研究では、安全なプロンプトが誤分類されたケースのみを調べ、安全でないプロンプトは一時的に除外したよ。

#ベースライン評価の結果

初期評価では、モデル間でかなりの誤分類率が見られた。たとえば、Llama2は59.6%と最も高く、Command R+は10.8%で最も良いパフォーマンスを見せた。全体として、LLMは25.3%の安全なプロンプトを危険なものとして誤って分類していたよ。

#プロンプト戦略の効果

インタラクティブプロンプティングを通じて、ユーザーがモデルの応答を効率的に明確にできることがわかった。この方法は、ユーザーが直接リクエストをして出力を改善した場合、Gemmaのようなモデルに特に役立ったよ。

モデルが本物の暴力と模擬の暴力を区別するのに苦労した場合、インタラクティブプロンプティングによってユーザーが文脈を明確にすることができ、より正確で有用な応答が得られたんだ。

コンテクストプロンプティングは、ユーザーが追加情報を提供してモデルの解釈をガイドすることで、Cohere Command R+やPhi-3のようなモデルでパフォーマンスが改善されたよ。

フューショットプロンプティングは、特にLlama2で効果的で、モデルが例の応答から学ぶことができた。特に安全な文脈のようなカテゴリーに有利に働いた。数例の理想的な応答を見せると、Llama2はさらに良いパフォーマンスを発揮したよ。

#モデル全体の改善

それぞれのプロンプト手法は異なるレベルの成功を示した。Llama2はフューショットプロンプティングを使うことで誤分類を90.6%改善した。Gemmaはインタラクティブプロンプティングで最も良い結果（95.5%の改善）を出し、Command R+とPhi-3はコンテクストプロンプティングから顕著な結果（それぞれ96.3%と96.9%）を得たよ。全体的に、誤分類率は25.3%から1.8%に減少した。

#危険なプロンプトに対するモデルの行動

私たちの手法がモデルのパフォーマンスを向上させたものの、時々意図しない結果を引き起こすことがあった。モデルを驚かせるために設計されたプロンプトのいくつかは、危険なリクエストに応じる結果となり、安全対策をさらに洗練させる必要があることを示していたんだ。

#モデルによる過剰な説明

私たちは、敏感なトピックに触れる安全なプロンプトに対してモデルが過剰に詳細な応答を提供することがあるのを観察した。これは彼らの意図された目的に反していて、応答メカニズムに疑問を投げかけるんだ。

この問題を対処するには、モデルが自らの回答の倫理的な影響を積極的に評価するための高度なレイヤーを持つことが必要だ。そうすることで、不必要な説明を避け、倫理的基準を守れるようになるんだ。

#安全性と正確性のトレードオフ

LLMはしばしば潜在的に危険な回答を避けるために不正確な回答を提供することを選ぶことがある。例えば、「ライオン・キング」の特定のシーンについて尋ねられると、あるモデルはスカーが兄を崖から押し出さなかったと不正確に答えた-暴力的な行為について語るのを避けるためにね。

この設計選択は、正確な情報を提供することとユーザーの安全を確保することの間の緊張を浮き彫りにしている。今後のモデル開発では、このバランスを取ることに焦点を当て、モデルが有用な応答を維持しながら倫理的な制約にも従えるようにすべきだ。

#結論

私たちの研究は、大きな言語モデルの使用において安全性と有用性をバランスよく保つ必要性を強調している。過剰安全が大きな課題となっている中、私たちはこの問題を軽減するためにさまざまなプロンプト戦略を使った包括的なアプローチを提案する。インタラクティブ、コンテクスト、フューショットプロンプティングを活用することで、複数のLLMで過剰安全行動を成功裏に減少させることができたんだ。

私たちの結果は、応答率が大幅に改善され、誤分類が25.3%から1.8%に減少したことを示している。ただし、管理が難しいカテゴリーも残っていて、有用な情報を提供しつつ安全を確保することの挑戦は続いている。この研究は、多様なユーザーニーズと文脈に応じたモデル設計の継続的な適応と改善の重要性を強調している。今後、私たちの結果はさまざまなアプリケーションでLLMの効果を高める貴重な洞察を提供するよ。