AIエージェントの評価: 信頼性と安全性を確保する

二人のエージェントが意思決定で意見が合わないと、どちらの正しさにも疑問が生まれる。この考え方は、バイナリ分類タスクを行ったエージェントを評価するために使われる。テストの中での合意点と不一致を調べることで、彼らの応答に論理的に合った集団評価を決定できる。これは、バイナリレスポンダーの評価が従うべきルールのセットを作成することで実現される。各レスポンダーグループには、それぞれの完全なルールセットがある。

このルールは、ラベルなしデータのみを使用していても、グループの少なくとも一人が正しく機能していないことを示す論理アラームを作成するのに使われる。この方法は、正式なソフトウェア検証と比較され、AIシステムの安全性向上に役立つかどうかが検討されている。最近、AIシステムを正式に検証してより信頼できるものにすることに関心が高まっている。これまでの提案の多くは、AIエージェントをより安全にするためのトレーニングや認証に焦点を当てていた。この議論では、明示的な指導なしにエージェントが行った評価の正式な検証を見ていく。

#エージェントの評価

あるタスクを割り当てられたエージェントのグループがいるとしよう。タスクの複雑さに関わらず、他のエージェントが評価や監視のために呼ばれることがある。この方法は、大規模な言語モデル（LLM）の安全性と信頼性を高めるために人気が出ている。非常に優れたモデルを調和させるための手法として、弱から強への監督が提案されている。LLMがLLMコードジェネレーターにフィードバックを提供することで、エラーを減らすのに役立つ。対立するAI同士の議論は、スキルの低い人間や専門知識のない人間が質問により正確に答えるのを助けることができる。

しかし、これらのアプローチは監督の無限ループに陥る可能性があり、監督者が他の監督者を監視することになったり、彼ら自身が信頼できない場合もある。この問題はAIだけの懸念ではなく、知識や経済学の古典的な問題、特にプリンシパル-エージェントの監視問題に関連している。プリンシパルは、人間やロボットのエージェントにタスクを割り当てるが、彼らを密接に監視する手段や時間がない人のことだ。問題は、プリンシパルがエージェントがタスクを正しく安全に実行しているかをどう確保できるかということだ。

#評価の形式化

ここで提案する方法は、無視された評価をより信頼できるものにし、安全なAI操作を確保するためのこの課題を克服するのを助ける。ソフトウェアシステムの正式な検証はよく知られており、複雑な工学構造物の安全性に役立つ応用がある。ここでの焦点は、エージェントのパフォーマンスを評価するための解答キーがない評価の形式化にある。

エージェントがテストを受けるシナリオでは、彼らの評価が健全であることを証明することはできない。しかし、テスト中の彼らの応答と論理的に一致していることは証明可能だ。ソフトウェアの正式検証に使用されるフレームワークには一般的に三つの主要な要素がある：ワールドモデル、安全仕様、検証者。これらの要素は、正しさに基づいてテストでの分類器の合意や不一致を表す完全な数学的関数のセットと共に議論される。

#評価モデル

バイナリレスポンステストのためのさまざまな評価モデルがある。ここで議論されるモデルは、エージェントのグループが特定の項目や質問に応答する際に観察される意思決定パターンに関連している。単一の分類器を含むトリビアルアンサンブルのモデルと、分類器のペアに関するモデルを探求する。

#単一分類器の評価

単一の分類器については、すべての可能な評価のセットが、その分類器によって提供された応答によって定義される特定の空間に対応する。テストがどのように答えられたかがわかれば、単一の分類器公理を適用して、観察された応答に一致する狭い評価のセットを定義できる。このセット内には、各ラベルの正しい応答数の未知の真の値が含まれている。

公理は、分類器のパフォーマンスに基づいて評価の幾何学的表現を作成するのを助ける。それは、分類器の応答がこの空間の特定の領域内にあるときに正しく機能していることを示し、その領域の外に出ると誤っていると指定する。

#ペア分類器の評価

二つのバイナリ分類器を見ると、それらの応答を評価するための四つの可能な意思決定パターンがある。各パターンのカウントは、テストに対する彼らの個別および協力的な正しさに関連して説明できる。この新しい評価セットを二つの分類器について分析していると、それは単一の分類器のルールと、ペア分類に特化した追加のルールを含んでいることに気付く。

これは、分類器のペアを観察することで、彼らの統計的パフォーマンス間に新しい関係が生まれることを示唆している。各分類器は、依然として一度に一つのエージェントを扱う元の単一分類器公理に従っている。

#論理アラームの作成

前のセクションからの公理は、グループ評価の検証者として機能する。観察された応答から、これらの基準を満たす評価について尋ねることができる。公理と一致しない評価を返すアルゴリズムは自信を持って却下できる。

このグループ評価がテスト応答データと論理的に合致していることを示す能力が、ミスマッチした分類器のための論理アラームの基盤を形成する。期待される安全仕様は、すべての分類器が各ラベルで50%以上のスコアを得る必要があるということだ。基本的に、アラームは、グループ内のすべての分類器が単一の分類器公理に従っていることを確認することによって機能する。

正確な正しい応答を知らなくても、論理的に評価を行うことができる。この公理は応答間の依存関係を定義し、どの評価が安全ガイドラインを破っているかを確かめることができる。

#安全仕様に対するテスト

完全に無監視の状況では、評価の実際の値は不明だが、特定の範囲内に収まる必要がある。グループが仮定されたすべての値で安全仕様を違反しているかどうかを調べることができる。仮定された全ての値で失敗が生じる場合、1つ以上の分類器がミスマッチしていることを示す。

各仮定された値ごとに、分類器のペアを比較し、各ラベルのための異なる空間での評価結果を決定する。これらの空間の交差点は、各ペアに対する可能なグループ評価を反映する。このプロセスは、安全基準を満たす評価と満たさない評価を視覚化するのに役立つ。

#コンテキストの重要性

エージェント間の不一致がアラームを引き起こすべきかどうかの基準を設定することは、適用のコンテキストにおいて重要だ。分類器を評価する方法は、その使用に関する完全なコンテキストを提供できない。したがって、テストのサイズと不一致の閾値を特定のシナリオに基づいて決定する必要がある。

これまでに議論した安全仕様は例として機能し、状況に応じてより困難または緩和するように変更可能だ。

#偽造入力の検出

評価モデルから導き出された代数的関係は、偽造されたテストサマリーを特定するのにも役立つ。これらの関係を違反する場合は問題を示唆する。これは評価プロセスの完全性を監視するのに役立つ。

ここでの回答収集方法は、健全でない評価をチェックすることを可能にする。期待される結果と一致しないパターンが検出された場合、それは評価フレームワーク内で操作が行われたことを示すかもしれない。

#制限事項とさらなる考慮事項

この方法は多くの潜在的な利点を提供するが、限界もある。それから導出された測定値を完全に解釈することはできない。それを行うには、必要なコンテキストを提供するワールドモデルが必要だ。ここで議論されているアプローチは、主にバイナリ応答を評価するものであり、それらの統計の未来または過去の値を予測することを意図していない。

温度計や煙探知器は、問題を診断することなく安全システムで動作している。したがって、無音エージェントのための評価を行うロジックも、より広範な安全フレームワークの一部として機能する。

#結論

どんな測定方法のユーザーも、依存しすぎないように慎重であることが重要だ。AIの安全性に関する議論には悪用の可能性がある。形式化に過度に依存することで、すべてが順調に動いていると誤解される恐れがある。論理アラームはミスマッチを検出できるが、すべてのコンポーネントが機能的に健全であることを保証することはできない。

この方法論は、困難なタスクを実行する複数のエージェントを使用する明確な利点を示している。エージェント間の不一致は自己評価を可能にし、彼らの決定を使って信頼性を評価できる。強力なエージェントが存在し、弱いエージェントのグループがそのパフォーマンスを監督する場合、この評価方法を使用することができる。

最後に、スーパアラインメントに関する議論は、人間よりも知的なエージェントの監視についての懸念を強調している。そのようなシステムを制御できない場合、それは技術における初めてのことになるだろう。ここで提示された方法は、複雑なバイナリテストの文脈においても評価できるシステムの作成につながる可能性がある。

重要なポイントは、エンジン用の温度計のようなツールが安全性を確保するのに役立つことがあるが、すべてのシステムに欠陥がないという単純な考えに依存してはならないということだ。したがって、不確実な環境での評価のための信頼できるフレームワークを作成することは依然として重要だ。