リトリーバル拡張生成システムの評価

RAGAsはRetrieval Augmented Generation Assessmentの略で、Retrieval Augmented Generation（RAG）システムの効果を人間の参照なしで評価するためのツールだよ。RAGシステムは、データベースから情報を探すリトリーバル部分と、その情報を使って応答を生成する言語モデル（LM）を組み合わせてる。この組み合わせにより、言語モデルは実データを使ってより正確な回答を提供できるようになり、ハルシネーションと呼ばれるエラーを減らせるんだ。

RAGシステムの評価は簡単じゃない。リトリーバル部分が関連情報をどれだけうまく選べるか、言語モデルがその情報をどう使うか、そして提供される回答の全体的な質など、考慮すべき多くの要素がある。RAGAsはこれらの異なる側面を評価するための一連の指標を提供していて、評価プロセスを加速させる。特に大型言語モデルが人気になってるから、これが重要なんだ。

#言語モデルの課題

言語モデル（LM）は世界についてたくさんの情報を集めてて、外部の情報源なしで質問に答えることができるんだ。この概念はBERTのようなモデルでしっかり確立されて、さらに大きなモデルで進展があった。これらのモデルはさまざまな質問に対してうまく機能するけど、2つの大きな制限がある。一つ目は、最後のトレーニング以降に起こった出来事について質問に答えられないこと。二つ目は、トレーニングデータにあまり頻繁に出てこない情報を覚えるのが難しいこと。

この問題を解決するためにRAGシステムが作られた。これらのシステムはデータベースから関連情報を取得し、その情報をもとに言語モデルが回答を生成する。以前の方法では、リトリーバルと生成を組み合わせるために特別なモデルが使われていたけど、最近の研究では、取得したドキュメントを標準モデルに追加するだけでも良い結果が得られることが示唆されてる。つまり、RAG戦略はAPIを通じてアクセスできるどんな言語モデルでも機能するってことだね。

#自動評価の重要性

リトリーバル戦略の有用性は明らかだけど、全体の成功は多くの要因に依存するから、慎重な調整が必要なんだ。これにはリトリーバルモデル、使用するデータベース、言語モデル、質問のフレーミングの仕方が含まれる。だから、リトリーバル拡張システムの評価を自動化することが重要なんだよ。

従来、RAGシステムは言語モデリングタスクに基づいて評価されていて、一般的には参照データセットでパープレキシティを測定することで行われてきた。しかし、この種の評価は、実際のアプリケーションでシステムがどれだけうまく機能するかを予測するものではないし、ChatGPTやGPT-4のような一部のクローズドモデルでは利用できない言語モデルからの確率に依存している。もう一つの典型的な評価は質問への回答だけど、短い回答だけがテストされることが多く、実際の使用を反映しないことがある。

これらの課題に対処するために、RAGAsはRAGシステムを自動的に評価する方法を提供してる。参照回答が利用できない場合や、正しさの異なる指標を推定できる状況、取得した情報がどれだけ役立つかを評価することに焦点を当ててる。RAGAsはRAGソリューションを構築するための人気のフレームワークと統合されていて、開発者がこの評価方法を採用しやすくしてるんだ。

#信頼性、回答の関連性、コンテキストの関連性の評価

RAGAsでは、評価にとって重要な品質の主な側面が3つある：信頼性、回答の関連性、コンテキストの関連性。

#信頼性

信頼性っていうのは、回答が提供されたコンテキストに基づいているべきってこと。これによりハルシネーションが発生しないようにする。事実の正確性が重要なアプリケーション、例えば法律関連では、信頼性が必要不可欠なんだ。信頼性を評価するために、RAGAsは長い回答を小さなステートメントに分解して、これらのステートメントがコンテキストでサポートできるかをチェックする。このプロセスは、回答がどれだけ基づいているかを判断するのに役立つよ。

#回答の関連性

回答の関連性は、回答がどれだけ質問に対処しているかを指す。評価では事実の正確性は考慮されず、不完全な回答や不要な詳細が含まれている回答にはペナルティが課せられるんだ。回答の関連性を推定するために、RAGAsは回答に基づいて潜在的な質問を生成し、これらの質問が元の質問とどれだけ一致しているかをチェックする。

#コンテキストの関連性

コンテキストの関連性は、取得した情報がどれだけ焦点を当てているかを調べる。目的は、コンテキストに過剰または無関係な情報が含まれないようにすること。これを評価するために、RAGAsは提供されたコンテキストから質問に答えるために必要な文を抽出する。この方法で、冗長な情報が含まれていることにペナルティを与えるんだ。

#WikiEvalデータセットの作成

RAGAsフレームワークをテストするために、WikiEvalというデータセットが開発された。この新しいデータセットには、人間の評価を持つ質問-コンテキスト-回答の組み合わせの例が含まれてる。2022年初頭以降の出来事をカバーする50のWikipediaページが選ばれた。これらのページから質問が作成され、その後、記事のイントロダクションセクションを使用して回答が生成された。

質問は与えられたコンテキストに基づいて回答可能なものに設計されていて、リンクなしで非トリビアルな情報を提供することを目指している。人間のアノテーターは生成された回答を信頼性、回答の関連性、コンテキストの関連性に基づいて評価し、判断の一致度は高かったよ。

#人間評価者との一致の測定

WikiEvalデータセットを使って、RAGAsの効果を人間の評価と比較することができる。この比較では、RAGAsの予測が信頼性、回答の関連性、コンテキストの関連性に関して人間の判断とどれだけ一致しているかを見ている。

結果の文脈を提供するために、RAGAsの予測は2つのベースライン手法と比較された。一つの手法は、3つの品質次元に対して0から10のスコアを付けること。もう一つの手法は、言語モデルに好ましい回答やコンテキストを選ばせることだった。結果は、RAGAsの予測が人間の評価、特に信頼性と回答の関連性に密接に一致していることを示した。

#結論

RAGシステムの自動評価方法の必要性が強調されている。良い評価フレームワークは、信頼性（回答が取得されたコンテキストに基づいているか）、回答の関連性（回答が質問に合致しているか）、コンテキストの関連性（取得された情報の焦点）が評価されるべきだ。WikiEvalデータセットは、このフレームワークの開発をサポートしていて、3つの分野での人間の評価を提供している。RAGAsの実装は、開発者がRAGシステムに関する洞察を得るための簡単なアプローチを提供していて、真の真実が利用できない場合でも役立つんだ。RAGAsは、実際のアプリケーションでのリトリーバル拡張生成システムの評価を向上させるための貴重なツールだね。