ベトナムの法律質問回答システムの改善

今日の世界では、データの量が急速に増えてるよね。特に法律みたいな分野では、正確な情報が大事だから、適切な文書を見つけたり推薦したりするのがめっちゃ重要。質問応答システム（QA）は、関連情報に基づいてユーザーの質問に答えるために設計されてる。でも、これらのシステムは、特にベトナム語に関しては、いくつかの課題に直面してるんだ。

最近の方法の一つに、Retrieval Augmented Generation（RAG）っていうのがある。RAGは、大規模言語モデル（LLM）を信頼性のあるものにするのを助けてて、モデルが誤った情報や創作情報（いわゆる幻覚）を提供するエラーを減らすのに役立つ。法律の分野では、正確な情報が特に重要だから、これは特に役立つ。

文書の取得を改善するためにいくつかの手法が提案されてる。例えば、密なベクトル埋め込みを使った意味検索が、関連文書を効果的に見つけるために使われてる。でも、これらのアプローチの多くはベトナム語で苦労してるんだ。ベトナム語のテキストの処理が非効率的だと、トークンの長さが長くなってパフォーマンスに影響が出るんだよね。結果を組み合わせるような単純な方法も不安定で、あまり大きな改善には繋がらない。あまり考慮されない重要な点が、文書の取得後の順序の付け方。文書の並べ方は、LLMが提供する回答の正確さに直接影響するんだ。

これらの問題に対処するために、私たちはアプローチに3つの主要な変更を加えた。まず、埋め込みモデルの制限を克服するために、データ処理の方法を改良することにした。次に、キーワード検索とベクトル検索の結果をうまく組み合わせるための手法、相互ランキング融合（Reciprocal Rank Fusion）を改善することにした。最後に、LLMが使用する情報の再順位付けに注力して、回答を求めるユーザーにとってより良い体験を提供することにした。

この新しい再ランキング方法は、以前の方法の代わりになると思ってる。これらの手法を組み合わせることで、ベトナム語の法律情報をより効果的に取得するQAシステムを作れると考えてる。

#文献調査

情報検索の分野では、正確な文書取得を通じてQAシステムを改善するのが主要な研究分野になってる。RAGは、LLMの幻覚問題を減らすのに役立つことで注目を集めてる。この取得手法と生成モデルの組み合わせは、これらのシステムが提供する回答の正確さを向上させることを目指してる。

密なベクトル埋め込みを使った意味検索は、文書取得を強化するための人気の方法だ。この手法では、文書を高次元空間で表現して、従来のキーワード検索よりもより微妙な検索が可能になる。BERTのようなモデルは、テキストの意味をよりよく理解するのに役立ち、関連文書の取得をさらに助ける。

取得性能を向上させるために、複数の取得戦略を使った提案がある。その一つが相互ランキング融合（RRF）で、キーワードベースと意味検索の方法を組み合わせて結果を改善する。だけど、QAシステムの結果をどのように最終的に組み合わせたり順位付けしたりするかにはまだ改善が必要なところがある。

取得した文書の再順位付けも、QAシステムが提供する結果を改善するための重要な領域だ。従来の再順位付け手法は期待が持てるけど、時間がかかったり効率が悪かったりすることもある。だから、検索結果の関連性と質を改善するために、より効果的な手法に焦点を当てる必要があるね。

#データセット構築

プロジェクトの初めに、より良い埋め込みと再順位付けのためにモデルをファインチューニングする計画があった。でも、リソースが限られていてデータが不十分だったため、結果は満足のいくものじゃなかった。だから、情報検索システムの既存のコンポーネントの組み合わせを最適化することに焦点を移したんだ。

データセットを構築するために、法律のウェブサイトから質問と回答のペアを集めた。ユーザーの質問と弁護士が提供した回答を抽出して、必要な情報に焦点を当てるためにデータをきれいにしたよ。不要な言葉や重複情報を取り除いて、関連する法律コンテンツだけを残した。それぞれの質問は特定の関連文書にリンクされて、QAの課題を取得の問題に変えた。

合計で、約1,293,347件の独自の法律記事と2,081件の質問をテストのために集めた。

#データ処理

多くの法律文書は、ほとんどのベトナム語の埋め込みモデルが処理できる256トークンの制限を超えているので、このデータを処理する実用的な方法を考えた。まず、きれいにした文書を256トークン未満のチャンクに分けて、情報を一貫して保つためにセクションベースの分割を優先した。もしそれができなかったら、重複チャンクを使って、いくつかのトークンを次のチャンクに重複させることで、関連情報を保持するようにした。

長い質問には、通常、重要な情報が最後にあるから、最後の256トークンだけを使った。また、長い質問を小さな部分に分けて、関連する回答をより効果的に探せるようにした。

私たちのアプローチは、ユーザーが探している回答をサポートするコンパクトなリファレンスを受け取れるようにして、ユーザー体験を改善しているよ。

#システムアーキテクチャ

私たちの情報検索と質問応答システムのアーキテクチャは、いくつかの重要なコンポーネントで構成されてる。これには、ユーザーの質問を洗練させるための大規模言語モデル（LLM）、処理された文書を保存するためのベクトルデータベース、BM25検索と密なベクトル検索のような手法を組み合わせる取得メカニズムが含まれてる。

LLMは、ユーザーの質問を明確にし、検索パフォーマンスに影響を与える可能性のあるタイプミスやあいまいな表現を修正するのに役立つ。洗練されたクエリが生成されると、それを使って関連文書を取得する。キーワードベースの検索（BM25を使用）とベクトル検索（意味埋め込みを使用）の組み合わせが、私たちのシステムを効果的に機能させる。

文書を取得した後、LLMは見つけた関連情報に基づいて回答を生成し、回答を提供できないときにはそのことを認識するようにしてる。取得した文書の数がLLMが処理できる数を超える場合は、アクティブリトリーバルという手法を使って、低ランクの文書を検索して回答を見つけるチャンスを最大化してる。

#LLMを活用した回答生成と再順位付け

関連文書を取得した後、LLMに渡してユーザーの質問に答えるために必要な正しい情報を抽出する。LLMは情報の関連性も評価して、生成した回答に基づいて取得した文書を再順位付けするのを手伝う。

もしLLMが回答を見つけられなかったら、元の文書を検索するバックアップシステムがあって、ユーザーに正確な応答を届けるようにしてる。このプロセスは、クエリに対してすべての潜在的文書が尽きるまで繰り返される。

#パフォーマンス評価

私たちのシステムを評価するために、異なる条件やデータセットの下でさまざまなコンポーネントの結果を比較した。元のデータと処理されたデータの両方を集めて、修正や強化が全体のパフォーマンスにどのように影響するかを分析した。

結果は、しっかり準備されたデータを提供することで取得メトリクスが大きく改善されることを示唆してる。含まれるコンポーネントの複雑さが増すにつれてパフォーマンスが向上するのを確認した。従来のBM25のような手法にも利点はあるけど、変換モデルのようなより高度なアプローチは、クエリを理解する際の文脈と意味をよりよく提供する。

キーワード検索と意味検索の両方を組み合わせることで、システムがそれぞれの手法の強みを活かし、より高い効率と正確な結果を得られるようになる。全体的に、LLM再ランクを中心に構成された私たちのシステムは、高いパフォーマンスを達成して、現代の手法を情報検索システムに統合する有効性を示してる。

#結論

ベトナムの質問応答システムのためのRetrieval-Augmented Generationシステムの強化に提案された修正は、既存の多くの制限に対処する可能性を示してる。カスタマイズされたデータ処理、効果的な結果融合手法、アクティブな再順位付け戦略に焦点を当てることで、これらのシステムが法律情報を取得するパフォーマンスを大幅に向上させることができる。

私たちの作業の結果は、高度な手法を包括的なQAシステムに統合することで、ベトナム語の法律情報を取得するためのより信頼性が高く堅牢なツールを提供できることを示してる。技術や手法の進歩が続く中、法律情報検索システムの未来は明るく、ユーザーに正確で関連性のある回答を提供することができる可能性があるよ。