InternLM-Lawの紹介: 法律関連の質問に特化したモデル

大規模言語モデルは色々なことができるけど、法律の質問には苦労するんだよね。法律は複雑で特別な知識が必要だから。この文章では、InternLM-Lawというモデルを紹介するよ。これは中国の法律に関連するいろんな法律質問を手助けするために作られたモデルで、基本的な法律の質問から複雑な現実の法律問題までカバーしてるんだ。

#データセットの構築

このモデルを作るために、100万以上の法律に関する質問を集めたデータセットを作ったよ。幅広いトピックをカバーしてて、高品質なデータが含まれてる。このモデルのトレーニングには新しい2段階の方法を使った。最初に法律と一般的なコンテンツを両方用いてモデルを広い知識でトレーニングし、その後、高品質な法律データに焦点を当てて、より良い応答を出せるようにしたんだ。

InternLM-Lawは、多くの法律タスクでGPT-4などの先行モデルよりもパフォーマンスが良かったよ。今後、InternLM-Lawと私たちのデータセットを共有する予定で、他の人たちが法律でモデルをどう使えるか研究する手助けをしたいと思ってる。

#大規模言語モデルの重要性

大規模言語モデルは自然言語処理の重要な研究分野になってきていて、様々な分野で応用できる能力が注目されてるんだ。医療やコーディング、数学の分野でもこれらのモデルを使おうとする研究者がいるよ。特定の問題に対して手助けができて、自然な言語で応答してくれる。法律の分野では、以前の研究では特定のタスクに特化したモデルを作ってたけど、これらはしばしば限られた法律アドバイスしか提供せず、効果的でない古いモデルに依存してた。

中国の法律分野に特化した大きなモデルがまだ強く求められているので、InternLM-Lawがそのニーズに応えようとしているんだ。

#モデルの性能

私たちのモデル、InternLM-Law-7Bは、法律タスクの評価で高いスコアを得たよ。GPT-4や他の大規模一般モデルよりも良い結果を出した。さまざまな公開法律データセットを使って、包括的なトレーニングデータセットを作った。質問と回答のペアや他の情報も含まれている。

法律タスクで効果的にするために、単に法律データを使うだけでは不十分だと気づいた。モデルに広いスキルを法律問題に適用できるよう、一般データも追加した。重要な法律規則を学ぶのを助け、応答スタイルを改善するために2段階のトレーニング方法も取り入れたよ。

#私たちの貢献

私たちの作業の主な貢献は次の通り：

• InternLM-Lawを構築したこと。これは中国の法律分野に特化した大規模言語モデルで、さまざまな法律タスクを扱えるし、LawBench評価で新しい高基準を設定した。
• モデルの作成とトレーニングにたくさんの時間をかけた。データセットは100万以上のサンプルがあって、その品質を保証するために効果的な手法を使った。
• 法律と一般タスクの両方で最初にトレーニングし、その後高品質な法律データに焦点を当てる2段階のトレーニングパイプラインを使用した。

#法律AIに関する関連研究

法律人工知能は自然言語処理の分野で長い間話題になっている。以前の研究の多くは特定のタスクのための専門ツールを作ることに焦点を当てていて、法律システムを複雑にしてしまっている。法律タスクを幅広く扱える大規模言語モデルを作るために努力している研究者もいるよ。

すでに存在するモデルの中には、法律分野に特化しようとしたものもある。例えば、SaulLM-7Bは法律文書理解のために設計されているし、Lawyer-LLaMAのようなモデルは法律データセットに特化したトレーニングを通じて相談能力を向上させてきた。しかし、これらの多くのモデルは様々なタスクにおいてあまり効果を上げられず、InternLM-Lawのアプローチがユニークなんだ。

#InternLM-Lawのトレーニングプロセス

InternLM2-Chatをベースにしてモデルを作った。トレーニングは2段階に分かれていて、最初に法律タスクと一般的なタスクの組み合わせでトレーニングした。この段階でモデルは法律トピックの幅広い視野を得た。次に、法律知識、応答構造、質問に答える正確さを向上させるために、集中した法律トレーニングでモデルを洗練させたよ。

トレーニングは8時間の強力なハードウェアを使って行い、長い法律テキストを処理できるように長めの入力長を設定した。学習率も注意深く設定し、各段階を徹底的にトレーニングしたんだ。

#トレーニングデータのソース

私たちのデータセットは法律データと一般データの2つの部分から成ってる。法律データは法律教育材料、相談記録、最新の法律規則など、広範な法律知識をカバーすることを目指してる。法律データは様々なコンペや公開法律データベースから集めたよ。

法律相談データを集めるために、オンラインソースから数百万件の記録を集めた。これらの記録には、多くの現実的な法律問題が含まれていて、個人が法律実務家から助けを求めるものだった。プライバシーを確保するために、すべての機密情報は匿名化したよ。

一般データには、ごく普通の会話や数学の問題、コード生成などの広範なテーマが含まれていて、品質と有用性を維持するように処理した。

#法律データの処理

法律データの品質を改善するために詳細な計画を立てた。オンライン法律相談はしばしば短くて詳細でない応答が含まれていたから、これらの応答を拡張し改善するための半自動の方法を作った。データ分布が不均衡になっていることも観察され、法律や規則などの重要な分野に焦点を当てることで、法律データセットの品質を向上させたよ。

#法律NLPデータのトレーニング

法律タスクを扱う際には、既存の法律ベンチマークを使用してさまざまなタイプに分類した。次に、各タスクに対して多様で関連性のある指示を生成して、うまく構成された法律データセットを作った。

#法律相談データの処理

法律相談データセットには、さまざまな法律シナリオが含まれてた。多くのケースには、データの品質に悪影響を与える不要な情報が含まれていることに気づいた。信頼性を確保するために、フィルタリング手法を用いてデータセットを洗練し、あまりにも簡潔または不明瞭な応答を廃棄し、品質を維持した。

#法律規則の処理

法律規則については、生のテキストデータを質問と回答のペアに変換してトレーニングした。法律や規則のタイトルを質問に変換することで、モデルが関連する法律知識を効果的に保持できるようにしたよ。

#高品質な法律データの処理

モデルの法律知識をより正確にするために、GPT-4を使用して高品質なQ&Aデータセットの生成を半自動化した。生成されたコンテンツの正確性を確認し、手動で調整した。

#データの合成と再サンプリング

人間が書いた応答はスタイルや詳細が異なる可能性があるから、GPT-4を使って追加のデータを作り、人間のフィードバックで洗練させた。重要な法律コンテンツをサンプリングし、頻繁に発生する法律問題に焦点を当てて、モデルの応答の明確性と正確さを向上させたよ。

#私たちのモデルの比較

InternLM-Lawを他の先進モデル、一般的なものや法律特化のものと比較した。評価の結果、私たちのモデルが特に法律タスクにおいてLawBenchベンチマークで優れたパフォーマンスを発揮し、他のモデルを上回ったことがわかった。

#客観的および主観的評価

ベンチマーク評価に加えて、私たちのモデルが実際の法律相談を反映した主観的な法律質問でどのようにパフォーマンスを発揮したかを評価した。法律相談タスクでGPT-4に対して印象的な勝率を達成したよ。

#長いコンテキストの評価

長い法律文書を扱うことはよくある必要があるので、モデルが長い法律判決に基づいて質問を理解し答える能力をテストした。他のモデルはこのタイプのタスクに苦労していたけど、InternLM-Lawは長いテキストを効果的に処理し、関連する質問に成功裏に答えた。

#トレーニング戦略の効果

トレーニング中に一般データセットを使用することで法律タスクや一般タスクに与える影響を探求したんだ。私たちの発見では、一般データを含めることでモデルの一般的な能力が維持されるだけでなく、法律スキルも向上することがわかったよ。

#結論

InternLM-Lawは中国の法律分野において重要な進展で、既存のモデルを上回り、今後の法律AIアプリケーションのための堅牢なフレームワークを提供している。成功しながらも、モデルは時折の不正確さなどの課題に直面していて、複雑な法律推論タスクの取り扱いをさらに改善する必要があることを強調しているんだ。