Kuaiji: 専門的な会計言語モデル

大規模言語モデル（LLM）であるChatGPTやGPT-4は、自然言語処理において強力なスキルを発揮しているけど、会計のような特定の分野では苦労してるんだ。そこで、特別な会計用大規模言語モデル「Kuaiji」を提案するよ。Kuaijiは「Baichuan」という方法でファインチューニングされていて、これは継続的なトレーニングと指導的な改善を含んでいる。会計士とそのクライアントとの実際の会話から作られたデータセットを使って構築されてるから、Kuaijiは迅速で正確なんだ。私たちの研究では、初めて中国の会計データセットを作成し、Kuaijiをこの分野の重要なオープンソースツールとして位置づけ、実際の例を通じてその効果を証明しているよ。

#専門モデルの必要性

LLMは多くの分野で大きな進歩を遂げた。ただし、特定のタスクや分野に取り組む際に課題があるんだ。事実誤認がよく起きたり、専門的な質問に苦労することがある。これは医学、法律、金融など、正確さが重要な分野では特に問題になるんだ。会計士専用に作られたLLMがかなり不足しているのが現状。著名な企業が取り組んでいるけど、ほとんどのモデルはクローズドソースで、専門的な会計ツールへのアクセスが制限されてるんだ。

会計では、人々は情報を使って財務を管理し、意思決定を行う。投資家や経営者は、このデータを基に会社のパフォーマンスを追跡し、その価値を評価している。しかし、会計ルールの変更や不明瞭な記録があると、人々はこの情報が株価にどう関連するか理解しづらくなる。さらに、学校で教わる内容と実際の応用との間にギャップがあり、これを解決する必要があるんだ。

#私たちのアプローチ：Kuaiji

この論文は、Kuaijiという専門の会計用大規模言語モデルをファインチューニングすることで、上記の課題を解決することを目指している。Kuaijiは、継続的な事前トレーニングと監視付きファインチューニングの2つの主要な段階を経る。事前トレーニングでは、Kuaijiは会計に関連する広範なデータセットから学ぶ。ファインチューニングプロセスでは、実際の会計士とクライアントとの会話から約70,000の質問と回答のペアを集めた。モデル構築の3つのステップを通じて、継続的なトレーニングと専門家のフィードバックを受けながら、Kuaijiは素晴らしい結果を出し、GPT-4や人間の専門家とのテストでも他の類似モデルを上回ったんだ。

#貢献

1. 私たちは、中国の会計用に初めてのデータセットを作成し、14の異なる会計分野から15,677の実際のケースを含めた。
2. Kuaijiは、会計タスク専用に設計された中国のオープンソースモデルのリーダーで、貴重な知識源として機能する。
3. Kuaijiを実際の会計の例を通じて検証し、会計専門家によるその利点を示した。

#関連研究

#大規模言語モデル

ChatGPTやGPT-4のような大規模言語モデルの最近の進展は、人工知能研究に大きな影響を与えている。これらのモデルは、自然言語を理解し生成する方法を変え、さまざまな応用の進歩につながっている。いくつかのトレーニング手法は特許がかかっているが、BaichuanやLLaMA、Bloom、Falconなどのオープンソースの代替手段が高度な言語能力をより広く利用できるようにしている。

生成的LLMは、一貫性があり関連性のあるテキストを生成する素晴らしい能力を示している。膨大なデータから学び、ユーザーのプロンプトに応答するスキルを身につけているんだ。

#ファインチューニング

ファインチューニングは、LLMに特定の知識を追加する方法の一つだ。高品質なデータセットでこれらのモデルをトレーニングすることで、特定のトピックにおけるパフォーマンスを向上させることができる。例えば、HuatuoGPTは医療の知識と実世界のデータを組み合わせて、医療タスクでChatGPTよりも優れたパフォーマンスを発揮する。同様に、ChatDoctorやKALAのようなモデルも、機能向上のためにさまざまな専門データソースを使用している。ただし、高品質のデータを得るのは難しいことが多く、これがモデルのパフォーマンスに影響を与える。また、ファインチューニングには大きなコンピュータ資源が必要なことが多いんだ。

#データセットの構築

Kuaijiのトレーニングのために、2つの重要なデータセットを構築した。一つは継続的トレーニング用、もう一つは監視付きファインチューニング用だ。継続的トレーニングデータセットには、学術的な情報源や会計に関連する信頼できる情報を含めて、専門的な基準を確保している。

ファインチューニングデータセットのためには、既存のデータを再編成し、強力なLLMを使ってさまざまな例を生成するのを手伝ってもらった。このデータセットは、会計タスクに焦点を当てた35,784のエントリーで構成されていて、認定公認会計士が設定したガイドラインに従っている。

#継続的事前トレーニングデータセット

会計用のデータセットを構築するには、質の高い資料を集める必要がある。主に会計、監査、税法などに関連する学術的な教科書や論文を見てきた。他にも、財務報告やメディア報道、統計データなど、さまざまな信頼できる情報源からデータを集めて、豊かで関連性のあるデータセットを作ったんだ。

データソースの多様性を追求し、リアルタイムの関連性と質を確保した。厳密なクレンジングプロセスを導入して、データセットの整合性を維持し、エラー修正やプライバシー保護を行った。さまざまな金融分野の専門家から検証を受けている。

集めたデータは、専門的な領域と関連する領域に分かれ、それらを混ぜ合わせることで、トレーニング用データセットの効果を高めるようにした。

#監視付きファインチューニングデータセット

ファインチューニングは、モデルを特定のタスクに適応させるために重要だ。実践的な演習や試験問題を集めて、このデータセットを構築した。利用可能な質問の数に制限があったため、強力なLLMを使用してもっとデータを生成するためのプロンプトを開発した。

最初のデータセットには、信頼できる情報源からのさまざまな演習問題が含まれていた。明確で定義された質問に焦点を当て、質と関連性を確保した。

生成したデータセットを使用して、モデルをさらに洗練させ、専門的な指示を一般的な知識と組み合わせて取り入れていった。バランスの取れたトレーニングを行うことで、モデルの堅牢性を高め、固有の能力を損なわないことを目指した。

#トレーニング戦略

Kuaijiをトレーニングするために、継続的・ファインチューニングフェーズで発生するメモリとパフォーマンスの問題を解決するためにQLoRAを使用した。この方法は、メモリ使用量を効果的に削減し、精度を保ちながら、制約のあるハードウェアでより大きなモデルを扱うことを可能にした。

モデルは確立されたフレームワークに基づいて構築されていて、高品質なデータとパフォーマンス向上のためのさまざまな調整を活用している。学習率や勾配管理、トークンの長さなどの設定を調整して、スムーズなトレーニングを確保した。

#実証分析

#トレーニングの詳細

Kuaijiは、会話タスク用に設計された約130億パラメータを持つ専門的な中国のLLMに基づいている。トレーニングには、いくつかの強力なGPUを使用し、リソースを最大限に活用するための高度な最適化戦略を取り入れている。

トレーニングでは、学習率の最適化や入力長の管理など、さまざまな技術を使って効率を向上させている。Kuaijiの効果を評価するために、さまざまなLLMを使用して比較を行った。

#ケーススタディ

Kuaijiの能力を示すために、他のLLMと比較していくつかのケーススタディを行った。

#ケーススタディ1：会計書類のリンク

損益計算書、貸借対照表、キャッシュフロー計算書が会計でどのようにリンクしているかを調べた。Kuaijiは、これらの文書がどのように相互作用しているかを詳しく説明し、会社の財務状況を評価する際の重要性を強調した。

#ケーススタディ2：新しい減価償却の影響

減価償却の追加が財務諸表にどのように影響するかをテストした。Kuaijiは、3つの財務諸表全体の変化を正確に説明し、会計原則を理解していることを強調した。

#ケーススタディ3：重要な財務諸表

この研究では、会社評価に必要な2つの財務諸表について分析した。Kuaijiは、選択理由に関する貴重な洞察を提供し、複雑な会計概念を論理的に考える能力を示した。

#アプリケーションシナリオ

Kuaijiは、さまざまな会計関連の分野で使われることができる。

1. 財務分析と報告：Kuaijiは財務諸表を分析し、会社のパフォーマンスに関する明確な洞察を提供する。
2. 税務コンサルティング：モデルは税法に関するガイダンスを提供し、企業が規制を遵守しながら戦略を最適化できるようにする。
3. リスク管理：企業はKuaijiを使って財務リスクを特定し、効果的に管理できる。
4. 経営意思決定のサポート：Kuaijiは、情報に基づいた意思決定と戦略的計画のためのデータ分析をサポートする。
5. 監査とコンプライアンス：モデルは、規制や基準への遵守を確認するためのプロセスをレビューするのに役立つ。
6. 教育とトレーニング：Kuaijiは会計の実践を理解するためのリソースとして、学生や教育者を支援する。
7. 市場予測と投資：市場動向を分析して、投資家が情報に基づいた意思決定を行えるようにする。
8. 財務計画とコンサルティング：Kuaijiは、個々の財務ニーズや目標に基づいたアドバイスを提供する。

Kuaijiはまた、マルチターン対話や記憶保持をサポートするように設計されていて、ユーザーとのインタラクションを強化している。

#結論と今後の研究

まとめると、ChatGPTやGPT-4のようなモデルは自然言語処理で多くの成果を上げてきたけれど、会計のような専門分野での応用には課題がある。Kuaijiは、特化したトレーニングと実世界でのパフォーマンスに基づく解決策を提供しているよ。

今後は、人間のインタラクションからのフィードバックを取り入れてさらにモデルを洗練させる予定だ。また、データセットの拡充を図り、会計分野での機能性と応用を広げる努力も行っていくつもりだ。