XuanYuan 2.0を紹介するよ：中国の金融AIの新時代だ！

近年、言語モデルは急速に進化してきていて、特に大規模なものが目立つんだ。でも、中国語のチャットモデル、特に金融関連での大規模オープンソースモデルはあまりないんだ。そこで、私たちはXuanYuan 2.0を発表するよ。これはBLOOM-176Bモデルを基にした今までで最大の中国語チャットモデルなんだ。また、知識を保ちながらトレーニングするための新しいトレーニング方法「ハイブリッドチューニング」も導入するよ。この方法により、XuanYuan 2.0は中国の金融分野で正確で関連性のある回答を提供できるんだ。

#言語モデルの概要

事前トレーニングされた言語モデルは主に3つのタイプに分けられるよ：

1. エンコーダーモデル：BERTみたいなモデルで、文の文脈を理解することに重点を置いてる。
2. デコーダーモデル：GPTのようなモデルで、テキストを生成するのが得意なんだ。
3. エンコーダー-デコーダーモデル：T5みたいなモデルで、エンコーダーとデコーダーの特徴を組み合わせてる。

GPTシリーズ、特に最新のGPT-4は、テキスト生成のパフォーマンスで大注目を浴びてるよ。ChatGPTは連続性のある関連した回答を作る能力でユーザーを感心させてるんだ。

さらに、OPT、BLOOM、LLaMAのような大規模モデルも公開されてて、いろんなタスクで優れた結果を出してる。

#ドメイン特化モデルの重要性

汎用モデルは人気だけど、特定の分野に特化したモデルが必要なんだ。多くの場合、金融のような分野では特定の用語や言語の使い方があって、それに応じたトレーニングが必要だからね。

いくつかの分野では成功したドメイン特化モデルも誕生してる。例えば、BioBERTやPubMedBERTはヘルスケアやバイオメディカル言語用に設計されてるし、金融ではBloombergGPTが特定の金融タスクのニーズに応えてる。

中国でも金融のための言語モデルが進化してきてるんだけど、FinBERTやMengziは10億未満のパラメータ数で、金融の複雑な言語に対処するのには限界があるんだ。

中国語の金融関連の大量のテキストを処理できるもっと強力なモデルが求められていて、数百億のパラメータを持つオープンソースのチャットモデルは今までなかったんだ。

#XuanYuan 2.0の紹介

このニーズに応えるために、BLOOM-176Bアーキテクチャを基にしたXuanYuan 2.0を紹介するよ。XuanYuan 2.0は、2021年にCLUE分類で1位だった前のモデルXuanYuan 1.0を超えて、特に中国の金融向けに設計された大規模チャットモデルの要件を満たしてるんだ。

XuanYuan 2.0みたいなドメイン特化モデルには、汎用モデルとは異なる独自の課題があるんだ。これらのモデルは特定の言語の使い方や用語を捉える必要があるけど、ドメイン特化データだけでトレーニングすると一般的な言語の知識が失われてしまうんだ。

この問題を解決するために、一般的なデータと金融特有のデータを組み合わせて、従来のトレーニング段階を融合させた新しいトレーニングフレームワーク「ハイブリッドチューニング」を提案するよ。

#ハイブリッドチューニングの仕組み

ハイブリッドチューニングの方法は、事前トレーニングとファインチューニングの段階を一つのプロセスにまとめてるんだ。トレーニングデータをランダム化して、一般データと金融データを混ぜて、指示データも混ぜることで、モデルが一般的かつ特定の金融の文脈から効果的に学べるようにしてる。

集めたデータは、インターネットから有用な情報をクローリングして、クリーンアップしてフィルタリングしたよ。指示はプロンプトを書いたり、構造化されてないデータと構造化された金融データを使って作成したんだ。

トレーニングデータにはいろんなリソースを使ったよ：

• 非構造化データ：金融ニュース記事、市場レポート、アナリストのコメント、SNSの投稿なんかが含まれてる。
• 構造化データ：企業の詳細や統計など、よく整理された情報を扱ってる。

これらのソースは金融のトレンドや戦略に関する貴重な洞察を提供してるんだ。

#モデルのトレーニング

XuanYuan 2.0をトレーニングするために、強力なGPUとDeepSpeedを使って分散トレーニングを行ったよ。パイプライン並列処理という方法で、モデルを複数のGPUに分けて、それぞれがモデルの一部だけを扱うようにしてる。Zero Redundancy Optimizerも利用して、異なるプロセスがデータの一部だけを保存するようにして、効率を上げてるんだ。

XuanYuan 2.0を他の中国語チャットモデルと評価して、一般的な会話や金融関連の会話をカバーする評価データセットを集めたよ。結果は、XuanYuan 2.0が金融の議論に関して強力な知識とスキルを持っていることを示してるんだ。

#結果と今後の取り組み

結論として、XuanYuan 2.0は中国語の大規模金融チャットモデルを作る上での大きな一歩を示してる。このモデルは、金融セクターを特に対象としたオープンソースモデルのギャップを埋めるんだ。ハイブリッドチューニングの方法は、モデルが一般的な知識を保持しつつ、特定の金融言語のニーズに適応するのを助けてくれるよ。

今後さらに中国の金融分野からもっとデータを集めて、モデルを強化していくつもりなんだ。進化し続けることで、中国語の金融情報を理解・処理するためのさらに良いツールを提供することを目指してる。

データ量や金融の複雑さが増す中、XuanYuan 2.0みたいな強力なツールは、この情報を効果的にナビゲート・分析するために必要不可欠になるんだ。このモデルは、研究者、ビジネス、個人が急速に変化する金融の世界でインフォームドな意思決定をするのをサポートするよ。

最後に、XuanYuan 2.0の創造は、中国の金融セクター向けのAI言語ツールの発展において重要な進展を意味してる。アプローチを洗練させて、データをさらに集め続けることで、金融における高度な会話型AIの可能性はさらに広がって、ユーザーにとってワクワクする機会が開けるんだ。