レガシー・メインフレームシステムのための現代的なソリューション

メインフレームコンピュータは1940年代から存在していて、今でも金融や政府などの重要な業界で使われてるんだ。多くの人はこれらのシステムを古臭いと思ってるけど、動かし続けるのにはかなりの手間がかかって、新しい技術と連携させるためにアップデートが必要な場合も多い。ただ、これらのシステムをアップデートするのは簡単じゃなくて、COBOLみたいな古いプログラミング言語を使ってることが多いんだよね。COBOLはメインフレームアプリケーションでまだ広く使われてるから。

この問題を解決するために、メインフレームシステムとCOBOLコードに特化して動作する特別なツール、つまり大規模言語モデル（LLM）を開発したんだ。このツールは、これらの古いコードベースをもっと効率的に理解して相互作用するのを助けるために作られたよ。さらに、高品質なトレーニングデータを作成する方法も構築して、これらのレガシーシステムでのツールのパフォーマンスを向上させてる。

#メインフレームの近代化の重要性

メインフレームシステムは、多くの大企業にとって重要で、フォーチュン1000に入ってる会社もたくさんあるんだ。これらのシステムは、銀行や政府などの分野で重要なタスクを処理してて、毎日多くのユーザーやアプリケーションを管理してる。1950年代に遡るものの、古いアプリケーションの多くは未だにCOBOLで動いてると推定されていて、現在2200億行以上のCOBOLコードが使われてるんだって。毎年約15億行の新しいコードも追加されてるし、これらのシステムは毎日の商取引で3兆ドルも管理している。

重要性にもかかわらず、問題が増えてきてるのは、COBOL開発者やメインフレームの専門家が引退していく一方で、若い人材はこれらの古いシステムで働くことにあまり興味を示さないから。人材不足は、メインフレームシステムの維持とアップデートをさらに難しくしてて、老朽化したCOBOLシステムと新しい技術を結びつけるためのより良いツールや方法が必要なんだ。

#メインフレームの近代化の課題

LLMのような最新のツールを使ってメインフレームシステムをアップデートするにはいくつかの課題があるよ：

1. COBOLに関する限られた知識：ほとんどのLLMはCOBOLやその他のメインフレーム言語に十分なトレーニングを受けていないし、オンラインにあるCOBOLコードもほとんどないから、こうしたモデルが理解するのが難しいんだ。

2. 良い評価ツールが不足：メインフレームタスクに関してLLMのパフォーマンスを評価するためのソリッドなベンチマークが足りてない。適切な文書や明確な目標がないと、効果を測るのが難しくなる。

3. 単なるコード以上：既存のLLMは主に新しいコードを生成することに焦点を当ててるけど、メインフレームシステムのアップデートにはCOBOLから現代の言語に移行することが多いから、これらのLLMは新しいコードを生成するだけではなく、もっと色々できる必要があるんだ。

これらのポイントは、メインフレーム近代化の特定のニーズにうまく対応できる特別なモデルを作ることの重要性を強調してる。

#メインフレームシステムの主なタスク

LLMがメインフレームの近代化を支援できる方法を理解するために、これらのモデルが手助けできる重要なタスクをいくつか見ていこう：

#メインフレームシステムの理解

メインフレームシステムは複雑で、どう機能するかを理解するのは大きな課題なんだ。マネージャーは、その運用の理由や方法を知る必要がある。でもこれが難しいのは、それらのシステムが巨大で、設計文書がほとんどないし、助けてくれる専門家も不足してるから。LLMは、既存の文書やコードに基づいてシステム機能を明確にするための自動質問応答を提供して、マネージャーをサポートできるんだ。

#レガシーコードの解釈

多くの開発者は、古いプログラミング言語で書かれたコードに苦労してる。往々にして、このレガシーコードには良い文書がないから、その元々の意図を理解するのが難しいんだ。LLMは、コードをより効果的に解釈するのを助けられる。コードが何をしているかを要約して説明することで、知識のギャップを埋めて、これらの複雑なシステムの保守をシンプルにできるんだ。

#システムの維持

メインフレームシステムはビジネスにおいて重要な役割を果たすから、メンテナンスやアップグレードが必要なことが多いんだ。しかし、既存のアーキテクチャやコードについて十分な知識がない場合、開発者はミスをする可能性がある。LLMは、既存のシステムを分析して必要な変更を提案し、整合性を保ちながらバグを減らすことができる。潜在的な問題を実際の問題になる前に予測するのも助けられるんだ。

#移行されたコードの評価

COBOLから現代のプログラミング言語にモジュールを移動する際には、新しいコードが意図通りに機能するか確認することが大事なんだ。手動チェックでも助けになるけど、LLMがこのプロセスをもっと効果的に自動化できる。古いコードと新しいコードを比較して違いを探し、新しいモジュールが必要な基準を満たしてるか確認できるんだ。

#私たちの貢献

多くの既存のLLMがメインフレームシステムに必要な知識を欠いていることに気づいて、これらの課題に特化したLLMを作ったんだ。このモデルは、特定のデータ収集プロセスのおかげで、COBOLコードを理解し要約するタスクでより良いパフォーマンスを発揮できるように設計されてる。

さらに、MainframeBenchというベンチマークを導入して、質問応答や選択式問題、COBOLコードの要約などのタスクにおけるLLMの知識をテストしてる。評価では、私たちの特化型モデルが他の有名なLLMを一貫して上回ったんだ。

#コードLLMに関する関連研究

ここ数年で、複数のコードLLMが大規模データセットを使って作成され、訓練されてきた。これらはコード生成やプログラム修正など、さまざまなプログラミングタスクにおいて大きな進展を示してる。一部のモデルは、コアの構造を変更することなく異なるプログラミング領域に適応できる柔軟性を持ってる。

ただ、一般的なLLMは特定の分野でつまずくことが多くて、専用データセットで訓練された小さなモデルの方がパフォーマンスが良いことがある。これが、金融やヘルスケアなど、いくつかの分野で特化型LLMを開発する原因になってるんだ。主なタスクにおいてより良い結果を提供できるようになったんだ。

残念ながら、メインフレームシステムの分野はAI研究から十分な注意を受けてない。メインフレームに関連するタスクに焦点を当てたモデルはごくわずかで、既存のモデルは文書に重点を置きすぎてコードを軽視している。私たちの目標は、メインフレームとCOBOLシステムに関連するさまざまなタスクで優れた性能を発揮できるオールラウンドなモデルを構築することだ。

#高品質なデータセットの構築

効果的なLLMを訓練するには質の高いデータが不可欠なんだ。COBOLやメインフレーム用の高品質なデータセットを見つけるのは難しいことが分かったから、この問題に対処するためにメインフレーム領域専用のデータ収集パイプラインを開発したんだ。

私たちのデータセットには、GitHub上のCOBOLプロジェクトやオンラインリソースからの関連文書など、さまざまなソースからの情報が含まれてる。データを慎重に選別した結果、高品質なデータセットを作成できたんだ。これは私たちのモデルの訓練の基盤となっているよ。

#モデルの訓練

モデルを構築するために、DeepSeek-Coderという既存の事前訓練済みモデルを使ったんだ。このモデルは広範囲のコーディングプロジェクトで訓練されていて、コードを理解するための特別なアーキテクチャを持ってる。既存の知識を活かしつつ、私たちのメインフレーム特有のデータで拡張したんだ。

訓練は主に2つのステップで行った。一つ目は私たちのデータセットでの事前訓練で、二つ目は自然言語の指示に従う能力を高めるためにモデルを微調整するというもの。これらの二段階アプローチにより、メインフレームシステムに関連するタスクの全体的なパフォーマンスが向上したんだ。

#実験結果

私たちは、さまざまなタスクにおける性能を確認するために、私たちのモデルをいくつかの既存の最先端LLMと比較した。評価結果では、私たちのモデルが選択式問題や質問応答、COBOLコード要約のさまざまなタスクで他のモデルを一貫して上回ったんだ。

選択式問題では、私たちのモデルは他のモデルを超える高い正確性を達成した。質問応答カテゴリーでも、スコアでリードし、関連性の高い正確な回答を提供する能力を示した。最後に、私たちのモデルはCOBOLコードの要約でも優れたパフォーマンスを発揮し、競合よりも簡潔で情報豊富な要約を提供した。

#結論

この記事では、メインフレームシステムとCOBOLコーディング用に設計された特化型LLMを紹介したんだ。高品質なトレーニングデータと集中した評価手法の助けを借りて、このモデルは開発者がレガシーコードとどのようにやり取りし、管理するかを大幅に改善するよ。この高度な機能を通じて、私たちのモデルは、今日の多くのビジネスで重要な役割を果たすメインフレームシステムの維持と近代化に向けた生産性を向上させることができるんだ。