解釈可能な強化学習を使って仕事のスケジューリングを改善する

クラスタースケジューリングは、高性能コンピューティング（HPC）において重要なタスクなんだ。これは、コンピュータシステムでどのジョブがどの順番で実行されるかを決めるもの。良いスケジューリングポリシーがあれば、システムはもっと効率よく動くことができる。よく知られている方法は、先着順（FCFS）というもので、ジョブは到着した順に処理される。ただ、これではリソースをうまく活用できないこともある。

リソース利用を改善するために、バックフィリングという別の方法がよく使われてる。バックフィリングでは、短いジョブがキューの前に割り込むことができるけど、前のジョブを遅らせない限りなんだ。

最近、研究者たちは機械学習技術、特に深層強化学習（DRL）という方法をスケジューリングに使い始めてる。このアプローチは、システムとのやり取りに基づいてジョブスケジューリングの最適な戦略を自動で学ぶことができる。DRLは良い結果を示してるけど、解釈性の面で課題がある。つまり、システム管理者がDRLモデルがどのように決定を下しているのか理解するのが難しいんだ。この透明性の欠如が、実際のシステムでDRLを採用するのを妨げることになる。

#機械学習モデルの解釈性の必要性

DRLの中心にある深層ニューラルネットワークは、ブラックボックスのように動く。ユーザーは入力と出力を見ることができるけど、内部の意思決定プロセスを理解するのは難しい。これは、システム管理者がシステムを信頼するために決定がどのように下されるかを理解する必要があるHPCのような環境では大きな問題だ。管理者がモデルがどのように機能するかを解釈できなければ、使うのをためらうかもしれない。

既存の深層学習モデルを解釈するための多くの方法は、モデルの個々の部分を理解することに焦点を当てていて、機械学習の詳細な知識が必要なことが多い。また、これらの技術は通常、画像やテキストのような構造化データのモデルに設計されていて、スケジューリングタスクにはうまく合わない。

だから、DRLスケジューリングでどのように決定が下されるかを示す、シンプルで分かりやすいモデルが求められている。決定木は、決定をわかりやすい形式で提示できるモデルの一種だ。

#スケジューリングのための決定木の導入

決定木は、意思決定プロセスを可視化するのに役立つ。特定の条件に基づいて異なる選択肢を示すため、深層ニューラルネットワークよりも理解しやすい。ただ、DRLを使ったスケジューリングのための効果的な決定木を作るのは難しい。

いくつかのケースでは、研究者たちはDRLポリシーを決定木に変換しようと試みている。このアイデアは、決定木がDRLで使用されるDNNの挙動を模倣することを目指している。このプロセスでは、DNNが教師の役割を果たし、決定木（生徒）が学習できる例を生成するという教師-生徒アプローチを使用する。このアプローチは、スケジューリングタスクのために決定木を直接訓練するよりも良い結果をもたらすことが多い。

#IRLフレームワーク：DRLをより理解しやすくする

DRLスケジューリングの解釈性の問題を解決するために、IRL（Interpretable Reinforcement Learning）というフレームワークを紹介する。IRLの主な目標は、DRLの複雑なDNNポリシーを理解しやすい決定木に変換することだ。

IRLは模倣学習という技術を利用していて、決定木はDRLポリシーの挙動を再現することを学ぶ。DRLエージェントが訓練された後、予測に基づいてデータを生成する。このデータが決定木の訓練セットになり、DRLモデルに似た決定を下すための情報を提供する。

このプロセスで観察される課題の一つは、初期の決定木がDRLポリシーにあまり似ていないことが多いということだ。この問題を解決するために、DAggerという技術を取り入れる。この反復的アプローチは、DRLポリシーからのフィードバックに基づいて決定木を継続的に更新し、木が元のモデルにどれだけ密接に一致するかを改善する。

もう一つの課題は、決定木のサイズが大きくなりすぎることで、迅速な意思決定が難しくなることだ。木のサイズを減らすために、重要な状態という概念を導入する。重要な状態は、スケジューリングパフォーマンスに大きな影響を与える状況として定義される。これらの条件に焦点を当てることで、依然として良い性能を持つコンパクトな決定木を作ることができる。

#IRLの実装

IRLフレームワークは、高性能コンピューティングにおけるDRLスケジューリングのために明確で解釈可能なモデルを提供するように設計されている。このプロセスは、ワークロードデータを通じて深層ニューラルネットワーク（DNN）の訓練から始まる。この訓練されたモデルは、決定木の訓練に使用されるデータを生成する。

対処すべき2つの主要な問題がある。まず、決定木がDNNの挙動を完全に捉えられないこと。次に、木のサイズが大きくなりすぎ、意思決定が遅くなること。これらの問題に対処するために、DAggerを使用して決定木の性能を洗練し、重要な状態の概念を適用してサイズを制御する。

具体的なDRLモデルであるDeep Q-Network（DQN）を使用することで、これらの方法がどのように機能するかを示すことができる。DQNスケジューリングでは、エージェントが推定された報酬に基づいてどのジョブを選択するかの意思決定を学ぶ。DQNは、ジョブの特性やシステムの状態に関する入力を受け取って決定を下す。

#DQNポリシーを決定木に変換するプロセス

DQNポリシーから決定木への変換は、いくつかのステップを含む。まず、DQNエージェントがワークロードデータを通じて実行されて、（状態、Q値）のペアのリストが作成される。このデータセットが決定木の訓練の基礎となる。

このプロセス中に、決定木が必ずしもDQNと同じように選択を行わないことがわかることがある。異なるジョブを選ぶことがあり、その結果パフォーマンスに影響を与える。これに対処するために、DAggerの反復アプローチを実装して決定木を継続的に洗練する。各反復の後に、新しい決定木がさらに多くの（状態、Q値）のペアを生成するために使用され、ポリシーに関する木の理解を強化するループを作る。

重要な状態の概念は、決定木のサイズを減らすのに役立つ。キュー内に多くのジョブがある状態を重要な状態として特定し、これらの状態で行われる決定がパフォーマンスに大きく影響する。これらの状態を訓練に使用することで、決定木を管理可能で効果的なものに保つことができる。

#IRLフレームワークの評価

IRLの効果を評価するために、実際のワークロードデータを使用してシミュレーションを行う。テストでは、IRLといくつかのスケジューリング方法、例えば従来のFCFSやDQNメソッド自体のパフォーマンスを比較する。

あるアプローチでは、IRLがDRLスケジューリングにどのように貢献するかをテストする。また、決定木がDQNポリシーと同じように機能するかも調べる。最後に、木のサイズ削減に対する重要な状態の影響を分析する。

これらの評価からの結果は、IRLがFCFSと比べてスケジューリング効率を大幅に改善することを示している。いくつかのワークロードでは、IRLがジョブの待機時間を最大70％も短縮できることもある。さらに、IRLのスケジューリングパフォーマンスはDQNと同等で、ジョブの待機時間や遅延にわずかな違いがあるだけだ。

#報酬設定の役割

DRLスケジューリングの重要な側面は報酬設定で、これはシステムの性能に影響を与える。IRLフレームワークは、異なる報酬構造がスケジューリングの決定にどのように影響するかを明確にするのに役立つ。

特定のテストでは、ジョブの性能にどのように影響を与えるかを見るために2つの報酬設定を使用する。ジョブの待機時間を最小化することに焦点を当てた報酬構造は、より良いスケジューリング結果をもたらす。IRLによって生成された決定木はこれらの好みを反映していて、適切な報酬設定がスケジューリング効率を大幅に改善できることを示唆している。

決定木を分析することで、DRLエージェントが特定のジョブをどう優先しているかの洞察が得られる。例えば、報酬構造に基づいて、短いジョブや長い待機時間のジョブを優先することがある。

#スケジューリング方法の比較

実験では、IRLのスケジューリング性能を既存の方法と比較し、その利点を明確に示す。例えば、SP2ワークロードを使用すると、IRLはFCFSを大きく上回るパフォーマンスを発揮し、リソース配分の効果を際立たせる。

DQNとの性能分析では、IRLはジョブの待機時間がわずかに増加するだけで、高い効率レベルを維持した。重要な状態の導入は、スケジューリング性能にほとんど影響を与えず、IRLが解釈可能でありながら効果的であり続けることを保証する。

#木のサイズ削減と効率

意思決定において重要なのは、決定木自体のサイズだ。小さな木の方が迅速な決定を可能にし、全体的な効率も向上する。IRLは、伝統的な方法と比較して決定木のサイズを大幅に削減する重要な状態の概念を適用する。

分析によると、IRLは一部の評価で木のサイズを最大34％削減できる。これによる減少は、迅速な意思決定とより機敏なスケジューリングプロセスに寄与し、高性能コンピューティング環境では非常に重要だ。

#実行時オーバーヘッド

スピードに関して、IRLはDQNと比べてはるかに少ないオーバーヘッドをもたらす。IRLの選択はわずか数秒しかかからないが、DQNはかなりの時間がかかる。この効率は、迅速な決定が求められるリアルタイムスケジューリングアプリケーションにおいてIRLが強力な候補となる理由だ。

#結論

IRLフレームワークは、DRLスケジューリングをより解釈しやすく、効果的にするための進展を意味する。複雑なニューラルネットワークポリシーを理解しやすい決定木に変換することで、IRLは高度な機械学習技術とシステム管理者の実際的なニーズのギャップを埋める。

IRLの実装は、高性能コンピューティング環境におけるジョブスケジューリングを向上させつつ、解釈性の懸念に対処することができる。今後の研究では、IRLを他のDRL手法に適用することや、スケジューリングの明確さをさらに向上させるために追加のシンプルなモデルを開発することが探求されるかもしれない。

この作業は、HPCにおける機械学習技術の普及を促進し、より簡単な理解と自動スケジューリングシステムへの信頼を促進する道を開く。