KGrootを使って障害の特定を改善する

オンラインマイクロサービスでの障害ローカリゼーションは、追跡するデータやイベントの種類が多くて難しいことがある。問題はすぐに発生して、アラートが一連で続くことがある。多くのケースでは、経験豊富な作業者が手作業で障害ローカリゼーションを行っているけど、これはいつも信頼できるわけじゃなく、自動化も使っていない。さまざまなモジュールがこの手作業のプロセス中に情報のバリアを作ることもあって、緊急の問題が発生したときに迅速に対応するのが難しい。この非効率性が障害の検出と修正のスピードを遅くすることがある。プロセスを自動化する方法はあるけど、精度や効率が欠けていることが多い。

障害の原因を正確に見つけることは、エンジニアが複数の視点から得た診断結果を信頼するために必要だから、障害イベントの関係性や広がりを特定するためのより良い方法が求められている。そこでKGrootが登場し、イベントの知識やイベント間のつながりを使って根本原因を見つける手助けをする。知識グラフとグラフ畳み込みネットワークを組み合わせることで、KGrootは根本原因分析（RCA）をより効果的にしようとしている。

#効率的な障害ローカリゼーションの重要性

今のオンラインサービスは複雑なシステムに依存していることが多く、マイクロサービス間の相互依存性が運用の安定性を脅かすことがある。例えば、突然のトラフィックスパイクやネットワークの問題は大きな問題を引き起こす可能性がある。サービスの安定性を保つことはユーザーの期待に応えるために重要だ。障害を迅速に診断することで、平均修復時間（MTTR）を短縮できるのが、現代のIT運用では重要なんだ。

ソフトウェアサービスの監視に継続的に取り組んでいるのにもかかわらず、アプリケーションの規模と複雑さのために失敗はまだ起こりうる。監視データにはメトリクス、ログ、トレース、さまざまな活動が含まれていて、徹底した監視が必要。だけど現行の多くの方法は個々のメトリクスやコンポーネントだけを見ていて、マイクロサービスの障害ローカリゼーションのニーズには対応していない。この状況は、複雑で多様なデータを処理して有用な洞察を抽出できるシステムが求められる理由になっている。

#根本原因分析の課題

マイクロサービスアーキテクチャは相互依存のウェブを生む。RCAで何が起こっているのか、どんな障害が発生するのかを理解するのが重要だ。異常が連鎖反応を引き起こすことがあって、異なるサービスで複数の障害につながることもある。障害が発生したとき、RCAシステムが複数のアラートからさまざまな手がかりを集めて、初期原因を特定し、タイムラインや因果関係を追跡するのが必要なんだ。

サイト信頼性工学（SRE）チーム間には知識のギャップがしばしばあり、これがRCAをより難しくする。手動分析は思ったより時間がかかることが多く、これらの問題に取り組むには迅速な対応が必要。だけど、多くの自動化されたRCAアプローチはイベント間の関係やそのつながりを考慮していないため、満足のいくパフォーマンスには至っていない。

研究によると、根本原因の繰り返しカテゴリーが大企業の障害のかなりの割合を占めていることが示されている。これらの障害は外部要因、ハードウェアの問題、または論理的なソフトウェアバグによるものかもしれない。多くの障害は繰り返し発生し、イベント駆動型だから、過去のデータから学んでこれらの障害を効率的に診断することが重要だ。

KGrootは、知識グラフやグラフ畳み込みネットワークを活用して、複雑なマイクロサービスのためのRCAを自動化することで、これらの課題に対処しようとしている。このアプローチは、過去の障害からメトリクスを収集して、さまざまなシナリオを効果的に処理するモデルを構築することに焦点を当てている。

#KGrootの概要

KGrootは、イベント駆動の障害伝播グラフ（FPG）と障害イベント知識グラフ（FEKG）を活用している。オンラインで障害が発生すると、発生したイベントに基づいて動的にFPGが構築され、FEKGは過去の障害から作成される。KGrootは、オンラインFPGを既存の知識グラフとGNNを使って比較することで、可能な障害原因を特定しようとしている。

#KGrootの構成要素

KGrootは4つの主要なモジュールから構成されている：

• データ前処理モジュール：このモジュールは、ログやメトリクスなどの非構造化データを構造化されたイベントに変換する。
• 因果関係発見モジュール：このモジュールは、イベント間の因果関係を特定し、知識グラフやオンライングラフを生成する。
• グラフ類似度計算モジュール：このモジュールは、オンライングラフが各知識グラフにどれだけ似ているかを計算する。
• RCAモジュール：このモジュールは、最も類似した知識グラフを見つけて障害の根本原因を特定する。

各モジュールは、迅速な障害診断を確保する上で重要な役割を果たしている。

#障害伝播グラフの構築

FPGを作成するには、イベントを収集してそれらの関係を分析する必要がある。歴史的なFPGとオンラインFPGの両方がこのプロセスで使われる。障害が発生したとき、オンラインFPGはリアルタイムでイベントの関係をキャッチする。これは、過去のデータから構築された知識グラフと一致させるために重要だ。

その関係は因果的または逐次的なものである。たとえば、イベントAがよくイベントBに繋がる場合、因果関係がある。これらの関係の文脈を理解することは、正確な障害ローカリゼーションのためには非常に重要だ。

#障害イベント知識グラフの構築

FEKGは、さまざまな歴史的事例におけるイベント間の関係を特定するのに必要不可欠だ。各FEKGは、根本原因のタイプや障害伝播パスを含む特定のタイプの障害に対応している。この知識グラフは、過去のイベントからの洞察を統合して、障害シナリオの包括的な視点を提供する。

#アルゴリズムのステップ

KGrootで使用されるアルゴリズムは、FPGが体系的に構築されることを保証する。最初は空のグラフから始まり、イベントが発生するたびに1つずつ追加していく。新しい関係が以前のイベントを考慮しながら評価されて、障害につながるイベントの伝播を正確に描写する一貫したグラフが構築される。

#KGrootの効果

KGrootの効果は、実際のデータセットでテストされて、良好な結果が示された。このモデルは、工業環境でのリアルタイム障害診断のパフォーマンスに匹敵する高精度で障害の根本原因を特定することができた。

#実験と結果

KGrootの効果を検証するために2つの異なるデータセットが使用された。一つは銀行システムからのもので、もう一つはシミュレートされた鉄道チケットシステムに関わるものだった。さまざまなメトリクスが収集され、KGrootは他の既存の方法と比較された。

• 精度テスト：根本原因を見つける精度は複数のメトリクスを通じて測定され、KGrootがベースラインの方法を上回ったことが示された。
• 適合率と再現率：これらのメトリクスも評価され、KGrootはポジティブクラスを特定するのに高い適合率を示した。
• 応答時間：KGrootは数秒以内に障害を診断でき、手動の方法よりもずっと早かった。

#結論

全体として、KGrootは複雑なマイクロサービスの根本原因分析の自動化において重要な進展を示している。過去のデータや障害イベント間の文脈的な関係を活用することで、効率的な診断とダウンタイムの削減を実現している。

#今後の方向性

KGrootはRCAのパフォーマンスを改善したけど、さらなる向上の余地はまだある。今後の作業は、障害伝播の特性を理解し、障害知識グラフを洗練させることに焦点を当てることができる。過去の障害やユーザーの経験からのフィードバックループを確立することで、診断精度の向上やより包括的なIT運用フレームワークの開発が進むかもしれない。

これらの道を探ることで、KGrootは障害予測、自動検査、障害管理などの能力を拡張し、複雑な環境でのシステムの安定性を維持するための重要なツールとなる可能性がある。