チケットBERTの紹介：インシデント管理の新時代

インシデントをチケットシステムで管理するのは、ビジネスがスムーズに運営されるためにめっちゃ大事だよね。主な仕事は、これらのチケットに特定のカテゴリを付けて、迅速に解決できるようにすることなんだけど、チケットデータの複雑さがその妨げになってる。チケットは機械や人間のエンジニアによって生成されるから、記述や更新がバラバラなんだよね。さらに、チケットは新しい情報を反映するためにすぐに修正されることが多くて、ソフトウェアやハードウェアの急速な進化に伴って新しいタグが必要になったりする。

この問題を解決するために、Ticket-BERTっていう新しい言語モデルが登場したよ。このモデルは、特別に作られたデータセットを使って、インシデント管理チケットに適切にラベルを付けるように設計されてる。Ticket-BERTのパフォーマンスは、Azure Cognitive Servicesを使ったテストで、既存のモデルや分類器を超えてるって証明されてるんだ。

#チケットラベリングの重要性

正確なチケットラベリングは、効果的なインシデント管理にとって超重要だよ。問題の優先順位を付けたり、適切な解決チームに振り分けたり、すぐに修正できるようにしてくれる。インシデントチケットには、タイトル、説明、構造化されたフィールド（例：日付、重大度）みたいな重要な情報が含まれてるんだけど、チケットの内容や言葉遣いが多様だからラベリングが難しいんだよね。

チケットはエラーを追跡するシステムによって自動生成されたり、エンジニアによって手動で入力されたりするから、言語にバリエーションが出ちゃう。さらに、チケットが新しい情報に基づいて更新されると、たくさんの更新の中から正しいラベルを見つけるのが難しくなる。だから、特定のドメインに特化したチケットラベリングシステムが必要なんだ。

#チケット分類の課題

チケットの分類は、割り当てや優先順位付けといったタスクにおいて機械学習の注目の的になってるんだけど、現在の方法はチケット内容のばらつきに対処しきれてない。ほとんどのモデルは、きれいにされた説明だけを基にチケットを分析するから、チケットが作成されたり更新されたりするタイミングや方法を考慮してないんだよね。

既存のアプローチは、特定の分野に特化した小さいデータセットに依存してるから、実際の状況では効果的じゃない。そこで、新しいデータセットが作られて、幅広いチケットの更新と特定のインシデントに基づく様々なカテゴリを含むようになった。このデータセットには、人間生成のチケット記述と機械生成のが混ざってるんだ。

#チケットデータセットの作成

チケットラベリングを改善するために、D-Human、D-Machine、D-Mixtureの3つのデータセットが作成されたよ。D-Humanデータセットは人間が入力したチケットに焦点を当ててて、D-Machineは機械生成のチケットを含んでる。D-Mixtureデータセットはこの2つのソースを組み合わせたもの。目的はTicket-BERTモデルのために包括的なトレーニング環境を提供することなんだ。

データセット作成のために、2020年6月から2022年6月の間に76,000件の生のチケットがデータベースから集められた。データセットには、タイトル、説明、要約などの関連フィールドが含まれてる。不要な要素を取り除くデータクリーニングプロセスも適用されて、明確さが保たれたよ。

各チケットはいくつかの変更を経て、重要な更新がデータセットに含まれてる。トレーニングのために最初の数回の更新が選ばれて、モデルがチケットの生成直後にラベルを付けられるようにしてる。

#チケットラベリングフレームワーク

Ticket-BERTフレームワークは、これらのキュレーションされたデータセットに基づいて構築されてて、高性能なラベリングタスクを達成するために高度な機械学習技術を使用してる。モデルは、文脈豊かなテキストを理解するのに優れたBERTベースモデルを使ってファインチューニングされてるよ。

ラベリングプロセスを強化するために、チケットのタイトルや要約といった補助データがプロンプトとして含まれてる。モデルはこの補助情報をチケットの説明と結びつけるように訓練されてて、ラベリングの精度が大幅に向上してる。

#アクティブラーニングアプローチ

新しいチケットが常に入ってくるから、アクティブラーニングアプローチが取り入れられてる。この方法は、新しい未ラベルのチケットを収集する継続的なサイクルを伴うんだ。Ticket-BERTモデルがこれらのチケットを評価して、ラベリングに人間の入力が必要なものを特定するんだ。

予測の不確実性を利用して、モデルは自分が最も自信がないインスタンスに質問する。これらのチケットが人間の専門家によってラベル付けされると、再びモデルにフィードバックされて、さらなるファインチューニングに使われる。このサイクルによって、システムは新しいデータに適応して、時間とともに改善していくんだ。

#Ticket-BERTの評価

Ticket-BERTのパフォーマンスを評価するために、ロジスティック回帰やナイーブベイズなど様々なベースラインモデルと比較する実験が数多く行われてきたよ。モデルはデータセットに対して最先端の結果を達成してて、従来の方法を上回る能力を示してる。

モデルは全体で優れたパフォーマンスを発揮してるけど、複雑な人間生成の説明には苦労してる。これに対処するために、プロンプトプレフィックス法がパフォーマンスを向上させて、全てのデータセットでより良い結果を出してる。

モデルの難しいラベル付けチケットを処理する能力もテストされて、高い精度率を達成してる。リアルワールドのデータでファインチューニングが続くにつれて、インシデント管理の場面での効果が増していくんだ。

#結論

Ticket-BERTはインシデントチケット管理の分野で大きな進歩を示してる。チケットの説明のばらつきや急速な更新のペースといった、この分野が直面している独特の課題に対処するために開発されたんだ。

高度な言語モデルと慎重にキュレーションされたデータセットを活用することで、Ticket-BERTは効率的なチケットラベリングを実現してる。これによって、インシデントの迅速な解決を助けるだけでなく、問題があるときには適切なチームが通知されることを確実にして、全体的な業務効率を向上させるんだ。

将来の改善は、モデルの適用範囲をさらに広げたり、アクティブラーニングサイクルをさらに洗練させることに焦点を当てる予定だよ。技術が進化し続ける中で、Ticket-BERTはインシデント管理システムの重要な要素になる可能性があるんだ。