WeChatでのBSIを使った指標計算の向上

オンラインで制御された実験、よくA/Bテストと呼ばれるやつは、マイクロソフト、グーグル、メタみたいなテック企業によってデータに基づいた意思決定をするために広く使われてるんだ。この実験は、どの製品のバージョンがより良いかを比較することを含んでいるよ。この実験の中心には、メトリック計算のプロセスがあって、データを分析して意味のある洞察を得るんだ。

実験やメトリックの数が増えるにつれて、これらのメトリックを効率よく計算するのがどんどん難しくなってくる。この記事では、テンセントの一部であるWeChat実験プラットフォームで使われている特定のアプローチについて話すよ。これは、ビットスライスインデックス（BSI）算術という技術を使ってメトリック計算を効果的に行う方法なんだ。

#メトリック計算の課題

WeChat実験プラットフォームでは、たくさんの実験が同時に行われるから、毎日何千ものメトリックが計算されてる。各実験は何百万ものユーザーに影響を与えるから、処理しなきゃいけないデータが膨大なんだ。メトリック計算はリソースを大量に使うから、かなりのネットワークトラフィックとCPU処理能力が必要だよ。

主な目標は、さまざまなメトリックを効率的に計算して、ユーザーのクエリに素早く応じること。データの量が膨大だと、遅延や非効率につながるから、しっかり管理するのが大事なんだ。

#WeChat実験データの特徴

WeChatの実験データは、ユーザーの活動や属性に基づいて分類できる。このデータは、パレートの法則に従うことが多くて、データの小さな部分（約20％）が結果の大部分（約80％）を占めるんだ。この特徴は、BSIを使ったメトリック計算を最適化するのに役立つよ。

このデータに対する一般的なクエリは特定のパターンに従うから、これらのクエリを効果的に処理できる専門的なソリューションが可能なんだ。論文では、BSIが実験データを表現し、計算するのにどう使えるかを詳しく説明してるよ。

#BSIで実験データを表現する

BSIを使う最初のステップは、実験データを正しく表現すること。この中には、露出ログ、メトリックログ、ディメンションログといったさまざまなタイプのログが含まれるよ。

#露出ログ

露出ログは、実験が始まるときにどの戦略が異なるユーザーに提示されたかを記録する。このエントリーには、戦略ID、分析ユニットID、無作為化ユニットID、開始日が含まれてる。このログは、どのユーザーがどの戦略を受け取ったかを追跡するのに役立つよ。

#メトリックログ

メトリックログは、時間の経過とともに各分析ユニットの実際のメトリック値をキャッチするよ。例えば、ユーザーがページにどれくらい滞在したかや、メッセージを何回転送したかのデータが含まれるかも。このログは、露出ログとつながって、戦略がユーザー行動に与える影響を分析する。

#ディメンションログ

ディメンションログには、年齢やクライアントタイプなどのユーザー属性が含まれていて、実験データをより詳しくセグメント化して分析するのに役立つ。このログは、特定のユーザーをフィルタリングして、実験の詳細な分析を行うのに重要なんだ。

#BSIを使った効率的な計算

BSIを使ったメトリック計算は、WeChatで処理される大量のデータを管理するのに役立つ。BSIのアプローチは、データを効率的に表現し、操作することに注力していて、特に以下の特徴に関して効率を最大化するんだ：

1. 圧縮：BSIはデータを圧縮して、サイズを減らし、システムが処理しやすくする。

2. 効率的な操作：通常の操作、例えば結合、フィルタリング、集計がBSIを使うことで素早く行える。これによって、システムはメトリック計算を遅延なく処理できる。

3. ばらつきの処理：BSIは、単純なメトリックの計算に加えて、ばらつきや共分散を推定することもできる。これは統計分析には非常に重要だよ。

#BSI算術を使ったメトリック計算

WeChatのメトリック計算の核心的なロジックは、BSI操作に依存してる。これには、基本的なSQL操作、例えば結合や集計が含まれていて、BSIの表現に対して行われるよ。

#結合、フィルタ、集計操作

• 結合：BSIを使うと、分析ユニットIDに基づいて異なるログを素早く結合できる。
• フィルタ：特定のエントリーは、通常のカラムやBSI条件を使ってフィルタリングできる。
• 集計：合計、平均、その他のメトリックを計算するための関数がBSIフォーマットで効率的に実行される。

これらの機能は、制御された実験で典型的に使用される大規模データセットの処理にBSIを特に強力にしている。

#スコアカード計算

スコアカードは、実験の一般的な結果を示していて、さまざまなメトリックに基づいて異なる戦略がどのように機能したかを表す。WeChatでは、スコアカードは毎日何百万ものユーザーに対して何百ものメトリックを計算できる。

スコアカードの計算はBSIを使って効率化されていて、必要な計算リソースを減らし、分析プロセスを速める。このスコアカード計算に使われる方法はBSI構造に合わせて効果的に機能するように設計されてて、タイムリーで正確な結果を保証してるよ。

#実験前計算

リアルタイム計算に加えて、実験前のデータを使って実際の実験中のメトリックのばらつきを減らす手助けをすることもできる。これは、実験を始める前にデータを分析して、期待される結果の理解を深めることを含むよ。

事前計算の方法は、スコアカード計算と似たロジックに従ってる。露出ログを過去のメトリックデータと結びつけて、実験デザインを改善するための洞察を提供するんだ。

#詳細分析

スコアカードが全体の結果をまとめる一方で、実験オーナーはしばしばより詳細な洞察を必要とする。詳細分析では、ユーザーの属性や特定の時間帯に基づいてデータを探索することができる。

この分析は必要に応じて実施され、同様の計算プロセスを踏むけど、特定のユーザーグループや時間枠に焦点を当ててフィルタリングを含む。これによって、上位の要約からはわからないトレンドや洞察が明らかになるんだ。

#メトリック計算のシステムアーキテクチャ

WeChatでのメトリック計算のために設計されたアーキテクチャは、実験データを効率的に処理するための洗練されたセットアップなんだ。このアーキテクチャには以下のコンポーネントが含まれる：

1. データ処理：最初のログをBSI表現に変換して、それを分散データシステムに保存する。

2. ルーチン計算：スパークジョブを提出してスコアカードや他のルーチンタスクをBSIフォーマットを使って計算する。これによって戦略-メトリックペアの大規模なバッチ処理が効率的に行える。

3. アドホッククエリ：定期的に実行されない特定の分析には、Clickhouseを使う。このデータベースシステムはクエリを迅速に処理するよう最適化されていて、実験オーナーが必要な洞察を遅延なく得られるようにしてる。

#パフォーマンス評価

BSIアプローチのパフォーマンスは、表現の効率、計算コスト、アドホッククエリの応答時間など、さまざまなシナリオで評価されてきたよ。

#BSI表現の効率

研究によると、BSI表現はストレージの必要量を大幅に削減しながら、必要な操作を圧縮データの上で直接行う能力を維持できるんだ。これによって、リソースが少なくても多くのタスクを処理できるシステムが実現するよ。

#計算コストの評価

BSIと従来のフォーマットを使ったパフォーマンステストでは、BSI計算がより早く、効率的だってことが示された。例えば、BSIを使った場合、特定のタスクに必要なCPU時間が以前の方法と比べて大幅に短縮されたよ。

#アドホッククエリのレイテンシ

アドホッククエリのレイテンシもBSIアプローチで改善された。大規模データセットに対して複雑なクエリを実行すると、BSIの方法が従来の方法よりも遥かに速く、必要なときにリアルタイムで分析できるようになったんだ。

#結論

WeChatのメトリック計算システムにBSIアプローチを実装することで、重要な改善が見られた。大量のデータを効率的に処理できるようになったことで、実験オーナーが結果を分析し、情報に基づいた意思決定をしやすくなった。

このシステムによってWeChatはプラットフォーム上のユーザー体験を向上させ続けていて、データ駆動型ツールが大規模な組織の意思決定プロセスをどのように変革できるかを示してる。日常業務にBSIを統合することで、大規模なデータを扱う上での革新の重要性を示しているんだ。

要するに、メトリック計算の進展は、運営効率に寄与するだけでなく、ユーザーの相互作用をより深く理解できるようにし、継続的な改善の基盤を築くことにもつながるんだ。