シスル：新しい検索方法

シスルは、テキストから得られた知識を表現するための高度な技術を使って検索を助けるためにデザインされたデータベースの一種だよ。シスルの目標は、従来のキーワード検索から離れて、文のより複雑な数値表現を使うことなんだ。このアプローチは、単にキーワードを一致させるのではなく、言葉の背後にある意味に焦点を当てることで、検索クエリが関連する結果を返す方法を改善することを目指しているんだ。

#知識の表現

自然言語処理（NLP）の世界では、知識の表現は機械がテキストから情報をどのように保持し、使用するかを指すよ。知識の表現には、明示的なものと暗黙的なものの2つの主要なタイプがあるんだ。

• 明示的な知識: これは、人間が理解しやすい形で知識を表現する方法。ルールやテーブルのような形式を使うんだ。SQLデータベースやWikiDataのような知識ベースがこのカテゴリーに入るよ。

• 暗黙的な知識: この方法は、特に機械学習システムにとって、機械にとってはより直接的なんだ。言葉を数値に変換するけど、人間が読みやすい形式には焦点を当てない。Word2VecやELMo、BERTのようなモデルが一般的な例で、大量のテキストデータでトレーニングされた後にテキストを数値形式に変換するよ。

現在のほとんどの検索エンジンは明示的な知識に依存している。検索クエリの用語を、それらの用語がどのくらい頻繁に出現するかに基づいてドキュメントに照合するんだ。例えば、「青いアルマジロ」を検索すると、検索エンジンは「アルマジロ」という言葉が「青い」に比べてあまり一般的ではないから、その言葉を含むドキュメントを見つけるだろう。

でも、検索結果を改善するために暗黙的な知識を使うようになってきている。Googleのような企業は、検索の精度を向上させるためにBERTのような高度なモデルを利用し始めた。ElasticSearchやPineconeDBのような他のプラットフォームも、ベクトル表現を使ってクエリを処理するより複雑な方法を模索しているよ。

#シスルの動作

シスルは、SBERTという技術を通じて文を数値ベクトルに変換することで、暗黙的な知識だけで動作するんだ。文は768次元のベクトルに変換されて、それらの文の意味を表現するよ。シスルは、その後、与えられたクエリに基づいてデータベース内で最も類似した文を見つけるためにさまざまな方法を使うんだ。

ユーザーは、これらの類似した文を見つけるためにいくつかのアルゴリズムの中から選ぶことができるよ。シスルには、厳密な最近傍探索法と近似法の両方が含まれていて、スピードを向上させるためのものだ。シスルのアルゴリズムには以下が含まれる：

1. 厳密な最近傍探索: この方法は、クエリ文のベクトルをデータベース内のすべてのベクトルと比較して、最も近い一致を見つけるよ。

2. 近似的最近傍探索: この方法は、すべてのベクトルを比較するのではなく、検索プロセスを早くするテクニックを使うんだ。シスルは2つのアプローチを採用しているよ：

   • 近接グラフ法: この方法は、データをグラフに整理するんだ。ノードがデータポイントを表し、検索はノードから始まり、接続されたノードを探索してクエリに最も近い一致を見つけるんだ。
   • 局所感度ハッシュ（LSH）: この技術は、類似したデータポイントをベクトル表現に基づいてバケツにグループ化するよ。クエリが行われると、そのバケツ内の近くのデータポイントだけをチェックして、検索を早くするんだ。

#BERTの課題

BERTはNLPで高く評価されているモデルで、さまざまなタスクの高い基準を設定しているけど、1つの問題は、BERTが文全体のスタンドアロンベクトルをすぐに生成しないことなんだ。代わりに、ユーザーは出力の平均を取ったり特定の出力トークンを使ったりすることが多くて、文の類似性を比較するときに不正確さを生むことがあるよ。

この制限を克服するために、SBERTはBERTを改善して、文全体の明確なベクトル表現を作るためのプーリング操作を追加しているんだ。これによって、シスルはBERTだけを使うよりも良いパフォーマンスを発揮できるんだよ。

#シスルの検索アルゴリズム

シスルは、関連する結果を効率よく取得するためにさまざまな検索アルゴリズムを提供しているよ。

#正確なK最近傍

最もシンプルな方法は、各入力ベクトルをデータベース内のすべてのベクトルと比較することだよ。正確だけど、この方法はデータポイントすべてを調べなければならないから遅くなることがあるんだ。

#近接グラフ法

この方法は、データポイントの近さを表す接続を持つグラフを構築するんだ。クエリの最も近い一致を探すとき、アルゴリズムはグラフをナビゲートして、基本ノードから始めて最も近い隣に移動し続けるよ。このアプローチは、処理するデータの量を制限することで検索を早くするのを助けるんだ。

#階層ナビゲーション小世界（HNSW）

近接グラフ法の拡張で、HNSWは複数の層のグラフを構築するよ。各層には前の層からのデータポイントのサブセットしか含まれていないんだ。検索を行うとき、アルゴリズムは最高層から始めて下に降りていくことで、潜在的な一致に早くアクセスできるようにしているよ。

#局所感度ハッシュ（LSH）

LSHは、類似したデータポイントをまとめることによって機能するんだ。クエリが処理されるとき、同じバケツを共有するポイントだけをチェックすることで、検索時間を改善しつつ精度をある程度維持するんだ。

#パフォーマンスと評価

シスルをテストするために、MS MARCOデータセットが使われたよ。これは検索ログからの匿名化された質問を含んでいるんだ。評価プロセスでは、データをシスルに挿入して、データベースがさまざまなクエリにどう反応するかをチェックしたんだ。

パフォーマンスメトリックには、精度と実行時間が含まれていたよ。データセットのサイズが大きくなるにつれて、精度は下がり、実行時間は増加することが観察されたんだ。このトレンドは、大規模データセットを扱うことやスピードと精度を維持することの課題を浮き彫りにしているよ。

小さなデータセットでは、正確な検索方法が最も良い精度を生み出したけど、LSHのような近似方法は、直接比較ではなくグルーピングやハッシュに依存するため、精度が低くなったよ。

#制限と改善の余地

シスルは完全に暗黙的な知識ベースのデータベースとしての可能性を示しているけど、テスト中にいくつかの懸念事項が挙げられたよ：

1. 処理速度: 大きなデータセットの場合、実行時間がかなり高かった。あるテストでは、10,000のデータポイントでHNSWメソッドを使ったが、SBERTの実行にかかる時間のために11時間以上かかってしまったんだ。実用的なシステムにするためには、より早い代替手段を探る必要があるね。

2. 精度の問題: 大きなサイズでは、精度が大幅に低下し、結果は30-40%に及んだ。結果を改善するために、既存の出力を洗練するためにニューラルネットワークを使うのは有益かもしれない。また、SBERTの入力サイズに収まる短いパッセージに集中することで精度が改善されるかもしれないね。

#今後の方向性

シスルは、検索目的で潜在的な知識を使うデータベースの顕著な例として立っているよ。現在のパフォーマンスは、さまざまなRustライブラリを評価できることを示しているけど、実際の導入のためにはさらなる改善が必要だね。

今後の作業には、シスルを確立された明示的知識データベースと比較して、利点や弱点を明らかにすることも含まれるかもしれない。また、キーワードマッチングに依存する従来のデータベースで検索を改善するために暗黙的な知識を利用する可能性もあるよ。

継続的な努力と改善を通じて、シスルは知識を表現し取得するための高度な方法を提供することで、検索技術の分野に意味のある貢献をする可能性があるんだ。