クエリ最適化のための適応コストモデル

データベースの世界では、ユーザーがクエリを実行すると、システムはそれを実行するための最適な方法を見つけなきゃいけないんだ。これには、何千もの選択肢の中からプランを選ぶことが含まれることもある。このプランを選ぶために、オプティマイザが使う手法はコストモデルに大きく依存してる。要するに、さまざまな要因に基づいてクエリがどれくらい時間がかかるかを推定することがゴールで、これによりシステムは最も効率的なプランを選べるんだ。

従来のコストモデルは、特にCPUパワーやディスクスペースがどれだけ必要かという異なる要因を考慮する。これらの値は通常、データベースの仕組みを理解している人が設定するけど、ユーザーの行動やワークロードによって変わることもある。だから、固定された値を使うと必ずしも最高のパフォーマンスにはならないかもしれない。

この課題に対処するために、アダプティブコストモデル（ACM）を提案するよ。このモデルは、クエリがどのように実行されているかを常に監視して、コストパラメータをその場で調整するんだ。そうすることで、CPUやディスクI/Oなどのリソースの使い方を最適化できて、データベースの専門家からの常時の入力がなくても大丈夫。これにより、システムが変化する要求に応じて反応できるようになり、全体的なパフォーマンスが向上するんだ。

#クエリ最適化の基本

データベースがSQLクエリを処理するとき、そのクエリにはいくつかの実行プランが作られることがあって、一番速く動くものを見つけるのが難しい。コストモデルは、各プランがどれくらい時間がかかるかを推定する手段を提供してくれる。このコストモデルの正確性は重要で、オプティマイザがどのプランを選ぶかに直接影響するからね。もしモデルが間違ってたら、オプティマイザは見た目は良さそうなプランを選んでも、実際にはパフォーマンスが悪いものを選んじゃうかもしれない。

一般的なオプティマイザには、特定のプランからどれだけのレコードが出てくるかを見積もること、CPUやディスクリソースがどれだけ使われるかを見積もること、そしてこれらのコストを最小限に抑えるプランを見つけるという三つの主要なタスクがある。でも、従来の手法は特に複雑なクエリや複数のジョインがある場合には苦労することがあって、コストの見積もりがかなり不正確になることもあるんだ。

最近、一部の人たちは過去のクエリ実行から学ぶために機械学習の手法を使い始めた。これらの方法は特定の状況でパフォーマンスを改善できるけど、安定したワークロードが必要だったり、変化するデータやクエリパターンに直面すると完全に再トレーニングが必要になるリスクもあるんだ。

私たちのアプローチの主なアイデアは、CPUとディスクコストに関連するパラメータを動的に調整することで、オプティマイザが最良のプランを見つける能力を向上させることだよ。

#従来のコストモデルの問題点

標準的なコストモデルでは、データベース管理者がコストに関連するパラメータを手動で設定する必要がある。これは難しいことがあって、適切なパラメータを見つけるにはデータベースとそのワークロードについて深く理解している必要がある。さらに、これらのパラメータ設定が時間と共に効果が薄れることもあって、ワークロードが変わるたびにパラメータを見直す必要があるんだ。

代替手法として、特定のキャリブレーションクエリを実行して統計を集め、それを使ってコストパラメータを調整する方法もある。でも、これらのキャリブレーションクエリを実行するのは手間がかかるし、実際のワークロードを正確に反映していないこともある。

私たちのアダプティブコストモデル（ACM）は、クエリ実行統計に基づいて自動的な調整を可能にする機械学習の技術を利用することで解決策を提供する。ACMの主なコンポーネントは二つあって、一つはディスクI/Oに関連するコストパラメータに焦点を当て、もう一つはCPUコストに焦点を当てている。

#ディスク関連のパラメータ

ACMは、データベースバッファキャッシュの状態を考慮してディスクアクセスに関連するコストを計算する。クエリが実行されると、ACMは必要なデータのどれだけがすでにメモリにあって、どれだけがまだディスクから取得する必要があるかをチェックする。データの使用状況についての統計を常に収集することで、ACMはより正確なコストの見積もりを提供できる。

例えば、テーブルが大部分バッファキャッシュに保存されている場合、そのアクセスはディスクから複数回読み込むよりも速いと予測できる。この動的な推定は重要で、オプティマイザのコスト予測の誤差を減らしてくれるんだ。

モデルはヒット比率も使っていて、これはクエリに必要なデータがメモリにどのくらい見つかるかを示す。歴史的なデータに基づいてこのヒット比率を推定することで、ACMはランダムディスクアクセスのコストを動的に調整している。

#CPU関連のパラメータ

ディスクアクセスパターンはデータベースの状態に基づいて変わることがあるけど、CPU関連のパラメータはより一定なんだ。でも、現在のハードウェアのセットアップやデータベースの状態を正確に反映するために調整が必要だ。

クエリを実行した後、ACMはさまざまな操作にかかる時間や各操作で処理されるレコードの数についての統計を集める。これを事前に計算した期待コストと実際の実行時間を比較することで、ACMはCPU操作に関連するコストパラメータを常に洗練していく。

この考えは、計算されたコストが各操作にかかる実際の時間と密接に一致するようにすることだ。この継続的な調整が、オプティマイザが実行プランを選ぶ際の決定を改善するのを助けるんだ。

#実験評価

ACMの効果をテストするために、標準的なクエリとデータセットを含む一般的なベンチマーク「TPC-H」を用いて実験を行った。主な目的は、ACMが推定コストと実際の実行時間の相関を改善できるかどうかを確認することと、全体的なクエリのレイテンシにどんな影響を与えるかを観察することだった。

結果は、ACMを使うことで予測コストと実際の実行時間の相関が大幅に改善されたことを示していて、より正確なモデルになったことを示している。さらに、全体的な実行レイテンシも改善されていて、ACMがオプティマイザにより良いプランを選ばせることを可能にしていることを示唆している。

すべてのクエリがACMの恩恵を受けたわけではないけど、多くのクエリでパフォーマンスが目に見えて向上した。いくつかの遅いクエリは、処理されるレコードの数を見積もる際の誤差によってまだ妨げられていて、ACMがコスト推定を改善してもクエリ最適化のすべての問題を解決するわけではないことを浮き彫りにしている。

#結論

ここで示したアダプティブコストモデルは、データベースオプティマイザのCPUとディスク関連のパラメータを動的に調整するための有用なツールであることが証明された。従来のアプローチとは異なり、ACMは事前トレーニングや定期的なキャリブレーションクエリを必要としないから、実際のアプリケーションに導入しやすいんだ。リアルタイムでワークロードの変化に反応して、より正確なコストの見積もりを提供することで、クエリパフォーマンスを改善することが示されている。

今後の作業では、ACMと基数推定を改善する技術を組み合わせる可能性があり、オプティマイザの能力をさらに強化できる。これまでの発見は、コストパラメータを動的に調整することの重要性を強調していて、これがクエリのレイテンシやデータベースのパフォーマンスに大きな改善をもたらす可能性があることを確認しているんだ。