ギター録音の歪み回復を改善する

エレキギターの録音から不要なエフェクトを取り除くと、音楽の編集や制作が楽になるんだ。歪み回復モデルはギターの音をもっとクリアにするのを手助けして、ミキシングの選択肢を増やすんだ。少し進展はあったけど、前のモデルはシンプルな歪みに焦点を当てていたから、実際の録音にある複雑さを捉えられてないことが多かったんだ。

#歪みの問題

歪みみたいなギターエフェクトは、いろんな音楽スタイルで重要なんだ。曲の雰囲気やキャラクターを形作ることができる。でも、これらのエフェクトは音楽のトランスクリプションを難しくすることもあるんだ。例えば、いろんなギターペダルのエフェクトを使うと、トランスクリプションの精度が下がるって研究もある。だから、エフェクトを取り除いて元の音を回復できれば、音楽分析タスクのパフォーマンスが向上するかもしれないんだ。

#前のアプローチ

過去の研究では、歪み回復を主にソース分離の一種としてアプローチしてきた。歪んだ信号はクリーンな信号とエフェクト信号の混合だと思っていたんだ。これらの方法は、クリーンな音を歪んだ音から分離するためにいろんな技術を使っている。いくつかの方法は良い結果を示しているけど、主に合成エフェクトに焦点を当てていて、実際の音を正確に表現できていないことが多いんだ。リアルなギターエフェクトのさまざまな特徴やプレイスタイルの違いが、このタスクをさらに複雑にしている。

#新しい貢献

この研究は、歪み回復への新しいアプローチを紹介する。二つのステージから成っているんだ。最初のステージでは、音声をメルスペクトログラム形式で処理して、二番目のステージではニューラルボコーダーを使って元のクリーンなギターの音を再現する。既存のアプローチと比べることで、私たちの方法が元の録音からの詳細をより多く保つことができることを示せるんだ。

モデルをテストするために、シミュレーションされたギター音で作成したデータセットと、商業ソフトを使ったリアルな録音からのデータセットの二種類を使用した。両方のデータセットでトレーニングすることで、モデルが制御された環境と実際の設定でどれだけうまく機能するかを見ることができるんだ。

#歪み回復プロセス

最新の技術では、歪んだ音声からの回復は、混合信号をウエット（歪んだ）信号とドライ（クリーン）信号のブレンドとして扱うことが一般的なんだ。でも、歪みを単なるノイズとして見るのではなく、クリーンな信号を複雑に変化させることを理解している。私たちの新しいアプローチは、歪みが音を大きく変えることを認識していて、二段階の回復プロセスを提案している。

最初のステージでは、歪んだ信号からクリーンな信号の近似を回復することを目指している。二番目のステージは、推定されたクリーン信号の細かいディテールを復元して、高品質な結果を得ることに焦点を当てている。

#メルデノイザー：最初のステージ

プロセスを始めるにあたって、ウエットな音声信号をメルスペクトログラムに変換する。メルスペクトrogramの各フレームを、シーケンスを効果的に処理するTransformerベースのモデルに適した埋め込みとして扱う。計算負荷の大きい従来の方法を使うのではなく、アーキテクチャを修正してデノイジングプロセスの効率と効果を高めるんだ。

#ニューラルボコーダー：二番目のステージ

二番目のステージでは、メルスペクトrogramをHiFi-GANというニューラルボコーダーを使ってクリーンな音声波形に戻す。このツールは、メルスペクトrogramから高品質な音を生成するのを手助けして、元の音に合うように波形を段階的に構築するんだ。

#実験設定

実験では、標準レート44.1 kHzでサンプリングした音声信号を使用して、メルスペクトrogramに128ビンを持たせている。私たちのメルデノイザーは、デノイジングプロセスを改善するために設計された複数のブロックで構成されている。私たちはメルデノイザーとニューラルボコーダーの両方をトレーニングし、後者は高品質な出力を確保するために微調整された。

#比較のためのベースラインモデル

モデルの性能を確認するために、Demucs V3、DCUnet、HiFi-GANデノイザーの3つの著名なモデルと比較した。それぞれのモデルは、音声処理に関連するタスク、例えばノイズの除去や音質の改善などで成功を収めているんだ。

Demucs V3はさまざまな音楽ソースを分離するように設計されているし、DCUnetは複雑な音声信号を扱うのが得意なんだ。HiFi-GANデノイザーは録音からさまざまなノイズや歪みを取り除くことに焦点を当てている。私たちは、パラメータが少ないバージョンのモデルもテストして、性能に対する影響を理解しようとした。

#実験で使用したデータセット

実験には、2つの異なるデータセットを使用した。最初は、制御された環境で作成されたペア信号のコレクション。プロのギタリストから収集した、80時間以上のドライとウエット信号が含まれていて、プライバシーと同意が確保されている。

二つ目のデータセットは、ギターソフトを使って生成した合成歪みエフェクトを含む。これによって私たちのモデルのパフォーマンスを、主に合成データに依存していた過去の研究と比較することができた。

#評価メトリック

モデルのパフォーマンスを評価するために、客観的なメトリックと主観的なメトリックの両方を使った。客観的なメトリックには、フレシェ音声距離（FAD）、エラー対信号比（ESR）、スケール不変信号対歪み比（SI-SDR）、その他再構成された音声が元の音にどれだけ近いかを測る指標が含まれている。

主観的な評価では、プロのミュージシャンが音声の品質と歪み除去の効果を評価した。これによって、人間の認識が数値メトリックと大きく異なることを考慮して、知覚された音質をキャッチできるんだ。

#結果と考察

モデルを比較した結果、私たちのアプローチは期待できる結果を示した。FADスコアが最も低くて、出力がターゲットのクリーンな音により近かったってことを示している。私たちのモデルは最高のSI-SDR値も獲得して、元の信号のクリアさを保つ能力を示した。

Demucs V3はESRスコアが最も低かったけど、他のエリアでは私たちのモデルほど良くなかった。DCUnetは効率的な処理を提供したけど、全体的なパフォーマンスでは劣っていた。ベースモデルの結果は、トレーニング可能なパラメータが少ないにもかかわらず、かなりのパフォーマンスを示したんだ。

#トレーニングデータの比較

異なるデータセットでのパフォーマンスを分析した結果、合成データでトレーニングしたモデルはリアルな録音に対して苦しんでいることがわかった。一方、VST由来のデータでトレーニングしたモデルは、さまざまな評価メトリックで明確な改善を示していて、トレーニングデータの質がモデルのパフォーマンスに大きく影響することが確認できた。

#主観的な音質評価

音声の質と歪み除去の程度を評価した際、私たちのモデルはリスナーから高評価を得た。大多数が音質を4ポイント程度に評価していて、出力に対する好意的な認識を示している。同様に、ドライネスレベルに対する評価も、私たちのモデルがギターの自然な音をうまく復元していることを示唆している。

分析後、モデル間での評価結果に大きな違いが見られ、私たちのモデルが他よりも音質の面で優れていることが再確認された。

#モデルアーキテクチャのアブレーションスタディ

モデルのサイズが出力にどう影響するか、ボコーダーの微調整がパフォーマンスにどう影響するかを探るためにアブレーションスタディを行った。大きなモデルは一般的に、特に複雑な音声においてより良い音質を生み出した。ボコーダーを微調整することで特定のアーティファクトは減少したけど、すべてのメトリックでベースモデルを上回ることはできなかった。

#結論

ギタートラックから音声エフェクトを取り除くための二段階の方法を開発して、歪みの回復を改善した。私たちのアプローチは、メルスペクトrogramのクリーニングと高忠実度の音声再構築を組み合わせている。さまざまなプラグインで徹底的に評価した結果、私たちのモデルが先行する方法が苦労した複雑な歪みを取り除くのに効果的であることが示された。

今後の研究では、難しいリアルな録音を使ってモデルをテストしたり、自動音楽トランスクリプションなどの関連タスクに適用することが考えられている。私たちの発見は、高品質なデータを使ったモデルのトレーニングが実用的なアプリケーションでのパフォーマンス向上に大きな利点をもたらすことを強調している。