Migliorare il recupero della distorsione nelle registrazioni di chitarra

Rimuovere gli effetti indesiderati dalle registrazioni di chitarra elettrica rende più facile modificare e produrre musica. I modelli di recupero della Distorsione aiutano a rendere i suoni delle chitarre più chiari e offrono più opzioni per il mixing. Anche se si sono fatti alcuni progressi, molti modelli precedenti si sono concentrati su distorsioni semplici, che potrebbero non catturare le complessità reali delle registrazioni.

#Problema con la Distorsione

Gli effetti della chitarra, come la distorsione, sono fondamentali in molti stili musicali. Possono plasmare l'atmosfera e il carattere di una canzone. Tuttavia, questi effetti rendono anche compiti come la trascrizione musicale più difficili, poiché complicano i suoni. Per esempio, studi hanno dimostrato che usare diversi effetti di pedali per chitarra può ridurre l'accuratezza della trascrizione. Questo dimostra che recuperare il suono originale rimuovendo gli effetti potrebbe migliorare le prestazioni nei compiti di analisi musicale.

#Approcci Precedenti

La ricerca precedente ha trattato il recupero della distorsione principalmente come un tipo di separazione delle sorgenti, assumendo che il segnale distorto sia un mix del segnale pulito e quello degli effetti. Questi metodi hanno usato varie tecniche per separare il suono pulito da quello distorto. Anche se alcuni di questi metodi mostrano potenzialità, si concentrano principalmente su effetti sintetici, che potrebbero non rappresentare accuratamente i suoni reali. Le varie caratteristiche dei veri effetti di chitarra e dei diversi stili di esecuzione rendono questo compito ancora più complesso.

#Nuove Contributi

Questo lavoro introduce un nuovo approccio al recupero della distorsione, che consiste in due fasi. La prima fase elabora l'audio in formato Mel-spettrogramma e la seconda fase utilizza un vocoder neurale per ricreare il suono originale della chitarra pulita. Confrontando il nostro metodo con quelli esistenti, possiamo dimostrare che il nostro metodo preserva più dettagli dalle registrazioni originali.

Per testare i nostri modelli, abbiamo utilizzato due tipi di dataset: uno creato con suoni di chitarra simulati e l'altro da registrazioni reali usando software commerciali. Allenarsi su entrambi i dataset ci aiuta a vedere quanto bene i modelli performano in ambienti controllati e nella vita reale.

#Il Processo di Recupero della Distorsione

Le tecniche all'avanguardia per recuperare l'audio dalle distorsioni generalmente assumono che il segnale misto possa essere rappresentato come una miscela dei segnali bagnati (distorti) e asciutti (puliti). Tuttavia, invece di vedere semplicemente la distorsione come rumore, capiamo che essa cambia il segnale pulito in modi complessi. Il nostro nuovo approccio riconosce che la distorsione altera drasticamente il suono e propone un processo di recupero in due fasi.

Nella prima fase, miriamo a recuperare un'approssimazione del segnale pulito da quello distorto. La seconda fase si concentra sul ripristino dei dettagli più fini al segnale pulito stimato per ottenere risultati di alta qualità.

#Mel Denoiser: La Prima Fase

Per iniziare il processo, convertiamo il segnale audio bagnato in uno spettrogramma Mel. Trattiamo ogni frame dello spettrogramma Mel come un embedding, adatto per modelli basati su Transformer che elaborano sequenze in modo efficace. Invece di usare metodi convenzionali che possono essere pesanti a livello computazionale, modifichiamo l'architettura per migliorare l'efficienza e l'efficacia del processo di denoising.

#Neural Vocoder: La Seconda Fase

Nella seconda fase, trasformiamo lo spettrogramma Mel di nuovo in un'onda audio pulita usando un vocoder neurale chiamato HiFi-GAN. Questo strumento aiuta a generare audio di alta qualità dallo spettrogramma Mel costruendo gradualmente l'onda per corrispondere al suono originale.

#Setup Sperimentale

Per gli esperimenti, usiamo segnali audio campionati a un tasso standard di 44.1 kHz, con 128 bin nello spettrogramma Mel. Il nostro Mel Denoiser si compone di più blocchi progettati per migliorare il processo di denoising. Abbiamo addestrato sia il Mel Denoiser che il vocoder neurale, perfezionando quest'ultimo per garantire output di alta qualità.

#Modelli di Base per il Confronto

Per vedere quanto bene performa il nostro modello, lo abbiamo confrontato con tre modelli notabili: Demucs V3, DCUnet e HiFi-GAN Denoiser. Ognuno di questi modelli ha mostrato successo in compiti legati all'elaborazione audio, come rimuovere il rumore e migliorare la qualità del suono.

Demucs V3 è progettato per separare varie sorgenti musicali, mentre DCUnet eccelle nel gestire segnali audio complessi. HiFi-GAN Denoiser si concentra sulla rimozione di diversi tipi di rumore e distorsioni dalle registrazioni. Abbiamo anche testato una versione semplificata del nostro modello per capire come meno parametri influiscono sulle prestazioni.

#Dataset Utilizzati negli Esperimenti

Abbiamo usato due diversi dataset per i nostri esperimenti. Il primo è una raccolta di segnali accoppiati creati in un ambiente controllato. Questo dataset include oltre 80 ore di segnali asciutti e bagnati da chitarristi professionisti, raccolti garantendo privacy e consenso.

Il secondo dataset include effetti di distorsione sintetici creati usando software per chitarra. Questo aiuta a confrontare le prestazioni del nostro modello rispetto alla ricerca precedente che si basava principalmente su dati sintetici.

#Metriche di Valutazione

Per valutare quanto bene hanno performato i nostri modelli, abbiamo utilizzato sia metriche oggettive che soggettive. Le metriche oggettive includono la Distanza Audio Fréchet (FAD), il Rapporto Errore-Suono (ESR), il Rapporto Segnale-Distorzione Invariante alla Scala (SI-SDR) e altre che misurano quanto il suono ricostruito sia vicino al suono originale.

Le valutazioni soggettive hanno coinvolto musicisti professionisti che hanno valutato la Qualità audio e l'efficacia della rimozione della distorsione. Questo aiuta a catturare la qualità del suono percepita, poiché la percezione umana può differire notevolmente dalle metriche numeriche.

#Risultati e Discussione

Confrontando i modelli, il nostro approccio ha mostrato risultati promettenti. Ha ottenuto il punteggio FAD più basso, indicando che il nostro output era più simile al suono pulito target. Il nostro modello ha anche ottenuto il valore SI-SDR più alto, mostrando la sua capacità di preservare la chiarezza del segnale originale.

Anche se Demucs V3 ha avuto il punteggio ESR più basso, non ha performato altrettanto bene del nostro modello in altre aree. DCUnet ha fornito un'elaborazione efficiente ma è rimasto indietro in termini di prestazioni complessive. I risultati del nostro modello base hanno mostrato forti prestazioni grazie a meno parametri addestrabili senza sacrificare troppo la qualità.

#Confronto dei Dati di Allenamento

Analizzando le prestazioni su diversi dataset si è rivelato che i modelli addestrati su dati sintetici hanno faticato con registrazioni reali. Al contrario, i modelli addestrati sui dati derivati da VST hanno mostrato un miglioramento notevole attraverso varie metriche di valutazione, confermando che la qualità dei dati di addestramento influisce significativamente sulle prestazioni del modello.

#Valutazioni di Qualità Soggettive

Nella valutazione della qualità audio e dell'estensione della rimozione della distorsione, il nostro modello ha ricevuto punteggi alti dagli ascoltatori. La maggior parte ha valutato la qualità audio attorno ai 4 punti, indicando una percezione favorevole dell'output. Allo stesso modo, le valutazioni per i livelli di secchezza suggerivano che il nostro modello ha ripristinato efficacemente il suono naturale della chitarra.

L'analisi post-valutazione ha mostrato differenze significative nei punteggi tra i modelli, ribadendo che il nostro modello ha performato meglio degli altri in termini di qualità audio.

#Studio di Ablazione dell'Architettura del Modello

È stato condotto uno studio di ablazione per esplorare come le dimensioni del modello influenzano gli output e come il fine-tuning del vocoder influisce sulle prestazioni. Il modello più grande ha generalmente prodotto suoni di migliore qualità, specialmente in audio complesso. Anche se il fine-tuning del vocoder ha ridotto alcuni artefatti, non ha superato il modello base in tutte le metriche.

#Conclusione

Abbiamo sviluppato un metodo in due fasi per rimuovere gli effetti audio dalle tracce di chitarra, migliorando come viene recuperata la distorsione. Il nostro approccio combina la pulizia dello spettrogramma Mel con una ricostruzione audio ad alta fedeltà. Attraverso un'ampia valutazione con vari plugin, abbiamo dimostrato l'efficacia del nostro modello nel rimuovere distorsioni complesse con cui i metodi precedenti hanno faticato.

Il lavoro futuro potrebbe comportare il test del nostro modello con registrazioni reali più impegnative e l'applicazione a compiti correlati, come la trascrizione musicale automatica. I nostri risultati evidenziano i benefici dell'utilizzo di dati di alta qualità per addestrare modelli per migliori prestazioni nelle applicazioni pratiche.