Prompt-Singer: Un Nuovo Approccio al Controllo della Voce Cantante

Metodi recenti per generare voci cantanti da testo e note sono migliorati tantissimo nella qualità e realismo del risultato. Però, spesso questi metodi non permettono di avere controllo su diversi stili di canto, come il genere del cantante, il registro della voce e il volume del suono.

In questo articolo, parliamo di un nuovo metodo chiamato Prompt-Singer che permette agli utenti di controllare questi elementi stilistici usando prompt in linguaggio naturale. Questo significa che invece di dover fare affidamento su metodi fissi o trucchi complicati, gli utenti possono semplicemente descrivere cosa vogliono, e il sistema adatterà l'uscita di conseguenza.

#La Necessità di Controllo nella Sintesi della Voce Cantante

La sintesi della voce cantante (SVS) si riferisce alla creazione di voci cantanti simili a quelle umane a partire da testi e note musicali. Anche se la tecnologia è avanzata per produrre una Qualità audio migliore, continua a faticare nel dare controllo sulle caratteristiche del cantante. Le tecniche attuali spesso legano la voce a tratti specifici e non permettono agli utenti di specificare facilmente le loro preferenze.

Ad esempio, se un utente vuole una canzone cantata da un cantante maschio con un volume alto, spesso deve navigare tra opzioni complesse o registrazioni di riferimento, il che non è molto user-friendly. Invece, usare un linguaggio semplice per descrivere questi requisiti renderebbe il processo molto più facile, soprattutto per chi non è esperto di tecnologia.

#Sfide con i Prompt in Linguaggio Naturale

Usare prompt in linguaggio naturale sembra semplice, ma presenta diverse sfide:

1. Connessione tra Melodia e Registro Vocale: Cantanti diversi cantano la stessa canzone in registri vocali vari. I metodi tradizionali legano la melodia direttamente a un cantante specifico, rendendo difficile mescolare e abbinare il registro vocale desiderato e la melodia.

2. Rappresentazione del Testo: La ricerca non si è concentrata abbastanza sulla creazione di rappresentazioni testuali che funzionino specificamente per gli stili di canto. Non è chiaro quale sia il modo migliore per rappresentare queste descrizioni stilistiche nel linguaggio.

3. Dati Limitati: Raccogliere abbastanza dati di canto di alta qualità con annotazioni dettagliate è difficile. La maggior parte dei dataset esistenti è piccola, il che limita la diversità e complica il processo di apprendimento per collegare i prompt in linguaggio naturale con i tratti vocali.

#Presentazione di Prompt-Singer

Prompt-Singer mira a risolvere questi problemi permettendo il controllo in linguaggio naturale sugli attributi del cantante, tra cui genere, registro vocale e volume. Il sistema utilizza un modello transformer progettato per generare voci cantanti basate su questi prompt. Ha:

1. Rappresentazione del Pitch Decoupled: Questo permette al sistema di gestire il registro vocale senza influenzare la melodia, così entrambi possono essere controllati separatamente.

2. Codifica del testo: Questo esplora diversi tipi di codificatori di testo che possono catturare meglio le sfumature dei prompt.

3. Augmentazione dei Dati: Per combattere la limitata disponibilità di dati di canto, il modello integra anche dati di parlato, rendendo più facile l’allenamento e garantendo buone prestazioni anche in situazioni a bassa disponibilità di risorse.

#Come Funziona il Modello

Prompt-Singer è costruito su un modello transformer multi-scala che genera unità di voce cantante condizionate su prompt di linguaggio naturale, testi e informazioni sul pitch. La configurazione consiste in due parti principali:

1. Transformer Multi-Scala: Questa parte si occupa di creare unità di voce cantante discrete basate sui prompt e altre entrate.

2. Vocoders di Unità: Questo componente trasforma le unità generate in forme d’onda audio di alta qualità.

#Rappresentazioni Vocali e Testuali

Per generare voci cantanti, il modello impiega unità acustiche. Queste unità vengono create attraverso un codec neurale che consente rappresentazioni audio compresse che possono essere ricostruite in suono ad alta fedeltà.

L'input testuale consiste in:

1. Testi: Questi formano il contenuto della canzone da generare.

2. Prompt in Linguaggio Naturale: Questi descrivono le caratteristiche desiderate della voce cantante.

I testi vengono processati per allinearsi con le unità acustiche, garantendo una relazione fluida tra ciò che il modello genera e il suono reale.

#Gestire il Registro Vocale e la Melodia

Il modello può regolare il registro vocale basandosi su un principio che collega la percezione della frequenza con gli aggiustamenti nel pitch. Questo rende possibile modificare quanto alta o bassa possa andare la voce di un cantante senza cambiare l'essenza della melodia.

#Affrontare i Problemi di Dati Limitati

Per aiutare con la piccola quantità di dati di canto, il modello integra dati di sintesi vocale (TTS). Questo aumenta il volume e la varietà dell'allenamento, il che è cruciale per migliorare le prestazioni del sistema. Fonetizzando il testo e generando prompt in modo simile ai dati di canto, aiuta il modello a imparare meglio.

#L'Architettura Transformer

Il transformer multi-scala in Prompt-Singer è progettato per gestire in modo efficiente lunghe sequenze di dati audio. Il modello utilizza una struttura gerarchica per gestire le interrelazioni tra diversi tipi di input mentre genera le unità acustiche.

#Ottenere Audio dalle Unità Acustiche

Una volta che il modello genera le unità necessarie per creare voci cantanti, viene impiegato un vocoder basato su GAN per convertire queste unità in output audio di alta qualità. Questo metodo garantisce che il suono finale sia ricco e dettagliato, piuttosto che solo una ricostruzione grossolana dei dati di input.

#Dataset Utilizzati per l'Allenamento

Per allenare il modello, è stata utilizzata una combinazione di vari dataset di canto insieme a diversi dataset di parlato per fornire una base ampia da cui il modello potesse apprendere. Questo approccio multi-sorgente consente al modello di performare meglio in diversi scenari e di evitare problemi di scarsità di dati.

#Valutazione di Prompt-Singer

Nel valutare quanto bene performa Prompt-Singer, sono stati eseguiti diversi test:

1. Accuratezza del Controllo: È stata misurata la capacità del modello di abbinare i prompt degli utenti con gli attributi desiderati. Questo ha mostrato che poteva gestire efficacemente il genere specificato, il registro vocale e il volume della voce cantante.

2. Qualità Audio: Sono stati impiegati vari metodi per valutare la qualità dell'audio generato, assicurandosi che soddisfacesse gli standard per l'output musicale.

3. Feedback degli Utenti: Sono stati condotti test per raccogliere opinioni dagli utenti sulle voci cantanti generate e su quanto bene corrispondevano ai prompt forniti.

#Risultati e Intuizioni

I risultati hanno dimostrato che il modello poteva controllare con precisione gli attributi specificati, ricevendo feedback positivi in merito alla qualità audio. Il controllo del volume, in particolare, ha mostrato risultati particolarmente forti a causa della variazione di scaling durante l'allenamento.

Le valutazioni hanno anche messo in evidenza alcuni aspetti chiave:

1. Influenza del Codificatore di Testo: La messa a punto di diversi codificatori di testo ha migliorato la capacità del modello di interpretare accuratamente vari prompt stilistici, confermando che un migliore allineamento tra testo e attributi desiderati porta a output migliori.

2. Impatto dei Dati di Parlato: L'introduzione di dati di parlato ha migliorato significativamente le prestazioni, soprattutto in scenari dove i dati di canto erano limitati.

3. Efficacia del Pitch Decoupled: Mantenere la melodia e il registro vocale separati ha facilitato un migliore controllo sullo stile di canto, anche se ha leggermente impattato l'accuratezza melodica.

#Direzioni Future

Guardando al futuro, l'obiettivo è incorporare più attributi per il controllo nella sintesi della voce cantante, come emozione e ritmo. Questa espansione potrebbe portare a output più espressivi e vari che soddisfano un range ancora più ampio di esigenze degli utenti.

Inoltre, affinamenti nel processo di generazione dei prompt potrebbero aiutare a superare le limitazioni riscontrate nelle versioni iniziali, portando a output più naturali e diversificati.

#Limitazioni e Considerazioni

Nonostante i suoi punti di forza, Prompt-Singer affronta alcune sfide.

1. Qualità dei Prompt: I metodi attuali per generare prompt potrebbero produrre output che non sono sempre grammaticalmente corretti o diversi nell'espressione. Migliorare quest'area potrebbe aumentare le prestazioni complessive del sistema.

2. Esigenze Computazionali: Il sistema richiede risorse computazionali significative, il che potrebbe essere un ostacolo per alcuni utenti. Ridurre i tempi di inferenza mantenendo la qualità sarà essenziale per una diffusione più ampia.

3. Preoccupazioni sul Copyright: Ci sono potenziali implicazioni legali legate alla generazione di voci cantanti, specialmente quando si usano stili esistenti. Devono essere adottate misure di sicurezza per prevenire abusi.

#Pensieri Finali

Prompt-Singer dimostra un passo significativo verso la rendere la sintesi della voce cantante più accessibile e controllabile per gli utenti. Concentrandosi sui prompt in linguaggio naturale, il sistema permette alle persone di esprimere le proprie esigenze creative in un modo intuitivo, colmando il divario tra tecnologia e arte.

Con l'avanzamento della tecnologia e l'introduzione di più funzionalità, si spera che questo incoraggi un pubblico più ampio a impegnarsi nella creazione e nell'esplorazione musicale, favorendo creatività e innovazione nelle arti.