SingSong: i ricercatori di Google AI trovano un modo per generare musica per accompagnare le voci di input
In Breve
Il nuovo sistema chiamato SingSong utilizza un deep modello di apprendimento per generare musica che sia più in sintonia con il canto rispetto ai sistemi esistenti.
I ricercatori affermano che il sistema potrebbe essere utilizzato per creare brani karaoke per cantanti professionisti o per aiutare i cantanti dilettanti a trovare un accompagnamento che corrisponda alle loro voci.
I ricercatori di Google hanno trovato un modo per utilizzare l'intelligenza artificiale per generare musica compatibile con il canto. Il nuovo sistema, chiamato SingSong, utilizza un modello di deep learning per generare un accompagnamento più sincronizzato con il canto rispetto ad altri sistemi esistenti. I ricercatori affermano che il sistema potrebbe essere utilizzato per creare brani karaoke per cantanti professionisti o per aiutare i cantanti dilettanti a trovare un accompagnamento che si adatti meglio alle loro voci.
Cantare una canzone è un sistema sviluppato da Google che crea musica strumentale per accompagnare le voci di input. Può fornire sia ai musicisti che ai non musicisti un semplice nuovo approccio per fare musica che presenti le proprie voci. Gli sviluppatori si basano sui recenti progressi nella separazione delle sorgenti musicali e nella produzione audio per raggiungere questo obiettivo. Gli sviluppatori utilizzano specificamente un metodo di separazione della sorgente all'avanguardia per creare coppie di sorgenti vocali e strumentali allineate da un enorme corpus di registrazioni musicali. Quindi, gli sviluppatori modificano AudioLM, un metodo all'avanguardia per la produzione audio incondizionata, in modo che possa essere addestrato su coppie separate da sorgenti (vocali, strumentali) per attività di generazione condizionale "da audio ad audio".
I ricercatori di intelligenza artificiale studiano diverse caratterizzazioni degli input vocali, la migliore delle quali migliora le prestazioni quantitative su voci isolate del 53% rispetto alla caratterizzazione AudioLM predefinita, al fine di migliorare la generalizzazione del sistema dai dati di addestramento separati dalla sorgente (dove le voci contengono artefatti del strumentale) alle voci isolate che gli sviluppatori potrebbero aspettarsi dagli utenti. Gli ascoltatori hanno mostrato una sostanziale preferenza per gli strumentali prodotti da SingSong rispetto a quelli provenienti da una linea di base di forte recupero in un confronto a coppie con gli stessi input vocali.
Il nuovo sistema, invece, utilizza a modello di apprendimento profondo che è stato addestrato su un ampio set di dati di musica. Ciò consente al sistema di generare un accompagnamento sincronizzato con la voce e il tempo del cantante.
Per lo studio, agli ascoltatori vengono dati due mashup vocale-strumentali di 10 secondi in cui le voci (prese dal test MUSDB18) sono le stesse mentre le parti strumentali differiscono e provengono da varie fonti (verità fondamentale, modelli di Googleo linee di base). La domanda chiede agli ascoltatori di scegliere quale delle due combinazioni ritiene che gli accompagnamenti strumentali si adattino più musicalmente alla voce.
Nuovi esempi di SingSong
Utilizzando una serie di reti neurali profonde e modelli generativi, gli sviluppatori sono in grado di produrre accompagnamenti armonici senza latenza per segmenti più lunghi.
Le voci professionali del set di dati MUSDB18 sono state utilizzate negli esempi precedenti. Siamo anche incuriositi dalla capacità di SingSong di supportare e consentire a chiunque di creare musica con la propria voce. Qui, esaminiamo questo utilizzando campioni vocali dal set di dati Vocadito, che include registrazioni di cantanti amatoriali effettuate su elettronica di consumo.
Il sistema è ancora nelle prime fasi di sviluppo. Mentre i ricercatori affermano che dovrà essere migliorato prima che possa essere utilizzato commercialmente, ritengono che abbia il potenziale per rivoluzionare l'industria del karaoke e aiutare i cantanti dilettanti a trovare l'accompagnamento che funzioni bene per loro.
Leggi altri articoli correlati:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
