SingSong: Cercetătorii Google AI găsesc o modalitate de a genera muzică pentru a însoți vocea de intrare
Pe scurt
Noul sistem numit SingSong folosește un deep model de învățare pentru a genera muzică care este mai sincronizată cu cântatul decât sistemele existente.
Cercetătorii spun că sistemul ar putea fi folosit pentru a crea piese de karaoke pentru cântăreți profesioniști sau pentru a ajuta cântăreții amatori să găsească un acompaniament care să se potrivească cu vocile lor.
Cercetătorii de la Google au găsit o modalitate de a folosi inteligența artificială pentru a genera muzică compatibilă cu cântatul. Noul sistem, numit SingSong, folosește un model de învățare profundă pentru a genera un acompaniament care este mai sincronizat cu cântatul decât alte sisteme existente. Cercetătorii spun că sistemul ar putea fi folosit pentru a crea piese de karaoke pentru cântăreți profesioniști sau pentru a ajuta cântăreții amatori să găsească un acompaniament care se potrivește mai bine vocilor lor.
Canta o melodie este un sistem dezvoltat de Google care creează muzică instrumentală pentru a însoți vocea de intrare. Le poate oferi atât muzicienilor, cât și non-muzicienilor o nouă abordare simplă pentru a crea muzică care are propriile voci. Dezvoltatorii se bazează pe progresele recente în separarea surselor muzicale și producția audio pentru a realiza acest lucru. Dezvoltatorii folosesc în mod special o metodă de ultimă oră de separare a surselor pentru a construi perechi de surse vocale și instrumentale aliniate dintr-un corpus masiv de înregistrări muzicale. Apoi, dezvoltatorii modifică AudioLM, o metodă de ultimă oră pentru producția audio necondiționată, astfel încât să poată fi instruită pe perechi separate de sursă (vocale, instrumentale) pentru sarcini condiționale de generare „audio-la-audio”.
| Postare recomandată: Top 5 generatoare de muzică și audio AI pentru a crea piese fără drepturi de autor |
Cercetătorii AI investighează diferite caracteristici ale intrărilor vocale, dintre care cea mai bună îmbunătățește performanța cantitativă asupra vocilor izolate cu 53% în comparație cu caracteristica AudioLM implicită, pentru a îmbunătăți generalizarea sistemului din datele de antrenament separate de sursă (unde vocalele conțin artefacte ale instrumental) la voci izolate pe care dezvoltatorii s-ar putea aștepta de la utilizatori. Ascultătorii au manifestat o preferință substanțială pentru instrumentele produse de SingSong față de cele dintr-o linie de bază de recuperare puternică, într-o comparație perechi cu aceleași intrări vocale.
Noul sistem, prin contrast, folosește a model de învățare profundă care a fost instruit pe un set mare de date de muzică. Acest lucru permite sistemului să genereze un acompaniament care este sincronizat cu vocea și sincronizarea cântărețului.
Pentru studiu, ascultătorilor li se oferă două mashup-uri vocal-instrumentale de 10 secunde în care vocile (luate din testul MUSDB18) sunt aceleași, în timp ce instrumentele diferă și provin din diverse surse (adevărul de bază, modele google, sau linii de bază). Întrebarea îi cere ascultătorilor să aleagă care dintre cele două combinații consideră că suporturile instrumentale se potrivesc mai mult cu vocea.
| Postare recomandată: Top 7 generatoare de voce AI și clonarea vocii pentru transformarea textului în vorbire |
Exemplele proaspete ale SingSong
Prin utilizarea unei serii de rețele neuronale profunde și modele generative, dezvoltatorii sunt capabili să producă acompaniamente armonice fără latență pentru segmente mai lungi.
Vocile profesionale ale setului de date MUSDB18 au fost folosite în exemplele precedente. De asemenea, suntem intrigați de capacitatea SingSong de a sprijini și de a permite oricui să creeze muzică cu vocea sa. Aici, examinăm acest lucru folosind mostre vocale din setul de date Vocadito, care include înregistrări ale vocaliștilor amatori realizate pe electronice de larg consum.
Sistemul este încă în stadiile incipiente de dezvoltare. În timp ce cercetătorii spun că va trebui îmbunătățit înainte de a putea fi utilizat comercial, ei cred că are potențialul de a revoluționa industria karaoke-ului și de a ajuta cântăreții amatori să găsească un acompaniament care le funcționează bine.
Citiți mai multe articole conexe:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
