SingSong: Googlovi raziskovalci AI so našli način za ustvarjanje glasbe za spremljavo vhodnih vokalov
Na kratko
Novi sistem, imenovan SingSong, uporablja deep model učenja ustvariti glasbo, ki je bolj usklajena s petjem kot obstoječi sistemi.
Raziskovalci pravijo, da bi sistem lahko uporabili za ustvarjanje skladb za karaoke za profesionalne pevce ali za pomoč amaterskim pevcem pri iskanju spremljave, ki ustreza njihovim glasovom.
Raziskovalci pri Googlu so našli način, kako uporabiti umetno inteligenco za ustvarjanje glasbe, ki je združljiva s petjem. Novi sistem, imenovan SingSong, uporablja model globokega učenja za ustvarjanje spremljave, ki je bolj usklajena s petjem kot drugi obstoječi sistemi. Raziskovalci pravijo, da bi sistem lahko uporabili za ustvarjanje skladb za karaoke za profesionalne pevce ali za pomoč amaterskim pevcem pri iskanju spremljave, ki bolje ustreza njihovemu glasu.
Pojejo pesem je sistem, ki ga je razvil Google in ustvarja instrumentalno glasbo za spremljavo vhodnih vokalov. Glasbenikom in neglasbenikom lahko ponudi preprost nov pristop k ustvarjanju glasbe, ki vključuje njihove glasove. Da bi to dosegli, razvijalci gradijo na nedavnem napredku pri ločevanju glasbenih virov in zvočni produkciji. Razvijalci posebej uporabljajo vrhunsko metodo ločevanja virov za izgradnjo usklajenih parov vokalnih in instrumentalnih virov iz ogromnega korpusa glasbenih posnetkov. Nato razvijalci spremenijo AudioLM, vrhunsko metodo za brezpogojno zvočno produkcijo, tako da se lahko uri na izvorno ločenih (vokalnih, instrumentalnih) parih za pogojne naloge generiranja zvoka v zvok.
| Priporočena objava: 5 najboljših glasbenih in avdio generatorjev z umetno inteligenco za ustvarjanje brezplačnih skladb |
Raziskovalci AI raziskujejo različne funkcije vokalnih vnosov, od katerih najboljša izboljša kvantitativno zmogljivost izoliranih vokalov za 53 % v primerjavi s privzeto funkcijo AudioLM, da bi izboljšali posploševanje sistema iz podatkov o usposabljanju, ločenih od vira (kjer vokali vsebujejo artefakte instrumental) do izoliranih vokalov, ki bi jih lahko razvijalci pričakovali od uporabnikov. Poslušalci so v parni primerjavi z enakimi glasovnimi vnosi pokazali precejšnjo prednost instrumentalom, ki jih je produciral SingSong, pred tistimi iz močne osnovne linije iskanja.
Novi sistem, nasprotno, uporablja a model globokega učenja ki je bil usposobljen na velikem naboru glasbenih podatkov. To omogoča sistemu, da ustvari spremljavo, ki je usklajena s pevčevim glasom in časom.
Za študijo poslušalci dobijo dve 10-sekundni vokalno-instrumentalni kombinaciji, v kateri so glasovi (vzeti iz testa MUSDB18) enaki, medtem ko se instrumentali razlikujejo in prihajajo iz različnih virov (osnovna resnica, googlovi modeli, ali osnovne črte). Vprašanje od poslušalcev zahteva, da izberejo, katera od obeh kombinacij se jim zdi, da instrumentalna podlaga glasbeno bolj ustreza vokalu.
| Priporočena objava: 7 najboljših glasovnih generatorjev z umetno inteligenco in glasovno kloniranje za pretvorbo besedila v govor |
Sveži primeri SingSong
Z uporabo niza globokih nevronskih mrež in generativni modeli, lahko razvijalci ustvarijo harmonično spremljavo brez zakasnitve za daljše segmente.
Profesionalni glasovi nabora podatkov MUSDB18 so bili uporabljeni v prejšnjih primerih. Zanima nas tudi sposobnost SingSonga, da podpre in omogoči vsakomur ustvarjanje glasbe s svojim glasom. Tukaj to preučujemo z uporabo vokalnih vzorcev iz nabora podatkov Vocadito, ki vključuje posnetke amaterskih vokalistov, narejene na potrošniški elektroniki.
Sistem je še v zgodnjih fazah razvoja. Medtem ko raziskovalci pravijo, da ga bo treba izboljšati, preden se bo lahko uporabljal v komercialne namene, verjamejo, da ima potencial za revolucijo v industriji karaok in pomaga amaterskim pevcem najti spremljavo, ki jim dobro ustreza.
Preberite več sorodnih člankov:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
