SingSong: Googleovi AI istraživači pronašli su način za generiranje glazbe koja prati ulazne vokale
Ukratko
Novi sustav nazvan SingSong koristi deep model učenja generirati glazbu koja je više usklađena s pjevanjem od postojećih sustava.
Istraživači kažu da bi se sustav mogao koristiti za stvaranje karaoke zapisa za profesionalne pjevače ili za pomoć pjevačima amaterima da pronađu pratnju koja odgovara njihovim glasovima.
Istraživači iz Googlea pronašli su način korištenja umjetne inteligencije za generiranje glazbe koja je kompatibilna s pjevanjem. Novi sustav, nazvan SingSong, koristi model dubinskog učenja za generiranje pratnje koja je više usklađena s pjevanjem nego drugi postojeći sustavi. Istraživači kažu da bi se sustav mogao koristiti za stvaranje karaoke zapisa za profesionalne pjevače ili za pomoć pjevačima amaterima da pronađu pratnju koja bolje odgovara njihovim glasovima.
Pjevaju pjesmu je sustav koji je razvio Google koji stvara instrumentalnu glazbu koja prati ulazne vokale. I glazbenicima i neglazbenicima može pružiti jednostavan novi pristup stvaranju glazbe koja uključuje njihove vlastite glasove. Programeri se oslanjaju na nedavna dostignuća u odvajanju glazbenih izvora i audio produkciji kako bi to postigli. Programeri posebno koriste vrhunsku metodu odvajanja izvora za izgradnju usklađenih vokalnih i instrumentalnih parova izvora iz ogromnog korpusa glazbenih snimaka. Zatim programeri modificiraju AudioLM, vrhunska metoda za bezuvjetnu audio produkciju, tako da se može uvježbati na izvorno odvojenim parovima (vokal, instrumental) za uvjetne zadatke generiranja "audio-to-audio".
Istraživači umjetne inteligencije istražuju različite karakteristike vokalnih ulaza, od kojih najbolja poboljšava kvantitativne performanse na izoliranim vokalima za 53% u usporedbi sa zadanom AudioLM značajkom, kako bi se poboljšala generalizacija sustava iz podataka obuke odvojenih od izvora (gdje vokali sadrže artefakte instrumental) do izoliranih vokala koje bi programeri mogli očekivati od korisnika. Slušatelji su pokazali značajnu sklonost instrumentalima koje je proizveo SingSong u odnosu na one iz jake osnovne linije pretraživanja u parnoj usporedbi s istim glasovnim unosima.
Novi sustav, nasuprot tome, koristi a model dubokog učenja koji je obučen na velikom skupu glazbenih podataka. Ovo omogućuje sustavu generiranje pratnje koja je sinkronizirana s pjevačevim glasom i vremenom.
Za studiju slušateljima se daju dvije kombinacije vokalno-instrumentalnih kombinacija od 10 sekundi u kojima su glasovi (preuzeti iz MUSDB18-testa) isti dok se instrumentali razlikuju i dolaze iz različitih izvora (osnovna istina, google modeli, ili osnovne linije). Pitanje od slušatelja traži da izaberu za koju od dvije kombinacije smatraju da instrumentalna podloga više pristaje vokalu.
Svježi primjeri SingSonga
Korištenjem niza dubokih neuronskih mreža i generativni modeli, programeri mogu proizvesti harmoničnu pratnju bez kašnjenja za dulje segmente.
Profesionalni glasovi skupa podataka MUSDB18 korišteni su u prethodnim primjerima. Također smo zaintrigirani sposobnošću SingSonga da podrži i omogući bilo kome da stvara glazbu svojim glasom. Ovdje to ispitujemo korištenjem vokalnih uzoraka iz skupa podataka Vocadito, koji uključuje snimke amaterskih vokala napravljene na potrošačkoj elektronici.
Sustav je još uvijek u ranoj fazi razvoja. Iako istraživači kažu da će ga trebati poboljšati prije nego što se može komercijalno koristiti, vjeruju da ima potencijal revolucionarizirati industriju karaoka i pomoći pjevačima amaterima da pronađu pratnju koja im dobro odgovara.
Pročitajte više povezanih članaka:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
