SingSong: Výskumníci Google AI našli spôsob, ako generovať hudbu, ktorá bude sprevádzať vstupné vokály
Stručne
Nový systém s názvom SingSong používa deep model učenia vytvárať hudbu, ktorá je viac synchronizovaná so spevom ako existujúce systémy.
Vedci tvrdia, že systém by sa dal použiť na vytváranie karaoke stôp pre profesionálnych spevákov alebo na pomoc amatérskym spevákom nájsť sprievod, ktorý zodpovedá ich hlasu.
Výskumníci z Google našli spôsob, ako využiť umelú inteligenciu na generovanie hudby, ktorá je kompatibilná so spevom. Nový systém s názvom SingSong využíva model hlbokého učenia na generovanie sprievodu, ktorý je viac synchronizovaný so spevom ako iné existujúce systémy. Vedci tvrdia, že tento systém by sa dal použiť na vytváranie karaoke stôp pre profesionálnych spevákov alebo na pomoc amatérskym spevákom nájsť sprievod, ktorý lepšie zodpovedá ich hlasu.
Spievať pieseň je systém vyvinutý spoločnosťou Google, ktorý vytvára inštrumentálnu hudbu na doplnenie vstupných vokálov. Hudobníkom aj nehudobníkom môže poskytnúť jednoduchý nový prístup k tvorbe hudby, ktorý obsahuje ich vlastné hlasy. Vývojári stavajú na nedávnych pokrokoch v separácii hudobných zdrojov a produkcii zvuku, aby to dosiahli. Vývojári špecificky používajú najmodernejšiu metódu separácie zdrojov na vytvorenie zosúladených vokálnych a inštrumentálnych zdrojových párov z masívneho korpusu hudobných nahrávok. Potom vývojári upravia AudioLM, špičková metóda pre bezpodmienečnú audio produkciu, takže ju možno trénovať na zdrojovo oddelených (vokálnych, inštrumentálnych) pároch pre podmienené úlohy generovania „audio-to-audio“.
| Odporúčaný príspevok: 5 najlepších hudobných a zvukových generátorov AI na vytváranie bezplatných skladieb |
Výskumníci AI skúmajú rôzne funkcie vokálnych vstupov, z ktorých najlepšia zvyšuje kvantitatívny výkon na izolovaných vokáloch o 53 % v porovnaní s predvolenou funkciou AudioLM, aby sa zlepšilo zovšeobecnenie systému z tréningových údajov oddelených od zdroja (kde vokály obsahujú artefakty inštrumentálne) až po izolované vokály, ktoré môžu vývojári od používateľov očakávať. Poslucháči prejavovali podstatnú preferenciu inštrumentálnych skladieb produkovaných SingSongom pred tými zo silnej základnej línie vyhľadávania v párovom porovnaní s rovnakými hlasovými vstupmi.
Nový systém naopak využíva a model hlbokého učenia ktorý bol trénovaný na veľkom súbore hudobných údajov. To umožňuje systému generovať sprievod, ktorý je synchronizovaný s hlasom a načasovaním speváka.
Na štúdium dostanú poslucháči dva 10-sekundové vokálno-inštrumentálne mashupy, v ktorých sú hlasy (prevzaté z testu MUSDB18) rovnaké, zatiaľ čo inštrumentály sa líšia a pochádzajú z rôznych zdrojov (základná pravda, google modelyalebo základné línie). Otázka žiada poslucháčov, aby si vybrali, ktorá z dvoch kombinácií podľa nich inštrumentálne podklady viac hudobne sedia vokálom.
| Odporúčaný príspevok: 7 najlepších hlasových generátorov AI a klonovania hlasu pre prevod textu na reč |
Čerstvé príklady SingSong
Pomocou série hlbokých neurónových sietí a generatívne modely, sú vývojári schopní produkovať harmonické sprievody bez latencie pre dlhšie segmenty.
V predchádzajúcich príkladoch boli použité profesionálne hlasy množiny údajov MUSDB18. Tiež nás zaujala schopnosť SingSongu podporovať a umožniť komukoľvek vytvárať hudbu svojim hlasom. Tu to skúmame pomocou vokálnych vzoriek z dátového súboru Vocadito, ktorý obsahuje nahrávky amatérskych spevákov na spotrebnej elektronike.
Systém je stále v počiatočnom štádiu vývoja. Zatiaľ čo výskumníci tvrdia, že bude potrebné ho vylepšiť, než ho bude možné použiť komerčne, veria, že má potenciál spôsobiť revolúciu v karaoke priemysle a pomôcť amatérskym spevákom nájsť sprievod, ktorý im bude dobre fungovať.
Prečítajte si ďalšie súvisiace články:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
