SingSong: Google'i tehisintellekti teadlased leiavad viisi sisendvokaali saateks muusika loomiseks
Põgusalt
Uus süsteem nimega SingSong kasutab sügavat õppimise mudel luua muusikat, mis on laulmisega rohkem sünkroonis kui olemasolevad süsteemid.
Teadlaste sõnul saab süsteemi kasutada karaokeraudude loomiseks professionaalsetele lauljatele või amatöörlauljatel nende häälega sobiva saate leidmisel.
Google’i teadlased on leidnud viisi, kuidas tehisintellekti abil luua laulmisega ühilduvat muusikat. Uus süsteem nimega SingSong kasutab süvaõppe mudelit, et luua saate, mis on laulmisega rohkem sünkroonis kui teised olemasolevad süsteemid. Teadlaste sõnul saab süsteemi kasutada karaokeraudude loomiseks professionaalsetele lauljatele või amatöörlauljatel nende häälega paremini sobiva saate leidmisel.
Laula laulu on Google'i välja töötatud süsteem, mis loob sisendvokaali saateks instrumentaalmuusikat. See võib pakkuda nii muusikutele kui ka mittemuusikutele lihtsat uut lähenemist muusika tegemisele, millel on nende enda hääl. Selle saavutamiseks tuginevad arendajad hiljutistele edusammudele muusikaallika eraldamise ja heli tootmise vallas. Arendajad kasutavad spetsiaalselt tipptasemel allikate eraldamise meetodit, et luua massilisest muusikasalvestiste korpusest joondatud vokaal- ja instrumentaalallika paarid. Seejärel muudavad arendajad AudioLM, tipptasemel meetod tingimusteta heli tootmiseks, nii et seda saab treenida allikast eraldatud (vokaal, instrumentaal) paaride jaoks tingimuslike "heli-heli" genereerimise ülesannete jaoks.
| Soovitatav postitus: 5 parimat AI muusika- ja heligeneraatorit autoritasuta lugude loomiseks |
Tehisintellekti teadlased uurivad häälesisendite erinevaid omadusi, millest parim suurendab isoleeritud vokaalide kvantitatiivset jõudlust 53% võrreldes AudioLM-i vaikefunktsiooniga, et parandada süsteemi üldistamist allikast eraldatud treeningandmete põhjal (kus vokaal sisaldab vokaali artefakte). instrumentaalne) isoleeritud vokaalidele, mida arendajad võivad kasutajatelt oodata. Paaripõhises võrdluses samade häälesisenditega eelistasid kuulajad oluliselt SingSongi toodetud instrumentaale nendele, mis pärinevad tugevast otsingu algtasemest.
Uus süsteem seevastu kasutab a süvaõppe mudel mis on koolitatud suurel hulgal muusikaandmestikul. See võimaldab süsteemil luua saate, mis on sünkroonis laulja hääle ja ajastusega.
Uuringu jaoks antakse kuulajatele kaks 10-sekundilist vokaal-instrumentaalset segamist, milles hääled (võetud MUSDB18-testist) on samad, samas kui instrumentaalid erinevad ja pärinevad erinevatest allikatest (põhitõde, google mudelidvõi lähtetasemed). Küsimus palub kuulajatel valida, milline kahest kombinatsioonist nende arvates sobib instrumentaalne taust vokaaliga muusikaliselt paremini.
| Soovitatav postitus: 7 parimat AI-häälegeneraatorit ja hääle kloonimine teksti kõneks muutmiseks |
SingSong'i värsked näited
Kasutades mitmeid sügavaid närvivõrke ja generatiivsed mudelid, suudavad arendajad toota pikemate segmentide jaoks ilma latentsuseta harmoonilisi saateid.
Eelmistes näidetes kasutati andmestiku MUSDB18 professionaalseid hääli. Samuti huvitab meid SingSong'i võime toetada ja võimaldada igaühel oma häälega muusikat luua. Siin uurime seda Vocadito andmestiku hääleproovide abil, mis sisaldavad olmeelektroonikas tehtud amatöörvokalistide salvestusi.
Süsteem on alles väljatöötamise algfaasis. Kuigi teadlaste sõnul tuleb seda enne kaubanduslikku kasutamist täiustada, usuvad nad, et see võib karaoketööstuses revolutsiooni teha ja aidata amatöörlauljatel leida neile hästi sobivat saatepilti.
Loe rohkem seotud artikleid:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
