„SingSong“: „Google“ dirbtinio intelekto tyrinėtojai randa būdą, kaip sukurti muziką, kuri lydėtų įvesties vokalą
Trumpai
Naujoji sistema, vadinama SingSong, naudoja gilųjį mokymosi modelis sukurti muziką, kuri labiau sinchronizuojama su dainavimu nei esamos sistemos.
Tyrėjai teigia, kad sistema galėtų būti naudojama kuriant karaokės takelius profesionaliems dainininkams arba siekiant padėti dainininkams mėgėjams rasti akompanimentą, atitinkantį jų balsą.
„Google“ mokslininkai rado būdą, kaip panaudoti dirbtinį intelektą muzikai, suderinamai su dainavimu, generuoti. Naujoji sistema, pavadinta „SingSong“, naudoja gilaus mokymosi modelį, kad sukurtų akompanimentą, kuris labiau sinchronizuojasi su dainavimu nei kitos esamos sistemos. Tyrėjai teigia, kad sistema galėtų būti naudojama kuriant karaokės takelius profesionaliems dainininkams arba siekiant padėti dainininkams mėgėjams rasti akompanimentą, kuris geriau atitiktų jų balsą.
Dainuoti dainą yra „Google“ sukurta sistema, kurianti instrumentinę muziką, akompanuojančią įvesties vokalą. Tai gali suteikti ir muzikantams, ir ne muzikantams paprastą naują požiūrį į muzikos kūrimą, kuriame skamba jų pačių balsai. Siekdami šio tikslo, kūrėjai remiasi naujausiais muzikos šaltinių atskyrimo ir garso kūrimo pasiekimais. Kūrėjai specialiai naudoja pažangiausią šaltinių atskyrimo metodą, kad sukurtų suderintas vokalinių ir instrumentinių šaltinių poras iš didžiulio muzikos įrašų korpuso. Tada kūrėjai modifikuoja AudioLM, pažangiausias besąlyginio garso kūrimo metodas, kad jį būtų galima išmokyti naudojant šaltinio atskirtas (vokalo, instrumentines) poras atliekant sąlygines „garso į garsą“ generavimo užduotis.
| Rekomenduojamas įrašas: 5 geriausi dirbtinio intelekto muzikos ir garso generatoriai, kurie kuria nemokamus takelius |
Dirbtinio intelekto tyrėjai tiria skirtingas balso įvesties charakteristikas, iš kurių geriausias padidina kiekybinį izoliuoto vokalo našumą 53 %, palyginti su numatytuoju AudioLM funkcija, kad pagerintų sistemos apibendrinimą iš šaltinio atskirtų mokymo duomenų (kai vokaluose yra vokalo artefaktų). instrumentinis) izoliuotam vokalui, kurio kūrėjai gali tikėtis iš vartotojų. Klausytojai iš esmės pirmenybę teikė „SingSong“ kuriamiems instrumentams, o ne iš stiprios paieškos pradinės linijos, palygindami poromis su tomis pačiomis balso įvestimis.
Naujoji sistema, priešingai, naudoja a gilaus mokymosi modelis kuri buvo išmokyta naudotis dideliu muzikos duomenų rinkiniu. Tai leidžia sistemai generuoti akompanimentą, kuris yra sinchronizuotas su dainininko balsu ir laiku.
Tyrimo metu klausytojams pateikiami du 10 sekundžių vokaliniai ir instrumentiniai mišiniai, kuriuose balsai (paimti iš MUSDB18 testo) yra vienodi, o instrumentai skiriasi ir gaunami iš įvairių šaltinių (pagrindine tiesa, google modeliaiarba bazines linijas). Klausime klausytojų prašoma pasirinkti, kuris iš dviejų derinių, jų manymu, instrumentinis pagrindas labiau tinka vokalui muzikaliai.
| Rekomenduojamas įrašas: 7 populiariausi dirbtinio intelekto balso generatoriai ir balso klonavimas, skirtas tekstui paversti kalba |
„SingSong“ nauji pavyzdžiai
Naudodami giliųjų neuroninių tinklų seriją ir generatyviniai modeliai, kūrėjai gali sukurti harmoninius akompanimentus be delsos ilgesniems segmentams.
MUSDB18 duomenų rinkinio profesionalūs balsai buvo naudojami ankstesniuose pavyzdžiuose. Mus taip pat suintrigavo „SingSong“ gebėjimas palaikyti ir suteikti galimybę kiekvienam kurti muziką savo balsu. Čia mes tai išnagrinėjame naudodami vokalo pavyzdžius iš Vocadito duomenų rinkinio, kuris apima vokalistų mėgėjų įrašus, padarytus naudojant plataus vartojimo elektroniką.
Sistema vis dar yra pradiniame kūrimo etape. Nors mokslininkai teigia, kad jį reikės patobulinti, kad jį būtų galima naudoti komerciškai, jie tiki, kad jis gali sukelti revoliuciją karaokės pramonėje ir padėti dainininkams mėgėjams rasti jiems tinkantį akompanimentą.
Skaitykite daugiau susijusių straipsnių:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
