Dziesma: Google AI pētnieki atrod veidu, kā radīt mūziku ievades vokāla pavadīšanai
Īsumā
Jaunā sistēma ar nosaukumu SingSong izmanto dziļu mācību modelis lai radītu mūziku, kas ir vairāk sinhronizēta ar dziedāšanu nekā esošās sistēmas.
Pētnieki saka, ka sistēmu varētu izmantot, lai izveidotu karaoke ierakstus profesionāliem dziedātājiem vai palīdzētu dziedātājiem amatieru atrast viņu balsīm atbilstošu pavadījumu.
Google pētnieki ir atraduši veidu, kā izmantot mākslīgo intelektu, lai radītu mūziku, kas ir saderīga ar dziedāšanu. Jaunā sistēma, ko sauc par SingSong, izmanto dziļas mācīšanās modeli, lai radītu pavadījumu, kas ir vairāk sinhronizēts ar dziedāšanu nekā citas esošās sistēmas. Pētnieki saka, ka sistēmu varētu izmantot, lai izveidotu karaoke celiņus profesionāliem dziedātājiem vai palīdzētu amatieru dziedātājiem atrast pavadījumu, kas labāk atbilst viņu balsij.
Dziedāt dziesmu ir Google izstrādāta sistēma, kas rada instrumentālu mūziku ievades vokāla pavadīšanai. Tas var sniegt gan mūziķiem, gan nemūziķiem vienkāršu jaunu pieeju mūzikas veidošanai, kurā ir viņu pašu balsis. Lai to panāktu, izstrādātāji izmanto jaunākos sasniegumus mūzikas avotu atdalīšanas un audio producēšanas jomā. Izstrādātāji īpaši izmanto visprogresīvāko avotu atdalīšanas metodi, lai izveidotu saskaņotus vokālo un instrumentālo avotu pārus no milzīga mūzikas ierakstu korpusa. Pēc tam izstrādātāji veic izmaiņas AudioLM, visprogresīvākā metode beznosacījumu audio producēšanai, lai to varētu apmācīt no avota atdalītiem (vokāla, instrumentāla) pāriem nosacīti “audio-audio” ģenerēšanas uzdevumiem.
| Ieteicamā ziņa: 5 populārākie mākslīgā intelekta mūzikas un audio ģeneratori, kas rada bezatlīdzības ierakstus |
AI pētnieki pēta dažādas balss ievades funkcijas, no kurām labākā izolēta vokāla kvantitatīvo veiktspēju uzlabo par 53%, salīdzinot ar noklusējuma AudioLM funkciju, lai uzlabotu sistēmas vispārināšanu no avota atdalītiem apmācības datiem (ja vokāls satur vokāla artefaktus instrumentāls) uz izolētu vokālu, ko izstrādātāji varētu sagaidīt no lietotājiem. Klausītāji izrādīja būtisku priekšroku SingSong radītajiem instrumentāliem, nevis tiem, kas iegūti no spēcīgas izguves bāzes līnijas, salīdzinot pārus ar vienādām balss ievadēm.
Turpretim jaunā sistēma izmanto a dziļās mācīšanās modelis kas ir apmācīts par lielu mūzikas datu kopu. Tas ļauj sistēmai ģenerēt pavadījumu, kas ir sinhronizēts ar dziedātāja balsi un laiku.
Pētījumam klausītājiem tiek doti divi 10 sekunžu vokāli instrumentālie maisījumi, kuros balsis (ņemtas no MUSDB18 testa) ir vienādas, savukārt instrumentālie materiāli atšķiras un nāk no dažādiem avotiem (patiesība, google modeļivai bāzes līnijas). Jautājums liek klausītājiem izvēlēties, kura no abām kombinācijām, viņuprāt, instrumentālā aizmugure muzikāli atbilst vokālam.
SingSong svaigi piemēri
Izmantojot virkni dziļu neironu tīklu un ģeneratīvie modeļi, izstrādātāji spēj radīt harmoniskus pavadījumus bez latentuma garākiem segmentiem.
Iepriekšējos piemēros tika izmantotas MUSDB18 datu kopas profesionālās balsis. Mūs interesē arī SingSong spēja atbalstīt un dot iespēju ikvienam radīt mūziku ar savu balsi. Šeit mēs to pārbaudām, izmantojot Vocadito datu kopas vokālos paraugus, kas ietver amatieru vokālistu ierakstus, kas veikti plaša patēriņa elektronikā.
Sistēma joprojām ir attīstības sākuma stadijā. Lai gan pētnieki saka, ka tas būs jāuzlabo, pirms to varēs izmantot komerciāli, viņi uzskata, ka tas var revolucionizēt karaoke nozari un palīdzēt amatieru dziedātājiem atrast viņiem piemērotu pavadījumu.
Lasiet vairāk saistītos rakstus:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
