SingSong: Googlen AI-tutkijat löytävät tavan luoda musiikkia sisääntulolaulun säestäjäksi
Lyhyesti
Uusi järjestelmä nimeltä SingSong käyttää syvää oppimismalli luoda musiikkia, joka on enemmän synkronoitu laulamisen kuin olemassa olevien järjestelmien kanssa.
Tutkijat sanovat, että järjestelmää voitaisiin käyttää luomaan karaokekappaleita ammattilaulajille tai auttamaan amatöörilaulajia löytämään ääntään sopivan säestyksen.
Googlen tutkijat ovat löytäneet tavan käyttää tekoälyä laulun kanssa yhteensopivan musiikin tuottamiseen. Uusi järjestelmä, nimeltään SingSong, käyttää syväoppimismallia luodakseen säestyksen, joka on enemmän synkronoitu laulun kanssa kuin muut olemassa olevat järjestelmät. Tutkijat sanovat, että järjestelmää voitaisiin käyttää luomaan karaokekappaleita ammattilaulajille tai auttamaan amatöörilaulajia löytämään säestyksen, joka sopii paremmin heidän ääneensä.
Laulaa laulu on Googlen kehittämä järjestelmä, joka luo instrumentaalimusiikkia sisääntulolaulun säestäjäksi. Se voi tarjota sekä muusikoille että ei-muusikoille yksinkertaisen uuden lähestymistavan musiikin tekemiseen, jossa on heidän oma ääninsä. Tämän saavuttamiseksi kehittäjät hyödyntävät viimeaikaisia edistysaskeleita musiikin lähteiden erottamisessa ja äänen tuotannossa. Kehittäjät käyttävät nimenomaan huippuluokan lähteiden erottelumenetelmää rakentaakseen kohdistettuja laulu- ja instrumentaalilähteitä massiivisesta musiikkitallenteiden joukosta. Sitten kehittäjät muokkaavat AudioLM, huippuluokan menetelmä ehdottomaan äänentuotantoon, jotta sitä voidaan harjoittaa lähteestä erotetuilla (laulu, instrumentaali) pareilla ehdolliseen "äänestä ääneksi" -tuotantotehtäviin.
| Suositeltu postaus: Viisi parasta tekoälyn musiikki- ja äänigeneraattoria rojaltivapaiden kappaleiden luomiseen |
Tekoälytutkijat tutkivat erilaisia laulusyötteiden ominaisuuksia, joista paras parantaa kvantitatiivista suorituskykyä eristetyillä lauluilla 53 % verrattuna oletusarvoiseen AudioLM-ominaisuuksiin parantaakseen järjestelmän yleistämistä lähteistä erotetuista harjoitustiedoista (jossa laulu sisältää artefakteja instrumentaali) yksittäisiin lauluihin, joita kehittäjät saattavat odottaa käyttäjiltä. Kuuntelijat pitivät huomattavasti parempana SingSongin tuottamia instrumentaaleja verrattuna vahvan hakuperustason instrumentaaleihin verrattaessa pareittain samoihin äänituloihin.
Uusi järjestelmä sitä vastoin käyttää a syvän oppimisen malli joka on koulutettu laajalle musiikkitietojoukolle. Tämän ansiosta järjestelmä voi luoda säestyksen, joka on synkronoitu laulajan äänen ja ajoituksen kanssa.
Tutkimusta varten kuuntelijoille annetaan kaksi 10 sekunnin laulu-instrumentaalista sekoitusta, joissa äänet (otettu MUSDB18-testistä) ovat samat, kun taas instrumentaalit eroavat ja tulevat eri lähteistä (pohjatotuus, google mallittai perusviivat). Kysymys pyytää kuuntelijoita valitsemaan kumman kahdesta yhdistelmästä heidän mielestään instrumentaaliset taustat sopivat lauluun musiikillisesti paremmin.
| Suositeltu postaus: 7 parasta tekoälyn äänigeneraattoria ja äänen kloonaus tekstistä puheeksi |
SingSongin tuoreita esimerkkejä
Käyttämällä sarjaa syviä hermoverkkoja ja generatiiviset mallit, kehittäjät pystyvät tuottamaan harmonisia säesteitä ilman latenssia pidemmille segmenteille.
MUSDB18-tietojoukon ammattiääniä käytettiin edellisissä esimerkeissä. Olemme myös kiinnostuneita SingSongin kyvystä tukea ja mahdollistaa kuka tahansa musiikin luominen äänellään. Tässä tarkastelemme tätä käyttämällä Vocadito-tietojoukon laulunäytteitä, jotka sisältävät amatöörilaulajien tallenteita kulutuselektroniikassa.
Järjestelmä on vielä kehitysvaiheessa. Vaikka tutkijat sanovat, että sitä on parannettava ennen kuin sitä voidaan käyttää kaupallisesti, he uskovat, että sillä on potentiaalia mullistaa karaoketeollisuutta ja auttaa amatöörilaulajia löytämään heille sopivan säestyksen.
Lue lisää aiheeseen liittyviä artikkeleita:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
