SingSong: A Google AI-kutatói megtalálják a módját, hogy zenét generáljanak a bemeneti énekhez
Röviden
A SingSong nevű új rendszer mélyet használ tanulási modell olyan zenét generálni, amely jobban szinkronban van az énekléssel, mint a meglévő rendszerekkel.
A kutatók szerint a rendszer segítségével karaoke számokat hozhatnak létre professzionális énekesek számára, vagy segíthetnek az amatőr énekeseknek megtalálni a hangjukhoz illő kíséretet.
A Google kutatói megtalálták a módját, hogy mesterséges intelligencia segítségével olyan zenét állítsanak elő, amely kompatibilis az énekléssel. Az új rendszer, a SingSong egy mély tanulási modellt használ, hogy olyan kíséretet generáljon, amely jobban szinkronban van az énekléssel, mint más meglévő rendszerek. A kutatók szerint a rendszer használható karaoke számok készítésére professzionális énekesek számára, vagy segíthet az amatőr énekeseknek megtalálni a hangjukhoz jobban passzoló kíséretet.
Énekelni a dalt a Google által kifejlesztett rendszer, amely hangszeres zenét hoz létre bemeneti ének kíséretére. Mind a zenészeknek, mind a nem zenészeknek egy egyszerű, új megközelítést kínálhat a zenéléshez, amelyben saját hangjuk van. Ennek elérése érdekében a fejlesztők a zenei források szétválasztása és a hanggyártás terén elért legújabb fejlesztésekre építenek. A fejlesztők kifejezetten élvonalbeli forráselválasztási módszert alkalmaznak, hogy összehangolt ének- és hangszeres forráspárokat építsenek fel hatalmas zenei felvételekből. Ezután a fejlesztők módosítanak AudioLM, egy élvonalbeli módszer a feltétel nélküli hanggyártáshoz, így a forrástól elválasztott (ének, hangszeres) párokra tanítható feltételes „audió-audió” generálási feladatokhoz.
| Ajánlott bejegyzés: Az 5 legjobb AI zene- és hanggenerátor jogdíjmentes zeneszámok létrehozásához |
A mesterséges intelligencia kutatói az énekbemenetek különböző jellemzőit vizsgálják, amelyek közül a legjobb 53%-kal javítja a kvantitatív teljesítményt izolált vokálokon az alapértelmezett AudioLM jellemzőhöz képest, hogy javítsák a rendszer általánosítását a forrástól elkülönített képzési adatokból (ahol az ének a hangok műtermékeit tartalmazza). instrumentális) elszigetelt énekhangokra, amelyeket a fejlesztők elvárhatnak a felhasználóktól. A hallgatók lényegesen előnyben részesítették a SingSong által előállított instrumentálisokat az erős visszakeresési alapvonallal szemben, páronkénti összehasonlításban, azonos hangbemenettel.
Az új rendszer ezzel szemben a mély tanulási modell amelyet egy nagy zenei adathalmazra képeztek ki. Ez lehetővé teszi a rendszer számára, hogy olyan kíséretet generáljon, amely szinkronban van az énekes hangjával és időzítésével.
A tanulmányhoz a hallgatók két 10 másodperces vokális-instrumentális keverést kapnak, amelyekben a hangok (a MUSDB18-tesztből vettük) ugyanazok, míg az instrumentálisok különböznek és különböző forrásokból származnak (alap igazság, google modellekvagy alapvonalak). A kérdés arra kéri a hallgatókat, hogy válasszák ki, hogy a két kombináció közül melyiket érzik úgy, hogy a hangszeres alátámasztások zeneileg illeszkednek jobban az énekhanghoz.
| Ajánlott bejegyzés: A 7 legjobb mesterséges intelligencia hanggenerátor és hangklónozás a szövegfelolvasáshoz |
A SingSong friss példái
Egy sor mély neurális hálózat használatával és generatív modellek, a fejlesztők képesek késleltetés nélküli harmonikus kíséretet előállítani a hosszabb szegmensekhez.
Az előző példákban a MUSDB18 adatkészlet professzionális hangjait használtuk. Az is felkeltette az érdeklődésünket, hogy a SingSong képes támogatni és lehetővé tenni, hogy bárki zenét alkosson a hangjával. Itt ezt vizsgáljuk meg a Vocadito adatkészletének énekmintái segítségével, amely amatőr énekesek szórakoztatóelektronikai eszközökön készült felvételeit tartalmazza.
A rendszer még a fejlesztés kezdeti szakaszában van. Bár a kutatók azt mondják, hogy javítani kell rajta, mielőtt kereskedelmi forgalomba kerülne, úgy vélik, hogy forradalmasíthatja a karaoke-ipart, és segíthet az amatőr énekeseknek megtalálni a számukra megfelelő kíséretet.
Olvasson további kapcsolódó cikkeket:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
