MusicLM: a Google új szöveg-zene és kép-zene AI modellje
Röviden
A Google bemutatja a MusicLM-et, egy modellt, amellyel szöveges leírásokból nagy hűségű zenét lehet előállítani.
A MusicLM szövegre és dallamra egyaránt kondicionálható annyiban, hogy képes a sípolt és dúdolt dallamokat a szövegfeliratban leírt stílusnak megfelelően átalakítani.
A modell képes zenét generálni sokféle műfajban, beleértve a klasszikust, a jazzt és a rockot.
A Google bemutatja a MusicLM-et, egy olyan modellt, amellyel szöveges leírásokból, például „egy torz gitárriffel megtámadott nyugtató hegedűdallamból nagy hűségű zenét lehet generálni”. A MusicLM a feltételes zenegenerálás folyamatát hierarchikus szekvencia-modellezési feladatként adja meg, és 24 kHz-en generál zenét, amely több percen keresztül konzisztens marad.
A Google kísérletei azt mutatják, hogy a MusicLM felülmúlja a korábbi rendszereket, mind hangminőségben, mind a szöveges leíráshoz való ragaszkodásban. Sőt, azt is bemutatja, hogy a MusicLM szövegre és dallamra egyaránt feltétele lehet, mivel képes a sípolt és dúdolt dallamokat a szövegfeliratban leírt stílusnak megfelelően átalakítani. A jövőbeli kutatások támogatása érdekében nyilvánosan kiadjuk a MusicCaps adatkészletet, amely 5.5 XNUMX zene-szöveg párból áll, humán szakértők által biztosított gazdag szöveges leírásokkal.
| Kapcsolódó cikk: Szöveg 3D-be: A Google kifejlesztett egy neurális hálózatot, amely szöveges leírásokból 3D modelleket generál |
A MusicLM-modellt egy nagy zenei partitúrán képezték ki, ami lehetővé tette az AI számára, hogy megtanulja a zene szerkezetét. A modell képes zenét generálni sokféle műfajban, beleértve a klasszikust, a jazzt és a rockot. Ezenkívül az AI-modell új, eredeti kompozíciókat tud létrehozni.
A MusicLM modell fontos fejlesztés az AI által generált zene területén. A modell jelentős előrelépést jelent a korábbi modellekhez képest, amelyek rövidebb zeneművekre korlátozódtak, vagy csak egyszerű dallamok generálására voltak képesek. Az új modell lehetővé teszi, hogy az AI segítségével hosszú, összetett zeneműveket állítsanak elő, amelyeket filmekben, videojátékokban vagy más médiában is felhasználhatnak.
Az új AI-modell hosszú zenét tud generálni legfeljebb öt perces generációk.
| Kapcsolódó cikk: Stable Diffusion szöveg alapján spektrogramok generálásával új zenéket hozhat létre |
Az AI modell képes zenét létrehozni játékok és filmek felirataival.
Ezenkívül az AI modell képes zenét generálni képek bemenetként történő felhasználásával.
További információ az AI-ról a zeneiparban:
Jogi nyilatkozat
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
