MusicLM: en ny text-till-musik och bild-till-musik AI-modell från Google
I korthet
Google introducerar MusicLM, en modell för att generera högfientlig musik från textbeskrivningar.
MusicLM kan betingas av både text och melodi genom att den kan förvandla visslade och nynnade melodier enligt den stil som beskrivs i en textbild.
Modellen kan skapa musik i en mängd olika genrer, inklusive klassisk, jazz och rock.
Google introducerar MusicLM, en modell för att generera högtrogen musik från textbeskrivningar som "en lugnande fiolmelodi med stöd av ett förvrängt gitarriff." MusicLM visar processen med villkorad musikgenerering som en hierarkisk sekvens-till-sekvens-modelleringsuppgift, och den genererar musik vid 24 kHz som förblir konsekvent under flera minuter.
Googles experiment visar att MusicLM överträffar tidigare system, både vad gäller ljudkvalitet och efterlevnad av textbeskrivningen. Dessutom visar den att MusicLM kan betingas av både text och melodi genom att den kan transformera visslade och nynnande melodier enligt den stil som beskrivs i en textbild. För att stödja framtida forskning släpper vi offentligt MusicCaps, en datauppsättning som består av 5.5 XNUMX musik-text-par med rika textbeskrivningar från mänskliga experter.
| Relaterad artikel: Text-till-3D: Google har utvecklat ett neuralt nätverk som genererar 3D-modeller från textbeskrivningar |
MusicLM-modellen har tränats på en stor korpus av musikmusik, vilket har gjort det möjligt för AI:n att lära sig musikens struktur. Modellen kan skapa musik i en mängd olika genrer, inklusive klassisk, jazz och rock. Dessutom kan AI-modellen skapa nya, originella kompositioner.
MusicLM-modellen är en viktig utveckling inom området AI-genererad musik. Modellen representerar ett betydande framsteg jämfört med tidigare modeller, som var begränsade till kortare musikstycken eller bara kunde generera enkla melodier. Den nya modellen öppnar för möjligheten att använda AI för att generera långa, komplexa musikstycken, som kan användas i filmer, tv-spel eller andra medier.
Den nya AI-modellen kan generera lång musik generationer på upp till fem minuter.
| Relaterad artikel: Stable Diffusion kan skapa ny musik genom att generera spektrogram baserat på text |
AI-modellen kan skapa musik med hjälp av bildtexter från spel och filmer.
Dessutom kan AI-modellen generera musik med bilder som input.
Läs mer om AI i musikbranschen:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
