MusicLM: nový model umělé inteligence pro převod textu na hudbu a obrázek na hudbu od společnosti Google
Stručně
Google představuje MusicLM, model pro generování vysoce věrné hudby z textových popisů.
MusicLM může být podmíněno textem i melodií v tom smyslu, že dokáže transformovat pískané a bzučící melodie podle stylu popsaného v textovém popisku.
Model umí vytvářet hudbu v různých žánrech, včetně klasiky, jazzu a rocku.
Google představuje MusicLM, model pro generování vysoce věrné hudby z textových popisů, jako je „uklidňující houslová melodie podpořená zkresleným kytarovým riffem“. MusicLM vrhá proces podmíněného generování hudby jako hierarchické modelování sekvencí a generuje hudbu při 24 kHz, která zůstává konzistentní po několik minut.
Experimenty Google ukazují, že MusicLM předčí předchozí systémy, a to jak kvalitou zvuku, tak dodržováním textového popisu. Navíc demonstruje, že MusicLM může být podmíněno textem i melodií tím, že dokáže transformovat pískané a bzučící melodie podle stylu popsaného v textovém titulku. Abychom podpořili budoucí výzkum, veřejně vydáváme MusicCaps, datovou sadu složenou z 5.5 XNUMX párů hudba-text s popisy ve formátu RTF, které poskytli odborníci na lidi.
| Související článek: Text-to-3D: Google vyvinul neuronovou síť, která generuje 3D modely z textových popisů |
Model MusicLM byl trénován na velkém korpusu hudebních partitur, což umožnilo umělé inteligenci naučit se strukturu hudby. Model umí vytvářet hudbu v různých žánrech, včetně klasiky, jazzu a rocku. Model AI navíc dokáže vytvářet nové, originální kompozice.
Model MusicLM je důležitým vývojem v oblasti hudby generované umělou inteligencí. Model představuje výrazný pokrok oproti předchozím modelům, které byly omezeny na kratší hudební skladby nebo byly schopny generovat pouze jednoduché melodie. Nový model otevírá možnost použití umělé inteligence ke generování dlouhých, komplexních hudebních skladeb, které lze použít ve filmech, videohrách nebo jiných médiích.
Nový model umělé inteligence dokáže generovat dlouhou hudbu generace do pěti minut.
| Související článek: Stable Diffusion může vytvářet novou hudbu generováním spektrogramů na základě textu |
Model AI dokáže vytvářet hudbu pomocí titulků z her a filmů.
Model AI navíc dokáže generovat hudbu pomocí obrázků jako vstupu.
Přečtěte si více o AI v hudebním průmyslu:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
