MusicLM: nový model umelej inteligencie pre prevod textu na hudbu a obrázok na hudbu od spoločnosti Google
Stručne
Google predstavuje MusicLM, model na generovanie hudby s vysokou vernosťou z textových popisov.
MusicLM môže byť podmienené textom aj melódiou tým, že dokáže premeniť pískané a bzučiace melódie podľa štýlu opísaného v textovom titulku.
Model môže vytvárať hudbu v rôznych žánroch vrátane klasiky, jazzu a rocku.
Google predstavuje MusicLM, model na vytváranie vernej hudby z textových popisov, ako napríklad „upokojujúca husľová melódia podporená skresleným gitarovým riffom“. MusicLM vrhá proces podmieneného generovania hudby ako hierarchickú úlohu modelovania medzi sekvenciami a generuje hudbu pri 24 kHz, ktorá zostáva konzistentná počas niekoľkých minút.
Experimenty Google ukazujú, že MusicLM prekonáva predchádzajúce systémy, a to ako v kvalite zvuku, tak aj v dodržiavaní textového popisu. Okrem toho demonštruje, že MusicLM môže byť podmienený textom aj melódiou tým, že dokáže transformovať pískané a bzučiace melódie podľa štýlu opísaného v textovom titulku. Na podporu budúceho výskumu verejne vydávame MusicCaps, súbor údajov zložený z 5.5 XNUMX párov hudby a textu s popismi vo formáte RTF, ktoré poskytli odborníci na ľudí.
| Súvisiaci článok: Text-to-3D: Google vyvinul neurónovú sieť, ktorá generuje 3D modely z textových popisov |
Model MusicLM bol trénovaný na veľkom súbore hudobných partitúr, čo umožnilo AI naučiť sa štruktúru hudby. Model môže vytvárať hudbu v rôznych žánroch vrátane klasiky, jazzu a rocku. Model AI navyše dokáže vytvárať nové, originálne kompozície.
Model MusicLM je dôležitým vývojom v oblasti hudby generovanej AI. Model predstavuje výrazný pokrok oproti predchádzajúcim modelom, ktoré boli obmedzené na kratšie hudobné skladby alebo boli schopné generovať iba jednoduché melódie. Nový model otvára možnosť využitia AI na generovanie dlhých, zložitých hudobných skladieb, ktoré by sa dali použiť vo filmoch, videohrách alebo iných médiách.
Nový model AI dokáže generovať dlhú hudbu generácie do piatich minút.
| Súvisiaci článok: Stable Diffusion môže vytvárať novú hudbu generovaním spektrogramov na základe textu |
Model AI dokáže vytvárať hudbu pomocou titulkov z hier a filmov.
Okrem toho môže model AI generovať hudbu pomocou obrázkov ako vstupu.
Prečítajte si viac o AI v hudobnom priemysle:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
