MusicLM: un nou model d'IA de text a música i imatge a música de Google
En breu
Google presenta MusicLM, un model per generar música d'alta fidelitat a partir de descripcions de text.
MusicLM es pot condicionar tant al text com a una melodia, ja que pot transformar melodies xiulades i tararejades segons l'estil descrit en un títol de text.
El model pot generar música en una varietat de gèneres, com el clàssic, el jazz i el rock.
Google presenta MusicLM, un model per generar música d'alta fidelitat a partir de descripcions de text com "una melodia de violí tranquil·litzadora recolzada per un riff de guitarra distorsionat". MusicLM presenta el procés de generació de música condicional com una tasca de modelatge jeràrquica de seqüència a seqüència i genera música a 24 kHz que es manté constant durant uns quants minuts.
Els experiments de Google mostren que MusicLM supera els sistemes anteriors, tant en qualitat d'àudio com en adherència a la descripció del text. A més, demostra que MusicLM es pot condicionar tant al text com a una melodia, ja que pot transformar melodies xiulades i tararejades segons l'estil descrit en un títol de text. Per donar suport a futures investigacions, publiquem MusicCaps, un conjunt de dades compost per 5.5 mil parells de música i text amb descripcions de text enriquit proporcionades per experts humans.
| Article relacionat: Text-to-3D: Google ha desenvolupat una xarxa neuronal que genera models 3D a partir de descripcions de text |
El model MusicLM s'ha entrenat en un ampli corpus de partitures musicals, la qual cosa ha permès a l'IA aprendre l'estructura de la música. El model pot generar música en una varietat de gèneres, com el clàssic, el jazz i el rock. A més, el model d'IA pot crear composicions noves i originals.
El model MusicLM és un desenvolupament important en el camp de la música generada per IA. El model representa un avenç important respecte a models anteriors, que es limitaven a peces musicals més curtes o només capaços de generar melodies simples. El nou model obre la possibilitat d'utilitzar la IA per generar peces musicals llargues i complexes, que es podrien utilitzar en pel·lícules, videojocs o altres mitjans.
El nou model d'IA pot generar música llarga generacions de fins a cinc minuts.
| Article relacionat: Stable Diffusion pot crear música nova generant espectrogrames basats en text |
El model d'IA pot crear música mitjançant subtítols de jocs i pel·lícules.
A més, el model d'IA pot generar música utilitzant imatges com a entrada.
Més informació sobre la IA a la indústria de la música:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
