Music-to-Dance: EDGE AI genera un nombre infinit d'idees de ball per a TikTok basades en l'entrada d'àudio
En breu
EDGE: el programari de coreografia generat per IA que està canviant el món de la dansa
La Universitat de Stanford ho té anunciat una potent IA de música per ballar que genera dansa a partir d'una entrada d'àudio anomenada EDGE. EDGE és un mètode potent per a la creació de dansa personalitzable que pot produir danses realistes i físicament creïbles mentre s'adhereix a qualsevol música subministrada. Amb l'ajuda de Jukebox, un potent extractor de característiques musicals i un model de difusió basat en transformadors, EDGE ofereix potents capacitats d'edició ideals per a la dansa, com ara el condicionament articular, el moviment intermedi i la continuació de la dansa. Descobreix que els avaluadors humans afavoreixen molt els balls generats per EDGE en comparació amb enfocaments recents com ballant i FET.
De la música a la coreografia: com EDGE genera els seus balls
Fins i tot per a mostres de música que es troben a la natura, EDGE pot produir danses d'alta qualitat utilitzant incrustacions de música del robust model Jukebox. EDGE utilitza un model de Jukebox congelat per incorporar música d'entrada. S'utilitzen una sèrie de clips de dansa de cinc segons per ensenyar un condicional model de difusió com mapejar la música incrustada als clips. Abans d'unir lots de diversos clips junts per crear un vídeo complet de durada arbitrària, s'apliquen restriccions temporals per garantir la coherència temporal.
Sortides de música per ballar recentment generades
EDGE admet limitacions temporals i espacials arbitràries. Hi ha nombroses aplicacions d'usuari final que poden ser compatibles amb això, com ara:
- En requerir continuïtat temporal entre lots de nombroses seqüències, es poden produir danses de longitud arbitrària.
- Balls que inclouen restriccions articulars, com ara el moviment de la part inferior del cos que provoca la generació de la part superior del cos, o el contrari.
- Balls amb moviments inicials i finals predeterminats.
- Les danses que comencen amb un moviment predeterminat es coneixen com a continuacions de ball.
Els investigadors van trobar que els observadors humans preferien aclaparadorament les danses generades per l'algoritme EDGE a les generades per altres algorismes. Els autors de l'estudi diuen que l'algoritme EDGE representa un gran avenç en el camp de la dansa generada per ordinador. Creuen que l'algoritme es podria utilitzar per crear balls per al món real i esdeveniments virtuals, com ara tendències socials i de TikTok, casaments, festes o funcions corporatives.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
