Music-to-Dance: EDGE AI genera una cantidad infinita de ideas de baile para TikTok basadas en la entrada de audio
En Resumen
EDGE: el software de coreografía generado por IA que está cambiando el mundo de la danza
La Universidad de Stanford tiene anunció una poderosa IA de música para bailar que genera baile a partir de una entrada de audio llamada EDGE. EDGE es un método potente para la creación de baile personalizable que puede producir bailes realistas y físicamente creíbles mientras se adhiere a cualquier música suministrada. Con la ayuda de Jukebox, un potente extractor de características musicales y un modelo de difusión basado en transformadores, EDGE ofrece poderosas capacidades de edición que son ideales para la danza, como el acondicionamiento de las articulaciones, el movimiento intermedio y la continuación de la danza. Descubre que los evaluadores humanos prefieren en gran medida los bailes generados por EDGE en comparación con enfoques recientes como Bailando y HECHO.
De la música a la coreografía: cómo EDGE genera sus danzas
Incluso para muestras de música que se encuentran en la naturaleza, EDGE puede producir bailes de alta calidad utilizando incrustaciones de música del robusto modelo Jukebox. EDGE utiliza un modelo congelado de Jukebox para incorporar música de entrada. Se utiliza una serie de clips de baile de cinco segundos para enseñar un condicional. modelo de difusión cómo mapear la música incrustada en los clips. Antes de unir lotes de varios clips para crear un video completo de longitud arbitraria, se aplican restricciones temporales para garantizar la coherencia temporal.
Salidas de música para bailar recién generadas
EDGE admite limitaciones temporales y espaciales arbitrarias. Hay numerosas aplicaciones de usuario final que pueden ser compatibles con esto, que incluyen:
- Al requerir continuidad temporal a través de lotes de numerosas secuencias, se pueden producir bailes de duración arbitraria.
- Bailes que incluyen restricciones articulares, como el movimiento de la parte inferior del cuerpo que genera la generación de la parte superior del cuerpo, o lo contrario.
- Bailes con movimientos iniciales y finales predeterminados.
- Los bailes que comienzan con un movimiento predeterminado se conocen como continuaciones de baile.
Los investigadores descubrieron que los observadores humanos preferían abrumadoramente los bailes generados por el algoritmo EDGE a los generados por otros algoritmos. Los autores del estudio dicen que el algoritmo EDGE representa un gran avance en el campo de la danza generada por computadora. Creen que el algoritmo podría usarse para crear bailes para el mundo real y eventos virtuales, como tendencias sociales y TikTok, bodas, fiestas o funciones corporativas.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
