Music-to-Dance : EDGE AI génère un nombre infini d'idées de danse pour TikTok en fonction de l'entrée audio
En bref
EDGE : le logiciel de chorégraphie généré par l'IA qui change le monde de la danse
L'université de Stanford a annoncé une puissante IA de musique à danse qui génère de la danse à partir d'une entrée audio appelée EDGE. EDGE est une méthode puissante de création de danse personnalisable qui peut produire des danses physiquement crédibles et réalistes tout en adhérant à n'importe quelle musique fournie. Avec l'aide de Jukebox, un puissant extracteur de fonctionnalités musicales et un modèle de diffusion basé sur un transformateur, EDGE offre de puissantes capacités d'édition idéales pour la danse, telles que le conditionnement des articulations, les mouvements intermédiaires et la poursuite de la danse. Il découvre que les évaluateurs humains favorisent grandement les danses générées par EDGE par rapport aux approches récentes comme Danse et FAIT.
De la musique à la chorégraphie : comment EDGE génère ses danses
Même pour les échantillons de musique trouvés dans la nature, EDGE peut produire des danses de haute qualité en utilisant des intégrations musicales du modèle robuste Jukebox. Un modèle Jukebox gelé est utilisé par EDGE pour incorporer la musique d'entrée. Une série de clips de danse de cinq secondes est utilisée pour enseigner un conditionnel modèle de diffusion comment mapper la musique intégrée dans les clips. Avant de joindre des lots de plusieurs clips pour créer une vidéo complète de longueur arbitraire, des contraintes temporelles sont appliquées pour assurer la cohérence temporelle.
Sorties de musique à danse fraîchement générées
Les limitations temporelles et spatiales arbitraires sont prises en charge par EDGE. Il existe de nombreuses applications d'utilisateur final qui peuvent être prises en charge par cela, notamment :
- En exigeant une continuité temporelle à travers des lots de nombreuses séquences, des danses de longueur arbitraire peuvent être produites.
- Danses qui incluent des restrictions articulaires, telles que le mouvement du bas du corps provoquant la génération du haut du corps, ou l'inverse.
- Danses avec des mouvements de début et de fin prédéterminés.
- Les danses qui commencent par un mouvement prédéterminé sont appelées continuations de danse.
Les chercheurs ont découvert que les observateurs humains préféraient massivement les danses générées par l'algorithme EDGE à celles générées par d'autres algorithmes. Les auteurs de l'étude affirment que l'algorithme EDGE représente une avancée majeure dans le domaine de la danse générée par ordinateur. Ils croient que l'algorithme pourrait être utilisé pour créer des danses pour le monde réel et événements virtuels, telles que les tendances sociales et TikTok, les mariages, les fêtes ou les réceptions d'entreprise.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
