Music-to-Dance: EDGE AI genererar ett oändligt antal dansidéer för TikTok baserat på ljudingång
I korthet
EDGE: Den AI-genererade koreografimjukvaran som förändrar dansvärlden
Stanford University har meddelade en kraftfull musik-till-dans AI som genererar dans från ljudingång som kallas EDGE. EDGE är en kraftfull metod för anpassningsbar dansskapande som kan producera fysiskt trovärdiga, realistiska danser samtidigt som man följer all medföljande musik. Med hjälp av Jukebox, en kraftfull musikfunktionsextraktor, och transformatorbaserad diffusionsmodell, erbjuder EDGE kraftfulla redigeringsmöjligheter som är idealiska för dans, såsom ledmässig konditionering, rörelser däremellan och dansfortsättning. Den upptäcker att mänskliga bedömare i hög grad föredrar danser som genereras av EDGE jämfört med nya metoder som Bailando och FAKTA.
Från musik till koreografi: Hur EDGE genererar sina danser
Även för musikprover som finns i naturen kan EDGE producera danser av hög kvalitet med musikinbäddningar från den robusta Jukebox-modellen. En frusen Jukebox-modell används av EDGE för att införliva ingångsmusik. En serie av fem sekunder långa dansklipp används för att lära ut en villkorlig diffusionsmodell hur man kartlägger musiken inbäddad i klippen. Innan man sammanfogar grupper av flera klipp för att skapa en godtycklig längd i full video, tillämpas tidsmässiga begränsningar för att säkerställa tidsmässig konsistens.
Nyskapade musik-till-dans-utgångar
Godtyckliga tids- och rumsbegränsningar stöds av EDGE. Det finns många slutanvändarapplikationer som kan stödjas av detta, inklusive:
- Genom att kräva tidsmässig kontinuitet över batcher av många sekvenser, kan godtyckliga danser produceras.
- Danser som inkluderar ledbegränsningar, såsom rörelse i underkroppen som orsakar generering av överkroppen, eller tvärtom.
- Danser med start- och slutrörelser som är förutbestämda.
- Danser som börjar med en förutbestämd rörelse kallas fortsättningar av dans.
Forskare fann att mänskliga observatörer överväldigande föredrog danser som genererades av EDGE-algoritmen framför de som genererades av andra algoritmer. Studiens författare säger att EDGE-algoritmen representerar ett stort framsteg inom området datorgenererad dans. De tror att algoritmen kan användas för att skapa danser för verkliga och virtuella händelser, såsom sociala och TikTok-trender, bröllop, fester eller företagsevenemang.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
