Music-to-Dance: EDGE AI genereert een oneindig aantal dansideeën voor TikTok op basis van audio-invoer
In het kort
EDGE: de AI-gegenereerde choreografiesoftware die de danswereld verandert
Stanford University heeft aangekondigd een krachtige muziek-naar-dans-AI die dans genereert uit audio-invoer genaamd EDGE. EDGE is een krachtige methode voor het creëren van aanpasbare dans die fysiek geloofwaardige, realistische dansen kan produceren met behoud van de aangeleverde muziek. Met behulp van Jukebox, een krachtige extractor voor muziekfuncties, en een op een transformator gebaseerd diffusiemodel, biedt EDGE krachtige bewerkingsmogelijkheden die ideaal zijn voor dans, zoals gezamenlijke conditionering, beweging tussenin en dansvoortzetting. Het ontdekt dat menselijke beoordelaars een grote voorkeur hebben voor dansen gegenereerd door EDGE in vergelijking met recente benaderingen zoals Dancing en FEIT.
Van muziek tot choreografie: hoe EDGE zijn dansen genereert
Zelfs voor muzieksamples die in het wild worden gevonden, kan EDGE dansen van hoge kwaliteit produceren met behulp van muziekinbeddingen van het robuuste Jukebox-model. Een bevroren Jukebox-model wordt door EDGE gebruikt om invoermuziek op te nemen. Een reeks dansclips van vijf seconden wordt gebruikt om een conditionele les te geven diffusiemodel hoe de muziek die in de clips is ingesloten, in kaart kan worden gebracht. Voordat batches van meerdere clips worden samengevoegd om een volledige video van willekeurige lengte te maken, worden tijdsbeperkingen toegepast om tijdsconsistentie te garanderen.
Vers gegenereerde muziek-naar-dans-outputs
Willekeurige temporele en ruimtelijke beperkingen worden ondersteund door EDGE. Er zijn tal van eindgebruikerstoepassingen die hierdoor kunnen worden ondersteund, waaronder:
- Door tijdelijke continuïteit te eisen tussen batches van talloze sequenties, kunnen dansen van willekeurige lengte worden geproduceerd.
- Dansen met gewrichtsbeperkingen, zoals beweging van het onderlichaam die het genereren van het bovenlichaam veroorzaakt, of het tegenovergestelde.
- Dansen met vooraf bepaalde begin- en eindbewegingen.
- Dansen die beginnen met een vooraf bepaalde beweging staan bekend als dansvoortzettingen.
Onderzoekers ontdekten dat menselijke waarnemers overweldigend de voorkeur gaven aan dansen gegenereerd door het EDGE-algoritme boven dansen gegenereerd door andere algoritmen. De auteurs van het onderzoek zeggen dat het EDGE-algoritme een grote vooruitgang betekent op het gebied van computergegenereerde dans. Ze geloven dat het algoritme kan worden gebruikt om dansen te creëren voor de echte wereld en virtuele evenementen, zoals sociale en TikTok-trends, bruiloften, feesten of zakelijke evenementen.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
