Nieuwsverslag Technologie
23 november 2022

Music-to-Dance: EDGE AI genereert een oneindig aantal dansideeën voor TikTok op basis van audio-invoer

In het kort

EDGE: de AI-gegenereerde choreografiesoftware die de danswereld verandert

Stanford University heeft aangekondigd een krachtige muziek-naar-dans-AI die dans genereert uit audio-invoer genaamd EDGE. EDGE is een krachtige methode voor het creëren van aanpasbare dans die fysiek geloofwaardige, realistische dansen kan produceren met behoud van de aangeleverde muziek. Met behulp van Jukebox, een krachtige extractor voor muziekfuncties, en een op een transformator gebaseerd diffusiemodel, biedt EDGE krachtige bewerkingsmogelijkheden die ideaal zijn voor dans, zoals gezamenlijke conditionering, beweging tussenin en dansvoortzetting. Het ontdekt dat menselijke beoordelaars een grote voorkeur hebben voor dansen gegenereerd door EDGE in vergelijking met recente benaderingen zoals Dancing en FEIT.

Music-to-Dance: EDGE AI genereert een oneindig aantal dansideeën voor TikTok op basis van audio-invoer

Van muziek tot choreografie: hoe EDGE zijn dansen genereert

Zelfs voor muzieksamples die in het wild worden gevonden, kan EDGE dansen van hoge kwaliteit produceren met behulp van muziekinbeddingen van het robuuste Jukebox-model. Een bevroren Jukebox-model wordt door EDGE gebruikt om invoermuziek op te nemen. Een reeks dansclips van vijf seconden wordt gebruikt om een ​​conditionele les te geven diffusiemodel hoe de muziek die in de clips is ingesloten, in kaart kan worden gebracht. Voordat batches van meerdere clips worden samengevoegd om een ​​volledige video van willekeurige lengte te maken, worden tijdsbeperkingen toegepast om tijdsconsistentie te garanderen.

Van muziek tot choreografie: hoe EDGE zijn dansen genereert
EDGE is getraind op dansfragmenten van 5 seconden, maar door temporele beperkingen op te leggen aan reeksen sequenties, is het in staat om dansen van elke lengte te creëren. In de afbeelding dwingt EDGE de eerste helft van elke reeks om overeen te komen met de tweede helft van de vorige.

Vers gegenereerde muziek-naar-dans-outputs

Willekeurige temporele en ruimtelijke beperkingen worden ondersteund door EDGE. Er zijn tal van eindgebruikerstoepassingen die hierdoor kunnen worden ondersteund, waaronder:

  • Door tijdelijke continuïteit te eisen tussen batches van talloze sequenties, kunnen dansen van willekeurige lengte worden geproduceerd.
  • Dansen met gewrichtsbeperkingen, zoals beweging van het onderlichaam die het genereren van het bovenlichaam veroorzaakt, of het tegenovergestelde.
  • Dansen met vooraf bepaalde begin- en eindbewegingen.
  • Dansen die beginnen met een vooraf bepaalde beweging staan ​​bekend als dansvoortzettingen.
Complex, opzettelijk, glijdend voet-grondcontact komt veel voor in de dans. Nieuw contactconsistentieverlies, dat het fysieke realisme aanzienlijk verbetert terwijl het glijden behouden blijft, stelt EDGE in staat om te leren wanneer voeten wel en niet mogen glijden.

Onderzoekers ontdekten dat menselijke waarnemers overweldigend de voorkeur gaven aan dansen gegenereerd door het EDGE-algoritme boven dansen gegenereerd door andere algoritmen. De auteurs van het onderzoek zeggen dat het EDGE-algoritme een grote vooruitgang betekent op het gebied van computergegenereerde dans. Ze geloven dat het algoritme kan worden gebruikt om dansen te creëren voor de echte wereld en virtuele evenementen, zoals sociale en TikTok-trends, bruiloften, feesten of zakelijke evenementen.

Lees meer over AI:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Hot Stories
Schrijf je in op onze nieuwsbrief.
Laatste Nieuws

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
Crypto Exchange Jupiter introduceert Jupiter Swap V3, Dynamic Slippage, naast andere belangrijke updates in de komende weken
markten Nieuwsverslag Technologie
Crypto Exchange Jupiter introduceert Jupiter Swap V3, Dynamic Slippage, naast andere belangrijke updates in de komende weken
14 June 2024
Polygon introduceert zijn governance-hub, die een uniforme, transparante interface biedt voor gemeenschapsbestuur
Nieuwsverslag Technologie
Polygon introduceert zijn governance-hub, die een uniforme, transparante interface biedt voor gemeenschapsbestuur 
14 June 2024
Binance registreert meer dan 30 miljoen nieuwe gebruikers in 2024, klantenactiva overschrijden de mijlpaal van $100 miljard
markten Nieuwsverslag Technologie
Binance registreert meer dan 30 miljoen nieuwe gebruikers in 2024, klantenactiva overschrijden de mijlpaal van $100 miljard
14 June 2024
Amazon ondersteunt generatieve AI-startups met een investering van $230 miljoen en wijst $80 miljoen toe aan zijn tweede AWS Generative AI Accelerator-programma
Business Nieuwsverslag Technologie
Amazon ondersteunt generatieve AI-startups met een investering van $230 miljoen en wijst $80 miljoen toe aan zijn tweede AWS Generative AI Accelerator-programma
14 June 2024