Music-to-Dance: EDGE AI gera um número infinito de ideias de dança para o TikTok com base na entrada de áudio
Em Breve
EDGE: o software de coreografia gerado por IA que está mudando o mundo da dança
A Universidade de Stanford tem anunciou uma poderosa IA de música para dançar que gera dança a partir da entrada de áudio chamada EDGE. EDGE é um método potente para criação de dança personalizável que pode produzir danças fisicamente críveis e realistas enquanto adere a qualquer música fornecida. Com a ajuda do Jukebox, um poderoso extrator de recursos de música e modelo de difusão baseado em transformador, o EDGE oferece recursos de edição poderosos que são ideais para dança, como condicionamento conjunto, movimento intermediário e continuação de dança. Ele descobre que os avaliadores humanos favorecem muito as danças geradas por EDGE quando comparadas a abordagens recentes como Dançando e FATO.
Da música à coreografia: como EDGE gera suas danças
Mesmo para amostras de música encontradas na natureza, EDGE pode produzir danças de alta qualidade usando incorporações de música do robusto modelo Jukebox. Um modelo Jukebox congelado é usado por EDGE para incorporar música de entrada. Uma série de clipes de dança de cinco segundos são usados para ensinar uma modelo de difusão como mapear a música incorporada nos clipes. Antes de juntar lotes de vários clipes para criar um vídeo completo de duração arbitrária, as restrições temporais são aplicadas para garantir a consistência temporal.
Saídas de música para dança recém-geradas
Limitações arbitrárias temporais e espaciais são suportadas pelo EDGE. Existem vários aplicativos de usuário final que podem ser suportados por isso, incluindo:
- Ao exigir continuidade temporal entre lotes de numerosas sequências, podem ser produzidas danças de duração arbitrária.
- Danças que incluem restrições articulares, como o movimento da parte inferior do corpo causando a geração da parte superior do corpo ou o oposto.
- Danças com movimentos iniciais e finais pré-determinados.
- As danças que começam com um movimento predeterminado são conhecidas como continuações de dança.
Os pesquisadores descobriram que os observadores humanos preferiam danças geradas pelo algoritmo EDGE àquelas geradas por outros algoritmos. Os autores do estudo dizem que o algoritmo EDGE representa um grande avanço no campo da dança gerada por computador. Eles acreditam que o algoritmo pode ser usado para criar danças para o mundo real e eventos virtuais, como tendências sociais e do TikTok, casamentos, festas ou eventos corporativos.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
