Music-to-Dance: EDGE AI генерира безкраен брой танцови идеи за TikTok въз основа на аудио вход
Накратко
EDGE: Софтуерът за хореография, генериран от AI, който променя света на танците
Станфордският университет има оповестен мощен AI от музика към танц, който генерира танц от аудио вход, наречен EDGE. EDGE е мощен метод за персонализирано създаване на танци, който може да създаде физически правдоподобни, реалистични танци, като същевременно се придържа към всяка предоставена музика. С помощта на Jukebox, мощен инструмент за извличане на музикални функции и базиран на трансформатор дифузионен модел, EDGE предлага мощни възможности за редактиране, които са идеални за танц, като съвместно кондициониране, движение между тях и продължение на танца. Той открива, че човешките оценители много предпочитат танците, генерирани от EDGE, в сравнение с последните подходи като Bailando и ФАКТ.
От музика до хореография: Как EDGE генерира своите танци
Дори за музикални семпли, намерени в дивата природа, EDGE може да произведе висококачествени танци, използвайки музикални вграждания от здравия модел Jukebox. Замразен модел Jukebox се използва от EDGE за включване на входна музика. Поредица от петсекундни танцови клипове се използват за преподаване на условна форма дифузионен модел как да картографирате музиката, вградена в клиповете. Преди да се съединят партиди от множество клипове заедно, за да се създаде пълно видео с произволна дължина, се прилагат времеви ограничения, за да се осигури времева последователност.
Прясно генерирани изходи за музика към танц
Произволни времеви и пространствени ограничения се поддържат от EDGE. Има множество приложения за крайни потребители, които могат да бъдат поддържани от това, включително:
- Чрез изискване на времева непрекъснатост в партиди от многобройни поредици, могат да се произвеждат танци с произволна дължина.
- Танци, които включват ограничения на ставите, като например движение на долната част на тялото, причиняващо генериране на горната част на тялото, или обратното.
- Танци с начални и крайни движения, които са предварително определени.
- Танци, които започват с предварително определено движение, са известни като танцови продължения.
Изследователите установиха, че хората-наблюдатели преобладаващо предпочитат танците, генерирани от алгоритъма EDGE, пред тези, генерирани от други алгоритми. Авторите на изследването казват, че алгоритъмът EDGE представлява голям напредък в областта на компютърно генерирания танц. Те вярват, че алгоритъмът може да се използва за създаване на танци за реалния свят и виртуални събития, като социални и TikTok тенденции, сватби, партита или корпоративни събития.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
