新闻报道 专业技术
2022 年 11 月 23 日

Music-to-Dance:EDGE AI 根据音频输入为 TikTok 生成无限数量的舞蹈创意

简单来说

EDGE:改变舞蹈世界的人工智能编舞软件

斯坦福大学有 公布 一种强大的音乐舞蹈 AI,可根据称为 EDGE 的音频输入生成舞蹈。 EDGE 是一种用于定制舞蹈创作的有效方法,可以在遵循任何提供的音乐的同时制作出物理上可信、逼真的舞蹈。 借助强大的音乐特征提取器 Jukebox 和基于变换器的扩散模型,EDGE 提供了非常适合舞蹈的强大编辑功能,例如关节调节、中间动作和舞蹈延续。 它发现,与最近的方法(如 Bailando 和事实。

Music-to-Dance:EDGE AI 根据音频输入为 TikTok 生成无限数量的舞蹈创意

从音乐到编舞:EDGE 如何产生它的舞蹈

即使对于在野外发现的音乐样本,EDGE 也可以使用来自强大的 Jukebox 模型的音乐嵌入来制作高质量的舞蹈。 EDGE 使用冻结的点唱机模型来合并输入音乐。 一系列五秒钟的舞蹈剪辑用于教授有条件的 扩散模型 如何映射嵌入到剪辑中的音乐。 在将多个剪辑的批次连接在一起以创建任意长度的完整视频之前,应用时间约束以确保时间一致性。

从音乐到编舞:EDGE 如何产生它的舞蹈
EDGE 在 5 秒的舞蹈片段上进行训练,但通过对序列批次施加时间限制,它能够创建任何长度的舞蹈。 在插图中,EDGE 强制每个序列的前半部分与前一个序列的后半部分匹配。

新生成的音乐到舞蹈输出

EDGE 支持任意时间和空间限制。 它可以支持许多最终用户应用程序,包括:

  • 通过要求多个序列批次之间的时间连续性,可以生成任意长度的舞蹈。
  • 包含关节限制的舞蹈,例如下半身运动导致上半身生成,或相反。
  • 以预先确定的开始和结束动作跳舞。
  • 以预定动作开始的舞蹈被称为舞蹈延续。
复杂的、刻意的、滑动的脚与地面的接触在舞蹈中很普遍。 新的 Contact Consistency Loss 在保持滑动的同时显着增强了物理真实感,使 EDGE 能够了解脚何时应该和不应该滑动。

研究人员发现,与其他算法生成的舞蹈相比,人类观察者绝大多数更喜欢 EDGE 算法生成的舞蹈。 该研究的作者表示,EDGE 算法代表了计算机生成舞蹈领域的重大进步。 他们相信该算法可用于为现实世界和 虚拟事件,例如社交和 TikTok 趋势、婚礼、派对或公司活动。

阅读有关人工智能的更多信息:

免责声明

在与行 信托项目指南,请注意,本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是,仅投资您可以承受损失的金额,并在有任何疑问时寻求独立的财务建议。 如需了解更多信息,我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告,但市场状况如有变更,恕不另行通知。

关于作者

Damir 是团队领导、产品经理和编辑 Metaverse Post,涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位,他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。 

更多文章
达米尔亚拉洛夫
达米尔亚拉洛夫

Damir 是团队领导、产品经理和编辑 Metaverse Post,涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位,他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。 

Hot Stories
加入我们的时事通讯。
最新消息

宣判日到来:美国法院考虑司法部的认罪,CZ 的命运悬而未决

赵长鹏将于今天在西雅图的美国法院接受宣判。

了解更多

Samourai Wallet 创始人被指控在暗网交易中协助 2 亿美元

Samourai 钱包创始人的被捕对整个行业来说是一个显着的挫折,凸显了持续的......

了解更多
加入我们的创新技术社区
了解更多
查看更多
Animoca Brands 与 Darewise 合作推出 Opal 比特币项目,进军比特币领域
企业 新闻报道 专业技术
Animoca Brands 与 Darewise 合作推出 Opal 比特币项目,进军比特币领域
2024 年 4 月 30 日
HashKey Group 与 GreenBTC.Club 联手,为 Bosera HashKey 比特币 ETF 实现碳中和
企业 新闻报道 专业技术
HashKey Group 与 GreenBTC.Club 联手,为 Bosera HashKey 比特币 ETF 实现碳中和
2024 年 4 月 30 日
六只现货比特币和以太币ETF在香港首次亮相,凸显香港引领加密货币市场的承诺
企业 市场 故事和评论 专业技术
六只现货比特币和以太币ETF在香港首次亮相,凸显香港引领加密货币市场的承诺
2024 年 4 月 30 日
特征层的 Airdrop 策略引发讨论,社区指控代币分配不公平
市场 新闻报道 专业技术
特征层的 Airdrop 策略引发讨论,社区指控代币分配不公平
2024 年 4 月 30 日