Futureverse разкрива JEN-1: Революционен AI модел за генериране на текст към музика в реално време
Накратко
Futureverse, пионерска технологична компания за AI и metaverse, представи JEN-1, AI модел, предназначен за генериране на текст към музика.
JEN-1 представлява забележителен скок напред в музикалния AI чрез постигане на безпрецедентни нива на подравняване на текст-музика и качество на музиката, като същевременно поддържа забележителна изчислителна ефективност.
Futureverse, компания за технологии и съдържание за AI и metaverse, обяви пускането на пазара на JEN-1, нов AI модел за генериране на текст към музика. JEN-1 е значителен напредък в музикалния AI, тъй като е първият модел, който постига най-съвременна производителност при подравняване на текст-музика и качество на музиката, като същевременно поддържа изчислителна ефективност.
„Ние обстойно оценяваме JEN-1 спрямо най-съвременните базови линии чрез обективни показатели и човешки оценки. Резултатите показват, че JEN-1 произвежда музика с перцептивно по-високо качество (85.7/100) в сравнение с настоящите най-добри методи (83.8/100)“, пише Futureverse.
Създаването на музика от текст е трудно поради сложния характер на музикалните аранжименти и необходимостта от висока честота на семплиране. Според Документът на Futureverse, JEN-1 може да преодолее тези предизвикателства, тъй като неговият дифузионен модел се основава на авторегресивно и неавторегресивно обучение. Това позволява на JEN-1 да генерира музика, която е реалистична и креативна.
Поради неговата изчислителна ефективност е възможно да се използва JEN-1 за генериране на музика в реално време, което отваря нови възможности за музикално производство, изпълнения на живо и виртуална реалност.
AI моделът използва специален автоенкодер и дифузионен модел директно да произвежда подробно стерео аудио при висока честота на дискретизация от 48kHz. Освен това, JEN-1 избягва обичайната загуба на качество при конвертиране на аудио функции. Моделът е обучен в множество задачи, включително генериране на музика, продължаване на музикални поредици и попълване на липсващи части, което го прави универсален.
JEN-1 също умело съчетава авторегресивни и неавторегресивни методи, за да балансира компромиса между улавянето на зависимости в музика и да го генерирате ефективно. В допълнение, AI моделът използва интелигентни техники за обучение и е обучен да се справя с различни музикални аспекти наведнъж.
JEN-1 срещу MusicLM, MusicGen и други AI модели
Futureverse сравнява JEN-1 с настоящите най-съвременни модели, като MusicLM от Google и MusicGen от Meta, и демонстрира, че неговият подход дава по-добри резултати по отношение на прецизността и реализма.
Оценката се основава на представянето на различни модели в набора от тестове MusicCaps, който представлява набор от музикални и текстови двойки. Futureverse използва както количествени, така и качествени мерки, за да оцени моделите. Количествените мерки включват резултата FAD (Fidelity-Awareness-Disentanglement) и резултата CLAP (Continuity-and-Local-Anomaly-Penalties). Качествените мерки включват човешки оценки на качеството и подравняването на генерираната музика.
Резултатите показват, че JEN-1 превъзхожда останалите модели по количествени и качествени мерки. JEN-1 имаше най-високите FAD и CLAP резултати и получи най-високите резултати от човешки оценители. В допълнение, JEN-1 беше по-ефективен в изчислително отношение от другите модели, само с 22.6% от параметрите на MusicGen и 57.7% от параметрите на Noise2Music.
JEN-1 е знак за нарастващия потенциал на AI в музикалната индустрия. AI вече се използва за създаване на музика, но JEN-1 е значителна стъпка напред. Това е първият модел, който постига най-съвременна производителност както на количествени, така и на качествени мерки, и също така е по-ефективен в изчислително отношение от предишните модели.
Чети повече:
- Топ 20 AI Text-to-Music мостри с подкани от Mubert
- Google AI обяви първия по рода си генератор на текст към музика AudioLM
- MusicLM: нов AI модел за преобразуване на текст към музика и изображение към музика от Google
- Futureverse обединява сили с Outlier Ventures за програмата за ускоряване на базовия лагер Futureverse
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Агне е журналист, който отразява най-новите тенденции и развития в метавселената, ИИ и Web3 индустрии за Metaverse Post. Нейната страст към разказването на истории я кара да провежда множество интервюта с експерти в тези области, като винаги се стреми да разкрива вълнуващи и ангажиращи истории. Агне има бакалавърска степен по литература и има богат опит в писането на широк спектър от теми, включително пътуване, изкуство и култура. Тя също е била доброволец като редактор на организацията за правата на животните, където е помогнала за повишаване на осведомеността относно проблемите, свързани с хуманното отношение към животните. Свържете се с нея на [имейл защитен].
Още статии
Агне е журналист, който отразява най-новите тенденции и развития в метавселената, ИИ и Web3 индустрии за Metaverse Post. Нейната страст към разказването на истории я кара да провежда множество интервюта с експерти в тези области, като винаги се стреми да разкрива вълнуващи и ангажиращи истории. Агне има бакалавърска степен по литература и има богат опит в писането на широк спектър от теми, включително пътуване, изкуство и култура. Тя също е била доброволец като редактор на организацията за правата на животните, където е помогнала за повишаване на осведомеността относно проблемите, свързани с хуманното отношение към животните. Свържете се с нея на [имейл защитен].
