Futureverse представляє JEN-1: революційну модель ШІ для створення тексту в музику в реальному часі
Коротко
Futureverse, новаторська компанія, що розробляє штучний інтелект і технології метавсесвіту, представила JEN-1, модель штучного інтелекту, призначену для створення тексту в музику.
JEN-1 являє собою вражаючий стрибок у музичному штучному інтелекті завдяки досягненню безпрецедентного рівня вирівнювання тексту та музики та якості музики, зберігаючи при цьому високу обчислювальну ефективність.
Futureverse, компанія, що розробляє технології штучного інтелекту та метавсесвіт, оголосила про запуск JEN-1, нової моделі штучного інтелекту для створення тексту в музику. JEN-1 є значним прогресом у музичному штучному інтелекті, оскільки це перша модель, яка досягла найсучаснішої продуктивності у вирівнюванні тексту й музики та якості музики, зберігаючи ефективність обчислень.
«Ми ретельно оцінюємо JEN-1 за найсучаснішими базовими показниками за допомогою об’єктивних показників і людських оцінок. Результати демонструють, що JEN-1 створює музику перцепційно вищої якості (85.7/100) порівняно з найкращими поточними методами (83.8/100)», — написали у Futureverse.
Створювати музику з тексту важко через складну природу музичних аранжувань і потребу у високій частоті дискретизації. Відповідно до Стаття Futureverse, JEN-1 може подолати ці проблеми, оскільки його модель дифузії базується на авторегресійному та неавторегресійному навчанні. Це дозволяє JEN-1 створювати реалістичну та творчу музику.
Завдяки його обчислювальній ефективності можна використовувати JEN-1 для створення музики в режимі реального часу, що відкриває нові можливості для виробництва музики, живих виступів і віртуальної реальності.
Модель AI використовує спеціальний автокодер і дифузійна модель для безпосереднього створення детального стереоаудіо з високою частотою дискретизації 48 кГц. Крім того, JEN-1 дозволяє уникнути звичайної втрати якості під час перетворення аудіофункцій. Модель навчена виконувати кілька завдань, зокрема генерувати музику, продовжувати музичні послідовності та заповнювати відсутні частини, що робить її універсальною.
JEN-1 також вміло поєднує авторегресійні та неавторегресійні методи, щоб збалансувати компроміс між захопленням залежностей у музика і генерувати його ефективно. Крім того, модель штучного інтелекту використовує розумні методи навчання та навчена працювати з різними музичними аспектами одночасно.
JEN-1 проти MusicLM, MusicGen та інших моделей ШІ
Futureverse порівнює JEN-1 з поточними найсучаснішими моделями, такими як MusicLM від Google і MusicGen від Meta, і демонструє, що його підхід дає кращі результати щодо точності та реалістичності.
Оцінка базувалася на продуктивності різних моделей у тестовому наборі MusicCaps, який є набором даних пар музики та тексту. Futureverse використовував як кількісні, так і якісні показники для оцінки моделей. Кількісні показники включали оцінку FAD (Fidelity-Awareness-Disentanglement) і оцінку CLAP (Continuity-and-Local-Anomaly-Penalties). Якісні показники включали людську оцінку якості та вирівнювання створеної музики.
Результати показали, що JEN-1 перевершує інші моделі за кількісними та якісними показниками. JEN-1 мав найвищі бали FAD і CLAP і отримав найвищі бали від людей. Крім того, JEN-1 був більш ефективним в обчисленні, ніж інші моделі, лише з 22.6% параметрів MusicGen і 57.7% параметрів Noise2Music.
JEN-1 є ознакою зростаючого потенціалу ШІ в музичній індустрії. AI вже використовується для створення музики, але JEN-1 є значним кроком вперед. Це перша модель, яка досягла найсучаснішої продуктивності як за кількісними, так і за якісними параметрами, а також є більш ефективною з точки зору обчислень, ніж попередні моделі.
Детальніше:
- 20 найкращих зразків AI Text-to-Music із підказками Муберта
- Google AI анонсувала перший в історії генератор тексту в музику AudioLM
- MusicLM: нова модель AI для перетворення тексту в музику та зображення в музику від Google
- Futureverse об’єднує зусилля з Outlier Ventures для програми прискорення базового табору Futureverse
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Агне — журналістка, яка висвітлює останні тенденції та події в метавсесвіті, ШІ та Web3 промисловості для Metaverse Post. Її пристрасть до оповідання привела її до численних інтерв’ю з експертами в цих галузях, завжди прагнучи розкрити захоплюючі та привабливі історії. Агне має ступінь бакалавра літератури та має великий досвід написання текстів на різноманітні теми, включаючи подорожі, мистецтво та культуру. Вона також була волонтером редактора організації з прав тварин, де допомагала підвищувати обізнаність про проблеми добробуту тварин. Зв'яжіться з нею [захищено електронною поштою].
інші статті
Агне — журналістка, яка висвітлює останні тенденції та події в метавсесвіті, ШІ та Web3 промисловості для Metaverse Post. Її пристрасть до оповідання привела її до численних інтерв’ю з експертами в цих галузях, завжди прагнучи розкрити захоплюючі та привабливі історії. Агне має ступінь бакалавра літератури та має великий досвід написання текстів на різноманітні теми, включаючи подорожі, мистецтво та культуру. Вона також була волонтером редактора організації з прав тварин, де допомагала підвищувати обізнаність про проблеми добробуту тварин. Зв'яжіться з нею [захищено електронною поштою].
