MusicLM: нова модель AI для перетворення тексту в музику та зображення в музику від Google
Коротко
Google представляє MusicLM, модель для створення високоякісної музики з текстових описів.
MusicLM може бути створений як для тексту, так і для мелодії, оскільки він може трансформувати свистячі та гудливі мелодії відповідно до стилю, описаного в текстовому підписі.
Модель може створювати музику у різноманітних жанрах, включаючи класику, джаз та рок.
Google представляє MusicLM, модель для створення високоякісної музики з текстових описів, таких як «заспокійлива мелодія скрипки, підкріплена спотвореним гітарним рифом». MusicLM перетворює процес створення умовної музики як ієрархічне завдання моделювання послідовності до послідовності, і він генерує музику на 24 кГц, яка залишається постійною протягом кількох хвилин.
Експерименти Google показують, що MusicLM перевершує попередні системи як за якістю звуку, так і за дотриманням текстового опису. Крім того, це демонструє, що MusicLM може бути обумовлений як текстом, так і мелодією, оскільки він може трансформувати свистячі та гудливі мелодії відповідно до стилю, описаного в текстовому підписі. Щоб підтримати майбутні дослідження, ми публічно випускаємо MusicCaps, набір даних, що складається з 5.5 тисяч пар музика-текст із розширеним текстовим описом, наданим експертами.
| Пов'язана стаття: Text-to-3D: Google розробив нейронну мережу, яка створює 3D-моделі з текстових описів |
Модель MusicLM була навчена на великому корпусі музичних партитур, що дозволило ШІ вивчати структуру музики. Модель може створювати музику у різноманітних жанрах, включаючи класику, джаз та рок. Крім того, модель AI може створювати нові, оригінальні композиції.
Модель MusicLM є важливою розробкою в галузі музики, створеної штучним інтелектом. Ця модель є значною перевагою в порівнянні з попередніми моделями, які були обмежені коротшими музичними фрагментами або здатні генерувати лише прості мелодії. Нова модель відкриває можливість використовувати штучний інтелект для створення довгих складних музичних творів, які можна використовувати у фільмах, відеоіграх чи інших носіях.
Нова модель AI може створювати довгу музику поколінь до п'яти хвилин.
| Пов'язана стаття: Stable Diffusion може створювати нову музику, генеруючи спектрограми на основі тексту |
ШІ-модель може створювати музику, використовуючи титри з ігор і фільмів.
Крім того, модель ШІ може створювати музику, використовуючи зображення як вхідні дані.
Докладніше про ШІ в музичній індустрії:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
