MusicLM: нов AI модел за преобразуване на текст към музика и изображение към музика от Google
Накратко
Google представя MusicLM, модел за генериране на висококачествена музика от текстови описания.
MusicLM може да се обуславя както от текст, така и от мелодия, тъй като може да преобразува подсвиркващи и тананикащи мелодии според стила, описан в текстов надпис.
Моделът може генерира музика в различни жанрове, включително класика, джаз и рок.
Google представя MusicLM, модел за генериране на висококачествена музика от текстови описания като „успокояваща мелодия на цигулка, подкрепена от изкривен китарен риф“. MusicLM преобразува процеса на генериране на условна музика като задача за моделиране на йерархична последователност към последователност и генерира музика при 24 kHz, която остава постоянна за няколко минути.
Експериментите на Google показват, че MusicLM превъзхожда предишните системи, както по качество на звука, така и по отношение на придържането към текстовото описание. Освен това, той демонстрира, че MusicLM може да бъде обусловен както от текст, така и от мелодия, тъй като може да трансформира подсвиркващи и тананикащи мелодии според стила, описан в текстов надпис. За да подпомогнем бъдещи изследвания, ние публично пускаме MusicCaps, набор от данни, съставен от 5.5k двойки музика-текст с обогатени текстови описания, предоставени от човешки експерти.
| Свързана статия: Text-to-3D: Google разработи невронна мрежа, която генерира 3D модели от текстови описания |
Моделът MusicLM е обучен върху голям корпус от музикални партитури, което е позволило на AI да научи структурата на музиката. Моделът може генерира музика в различни жанрове, включително класика, джаз и рок. В допълнение, AI моделът може да създава нови, оригинални композиции.
Моделът MusicLM е важно развитие в областта на музиката, генерирана от AI. Моделът представлява значителен напредък спрямо предишните модели, които бяха ограничени до по-кратки музикални парчета или способни само да генерират прости мелодии. Новият модел отваря възможността за използване на AI за генериране на дълги, сложни музикални парчета, които могат да се използват във филми, видео игри или други медии.
Новият AI модел може да генерира дълга музика поколения до пет минути.
| Свързана статия: Stable Diffusion може да създава нова музика чрез генериране на спектрограми въз основа на текст |
AI моделът може да създава музика, използвайки надписи от игри и филми.
В допълнение, AI моделът може да генерира музика, използвайки изображения като вход.
Прочетете повече за AI в музикалната индустрия:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
