MusicLM: новая модель искусственного интеллекта для преобразования текста в музыку и изображения в музыку от Google.
Коротко
Google представляет MusicLM, модель для создания высококачественной музыки из текстовых описаний.
MusicLM может быть обусловлен как текстом, так и мелодией, поскольку он может преобразовывать свистящие и напевающие мелодии в соответствии со стилем, описанным в текстовой подписи.
Модель может генерировать музыку в различных жанрах, включая классику, джаз и рок.
Google представляет MusicLM, модель для создания высококачественной музыки из текстовых описаний, таких как «успокаивающая мелодия скрипки, сопровождаемая искаженным гитарным риффом». MusicLM представляет процесс условной генерации музыки как задачу моделирования иерархической последовательности за последовательностью и генерирует музыку на частоте 24 кГц, которая остается неизменной в течение нескольких минут.
Эксперименты Google показывают, что MusicLM превосходит предыдущие системы как по качеству звука, так и по следованию текстовому описанию. Более того, это демонстрирует, что MusicLM может быть обусловлен как текстом, так и мелодией, поскольку он может преобразовывать насвистывающие и напевающие мелодии в соответствии со стилем, описанным в текстовой подписи. Чтобы поддержать будущие исследования, мы публикуем MusicCaps, набор данных, состоящий из 5.5 тыс. пар «музыка-текст» с расширенными текстовыми описаниями, предоставленными экспертами.
| Связанная статья: Преобразование текста в 3D: Google разработала нейронную сеть, которая генерирует 3D-модели из текстовых описаний. |
Модель MusicLM была обучена на большом корпусе музыкальных партитур, что позволило ИИ изучить структуру музыки. Модель может генерировать музыку в различных жанрах, включая классику, джаз и рок. Кроме того, модель ИИ может создавать новые оригинальные композиции.
Модель MusicLM — важная разработка в области музыки, создаваемой искусственным интеллектом. Эта модель представляет собой значительный шаг вперед по сравнению с предыдущими моделями, которые были ограничены более короткими музыкальными произведениями или могли генерировать только простые мелодии. Новая модель открывает возможность использования ИИ для создания длинных и сложных музыкальных произведений, которые можно использовать в фильмах, видеоиграх или других медиа.
Новая модель ИИ может генерировать длинную музыку поколения до пяти минут.
| Связанная статья: Stable Diffusion может создавать новую музыку, генерируя спектрограммы на основе текста |
Модель ИИ может создавать музыку, используя титры из игр и фильмов.
Кроме того, модель ИИ может генерировать музыку, используя изображения в качестве входных данных.
Узнайте больше об искусственном интеллекте в музыкальной индустрии:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
