SingSong: исследователи Google AI нашли способ генерировать музыку для сопровождения входного вокала
Коротко
Новая система под названием SingSong использует глубокую модель обучения создавать музыку, которая больше синхронизируется с пением, чем существующие системы.
Исследователи говорят, что систему можно использовать для создания караоке-треков для профессиональных певцов или для помощи певцам-любителям в поиске аккомпанемента, соответствующего их голосу.
Исследователи из Google нашли способ использовать искусственный интеллект для создания музыки, совместимой с пением. Новая система под названием SingSong использует модель глубокого обучения для создания аккомпанемента, который более синхронизирован с пением, чем другие существующие системы. Исследователи говорят, что система может быть использована для создания караоке-треков для профессиональных певцов или для помощи певцам-любителям в поиске аккомпанемента, который лучше соответствует их голосу.
Петь песню это система, разработанная Google, которая создает инструментальную музыку для сопровождения входного вокала. Это может предоставить как музыкантам, так и не музыкантам простой новый подход к созданию музыки с использованием их собственных голосов. Для достижения этой цели разработчики опираются на последние достижения в области разделения музыкальных источников и производства звука. Разработчики специально используют передовой метод разделения источников для создания согласованных пар вокальных и инструментальных источников из огромного массива музыкальных записей. Затем разработчики модифицируют АудиоLM, передовой метод безусловного производства звука, так что его можно обучить на парах с разделением источника (вокальные, инструментальные) для условных задач генерации «аудио-аудио».
| Рекомендуемый пост: 5 лучших генераторов музыки и аудио с искусственным интеллектом для создания треков без лицензионных отчислений |
Исследователи ИИ исследуют различные характеристики вокальных входов, лучшая из которых повышает количественную производительность на изолированном вокале на 53% по сравнению с характеристикой AudioLM по умолчанию, чтобы улучшить обобщение системы на основе данных обучения с разделением по источникам (где вокалы содержат артефакты инструментал) к изолированному вокалу, которого разработчики могли бы ожидать от пользователей. Слушатели продемонстрировали существенное предпочтение инструментальным композициям, созданным SingSong, по сравнению с инструментами из сильного исходного уровня при попарном сравнении с теми же голосовыми вводами.
Новая система, напротив, использует модель глубокого обучения который был обучен на большом наборе музыкальных данных. Это позволяет системе генерировать аккомпанемент, синхронизированный с голосом певца и ритмом.
Для исследования слушателям предоставляются два 10-секундных вокально-инструментальных микса, в которых голоса (взятые из теста MUSDB18) одинаковы, а инструментальные партии различаются и взяты из разных источников (основная истина, модели Googleили базовые линии). В вопросе слушателям предлагается выбрать, какая из двух комбинаций, по их мнению, инструментальная поддержка более музыкально соответствует вокалу.
| Рекомендуемый пост: Топ-7 генераторов голоса с искусственным интеллектом и клонирование голоса для преобразования текста в речь |
Свежие примеры SingSong
Используя серию глубоких нейронных сетей и генеративные модели, разработчики могут создавать гармонические аккомпанементы без задержек для более длинных сегментов.
В предыдущих примерах использовались профессиональные голоса из набора данных MUSDB18. Мы также заинтригованы способностью SingSong поддерживать и позволять любому создавать музыку своим голосом. Здесь мы исследуем это, используя вокальные образцы из набора данных Vocadito, который включает в себя записи вокалистов-любителей, сделанные с помощью бытовой электроники.
Система все еще находится на ранней стадии разработки. Хотя исследователи говорят, что его необходимо улучшить, прежде чем его можно будет использовать в коммерческих целях, они считают, что он может произвести революцию в индустрии караоке и помочь певцам-любителям найти аккомпанемент, который им подходит.
Читайте больше статей по теме:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
