SingSong: дослідники Google AI знайшли спосіб генерувати музику для супроводу вхідного вокалу
Коротко
Нова система під назвою SingSong використовує deep модель навчання створювати музику, яка більше синхронізується зі співом, ніж існуючі системи.
Дослідники кажуть, що цю систему можна використовувати для створення караоке-треків для професійних співаків або для того, щоб допомогти співакам-любителям знайти акомпанемент, який відповідає їхнім голосам.
Дослідники Google знайшли спосіб використовувати штучний інтелект для створення музики, сумісної зі співом. Нова система під назвою SingSong використовує модель глибокого навчання для створення акомпанементу, який більше синхронізується зі співом, ніж інші існуючі системи. Дослідники кажуть, що цю систему можна використовувати для створення караоке-треків для професійних співаків або для того, щоб допомогти співакам-любителям знайти акомпанемент, який краще відповідає їхнім голосам.
Співати пісню це система, розроблена Google, яка створює інструментальну музику для супроводу вхідного вокалу. Це може надати як музикантам, так і немузикантам простий новий підхід до створення музики з їхніми власними голосами. Щоб досягти цього, розробники базуються на останніх досягненнях у розділенні музичних джерел і створенні звуку. Розробники спеціально використовують найсучасніший метод поділу джерел для побудови вирівняних вокальних та інструментальних пар джерел із величезного корпусу музичних записів. Потім розробники змінюють AudioLM, найсучасніший метод створення безумовного аудіо, який можна навчити на парах із розділеними джерелами (вокал, інструментал) для умовних завдань генерації «аудіо-аудіо».
| Рекомендований пост: 5 найкращих музичних і аудіогенераторів зі штучним інтелектом для створення безкоштовних композицій |
Дослідники штучного інтелекту досліджують різні характеристики вокальних вводів, найкраща з яких покращує кількісну продуктивність ізольованих вокалів на 53% порівняно з функціями AudioLM за замовчуванням, щоб покращити узагальнення системи на основі даних навчання, розділених джерелом (де вокал містить артефакти інструментальний) до ізольованого вокалу, якого розробники можуть очікувати від користувачів. Слухачі продемонстрували суттєву перевагу інструменталам, створеним SingSong, а не тим, що були отримані з сильної базової лінії пошуку в попарному порівнянні з однаковими голосовими введеннями.
Нова система, навпаки, використовує a модель глибокого навчання який був навчений на великому наборі музичних даних. Це дозволяє системі генерувати акомпанемент, який синхронізується з голосом і синхронізацією співака.
Для дослідження слухачам пропонують дві 10-секундні вокально-інструментальні композиції, в яких голоси (взяті з тесту MUSDB18) однакові, а інструментальна музика різниться та походить з різних джерел (основна правда, моделі Googleабо базові лінії). Запитання пропонує слухачам вибрати, яка з двох комбінацій, на їхню думку, інструментальний супровід більше підходить до вокалу в музичному плані.
| Рекомендований пост: 7 найкращих генераторів голосу штучного інтелекту та клонування голосу для синтезу мовлення |
Свіжі приклади SingSong
За допомогою серії глибоких нейронних мереж і генеративні моделі, розробники можуть створити гармонічний акомпанемент без затримки для довших сегментів.
Професійні голоси набору даних MUSDB18 використовувалися в попередніх прикладах. Ми також заінтриговані здатністю SingSong підтримувати та дозволяти будь-кому створювати музику своїм голосом. Тут ми перевіряємо це, використовуючи вокальні зразки з набору даних Vocadito, який включає записи вокалістів-аматорів, зроблені на побутовій електроніці.
Система ще знаходиться на ранніх стадіях розробки. Хоча дослідники кажуть, що його потрібно вдосконалити, перш ніж його можна буде використовувати в комерційних цілях, вони вірять, що він може зробити революцію в індустрії караоке та допомогти співакам-любителям знайти акомпанемент, який їм добре підходить.
Читайте більше пов’язаних статей:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
