Звіт про новини Технологія
15 Лютого, 2023

SingSong: дослідники Google AI знайшли спосіб генерувати музику для супроводу вхідного вокалу

Коротко

Нова система під назвою SingSong використовує deep модель навчання створювати музику, яка більше синхронізується зі співом, ніж існуючі системи.

Дослідники кажуть, що цю систему можна використовувати для створення караоке-треків для професійних співаків або для того, щоб допомогти співакам-любителям знайти акомпанемент, який відповідає їхнім голосам.

Дослідники Google знайшли спосіб використовувати штучний інтелект для створення музики, сумісної зі співом. Нова система під назвою SingSong використовує модель глибокого навчання для створення акомпанементу, який більше синхронізується зі співом, ніж інші існуючі системи. Дослідники кажуть, що цю систему можна використовувати для створення караоке-треків для професійних співаків або для того, щоб допомогти співакам-любителям знайти акомпанемент, який краще відповідає їхнім голосам.

Караоке навпаки: дослідники ШІ знайшли спосіб створити музику для співу
Попередні системи для генерування акомпанементу спиралися на алгоритми, які намагалися узгодити синхронізацію та висоту співу.

Співати пісню це система, розроблена Google, яка створює інструментальну музику для супроводу вхідного вокалу. Це може надати як музикантам, так і немузикантам простий новий підхід до створення музики з їхніми власними голосами. Щоб досягти цього, розробники базуються на останніх досягненнях у розділенні музичних джерел і створенні звуку. Розробники спеціально використовують найсучасніший метод поділу джерел для побудови вирівняних вокальних та інструментальних пар джерел із величезного корпусу музичних записів. Потім розробники змінюють AudioLM, найсучасніший метод створення безумовного аудіо, який можна навчити на парах із розділеними джерелами (вокал, інструментал) для умовних завдань генерації «аудіо-аудіо».

Рекомендований пост: 5 найкращих музичних і аудіогенераторів зі штучним інтелектом для створення безкоштовних композицій

Дослідники штучного інтелекту досліджують різні характеристики вокальних вводів, найкраща з яких покращує кількісну продуктивність ізольованих вокалів на 53% порівняно з функціями AudioLM за замовчуванням, щоб покращити узагальнення системи на основі даних навчання, розділених джерелом (де вокал містить артефакти інструментальний) до ізольованого вокалу, якого розробники можуть очікувати від користувачів. Слухачі продемонстрували суттєву перевагу інструменталам, створеним SingSong, а не тим, що були отримані з сильної базової лінії пошуку в попарному порівнянні з однаковими голосовими введеннями.

Нова система, навпаки, використовує a модель глибокого навчання який був навчений на великому наборі музичних даних. Це дозволяє системі генерувати акомпанемент, який синхронізується з голосом і синхронізацією співака.

Для дослідження слухачам пропонують дві 10-секундні вокально-інструментальні композиції, в яких голоси (взяті з тесту MUSDB18) однакові, а інструментальна музика різниться та походить з різних джерел (основна правда, моделі Googleабо базові лінії). Запитання пропонує слухачам вибрати, яка з двох комбінацій, на їхню думку, інструментальний супровід більше підходить до вокалу в музичному плані.

Рекомендований пост: 7 найкращих генераторів голосу штучного інтелекту та клонування голосу для синтезу мовлення

Свіжі приклади SingSong

За допомогою серії глибоких нейронних мереж і генеративні моделі, розробники можуть створити гармонічний акомпанемент без затримки для довших сегментів.

Професійні голоси набору даних MUSDB18 використовувалися в попередніх прикладах. Ми також заінтриговані здатністю SingSong підтримувати та дозволяти будь-кому створювати музику своїм голосом. Тут ми перевіряємо це, використовуючи вокальні зразки з набору даних Vocadito, який включає записи вокалістів-аматорів, зроблені на побутовій електроніці.

Система ще знаходиться на ранніх стадіях розробки. Хоча дослідники кажуть, що його потрібно вдосконалити, перш ніж його можна буде використовувати в комерційних цілях, вони вірять, що він може зробити революцію в індустрії караоке та допомогти співакам-любителям знайти акомпанемент, який їм добре підходить.

Читайте більше пов’язаних статей:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
Pyth Network розгортає Pull Oracle на Solana, надаючи розробникам доступ до цін Oracle
Звіт про новини Технологія
Pyth Network розгортає Pull Oracle на Solana, надаючи розробникам доступ до цін Oracle
17 Червня, 2024.
ШІ та ігрові партнери Aethir Airdrop Токени власникам вузла перевірки
Featured Звіт про новини Технологія
ШІ та ігрові партнери Aethir Airdrop Токени власникам вузла перевірки
17 Червня, 2024.
Notional Finance повністю припинить підтримку V2 до кінця липня, закликає користувачів перейти на V3
Звіт про новини Технологія
Notional Finance повністю припинить підтримку V2 до кінця липня, закликає користувачів перейти на V3
17 Червня, 2024.
Tether запускає платформу Alloy за підтримки Tether Gold і представляє перший токен aUSD₮
ринки Звіт про новини Технологія
Tether запускає платформу Alloy за підтримки Tether Gold і представляє перший токен aUSD₮
17 Червня, 2024.
CRYPTOMERIA LABS PTE. LTD.