SingSong: Изследователите на Google AI намират начин да генерират музика, която да придружава въведените вокали
Накратко
Новата система, наречена SingSong, използва deep модел на обучение за генериране на музика, която е по-синхронизирана с пеенето, отколкото съществуващите системи.
Изследователите казват, че системата може да се използва за създаване на песни за караоке за професионални певци или за подпомагане на певци аматьори да намерят акомпанимент, който съответства на техните гласове.
Изследователи от Google откриха начин да използват изкуствен интелект за генериране на музика, която е съвместима с пеенето. Новата система, наречена SingSong, използва модел за дълбоко обучение, за да генерира акомпанимент, който е по-синхронизиран с пеенето, отколкото други съществуващи системи. Изследователите казват, че системата може да се използва за създаване на песни за караоке за професионални певци или за подпомагане на певци аматьори да намерят акомпанимент, който по-добре отговаря на техните гласове.
Изпей песен е система, разработена от Google, която създава инструментална музика, която да придружава входните вокали. Може да предостави както на музикантите, така и на немузикантите прост нов подход за правене на музика, която включва техните собствени гласове. Разработчиците се основават на последните постижения в отделянето на музикални източници и аудио продукцията, за да постигнат това. Разработчиците специално използват авангарден метод за разделяне на източниците, за да изградят подравнени вокални и инструментални двойки източници от масивен корпус от музикални записи. След това разработчиците променят AudioLM, авангарден метод за безусловно аудио производство, така че да може да се обучава на двойки, разделени от източник (вокални, инструментални) за условни задачи за генериране на „аудио към аудио“.
| Препоръчителна публикация: Топ 5 AI музикални и аудио генератори за създаване на безплатни песни |
Изследователите на AI изследват различни характеристики на вокални входове, най-добрите от които подобряват количественото представяне на изолирани вокали с 53% в сравнение с характеристиките по подразбиране AudioLM, за да подобрят обобщаването на системата от разделени от източник данни за обучение (където вокалите съдържат артефакти на инструментални) до изолирани вокали, които разработчиците могат да очакват от потребителите. Слушателите показаха значително предпочитание към инструментали, произведени от SingSong пред тези от силна базова линия за извличане при сравнение по двойки със същите гласови входове.
Новата система, напротив, използва a модел на дълбоко обучение който е обучен върху голям набор от музикални данни. Това позволява на системата да генерира акомпанимент, който е в синхрон с гласа и времето на певеца.
За проучването на слушателите се дават две 10-секундни вокално-инструментални комбинации, в които гласовете (взети от теста MUSDB18) са еднакви, докато инструменталите се различават и идват от различни източници (основна истина, модели на google, или базови линии). Въпросът кара слушателите да изберат коя от двете комбинации смятат, че инструменталната подкрепа пасва повече на вокалите музикално.
| Препоръчителна публикация: Топ 7 AI гласови генератори и клониране на глас за текст към говор |
Свежите примери на SingSong
Чрез използване на серия от дълбоки невронни мрежи и генеративни модели, разработчиците са в състояние да произвеждат хармоничен акомпанимент без забавяне за по-дълги сегменти.
Професионалните гласове на набора от данни MUSDB18 бяха използвани в предходните примери. Ние също сме заинтригувани от способността на SingSong да поддържа и позволява на всеки да създава музика с гласа си. Тук разглеждаме това, като използваме вокални проби от набора от данни на Vocadito, който включва записи на вокалисти аматьори, направени на потребителска електроника.
Системата все още е в начален етап на развитие. Докато изследователите казват, че ще трябва да се подобри, преди да може да се използва комерсиално, те вярват, че има потенциала да революционизира караоке индустрията и да помогне на певците аматьори да намерят акомпанимент, който им върши добра работа.
Прочетете още свързани статии:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
