СингСонг: Гоогле истраживачи вештачке интелигенције проналазе начин да генеришу музику која ће пратити улазне вокале
Укратко
Нови систем под називом СингСонг користи дубок модел учења да генерише музику која је више синхронизована са певањем од постојећих система.
Истраживачи кажу да би систем могао да се користи за креирање караоке нумера за професионалне певаче или да помогне певачима аматерима да пронађу пратњу која одговара њиховим гласовима.
Истраживачи у Гуглу пронашли су начин да користе вештачку интелигенцију за генерисање музике која је компатибилна са певањем. Нови систем, назван СингСонг, користи модел дубоког учења за генерисање пратње која је више синхронизована са певањем од других постојећих система. Истраживачи кажу да би систем могао да се користи за креирање караоке нумера за професионалне певаче или да помогне певачима аматерима да пронађу пратњу која боље одговара њиховом гласу.
СингСонг је систем који је развио Гоогле који ствара инструменталну музику која прати улазне вокале. Може да пружи и музичарима и не-музичарима једноставан нови приступ стварању музике који садржи њихове сопствене гласове. Програмери се ослањају на недавна достигнућа у раздвајању музичких извора и аудио продукције да би то постигли. Програмери посебно користе најсавременију методу раздвајања извора да би направили усклађене парове вокалних и инструменталних извора из огромног корпуса музичких снимака. Затим програмери модификују АудиоЛМ, најсавременији метод за безусловну аудио продукцију, тако да се може обучити на паровима одвојеним од извора (вокални, инструментални) за условне задатке генерисања „аудио-то-аудио“.
| Препоручени пост: 5 најбољих АИ музичких и аудио генератора за креирање песама без накнаде |
Истраживачи вештачке интелигенције истражују различите карактеристике вокалних улаза, од којих најбољи побољшава квантитативне перформансе на изолованим вокалима за 53% у поређењу са подразумеваном карактеризацијом АудиоЛМ-а, како би побољшали генерализацију система из података о обуци одвојених од извора (где вокали садрже артефакте инструментални) до изолованих вокала које програмери могу очекивати од корисника. Слушаоци су показали значајну преференцију за инструментале које је произвео СингСонг у односу на оне са јаког основног тражења у поређењу са истим гласовним уносима.
Нови систем, насупрот томе, користи а модел дубоког учења који је обучен на великом скупу музичких података. Ово омогућава систему да генерише пратњу која је синхронизована са певачевим гласом и временом.
За студију, слушаоци добијају две вокално-инструменталне мешавине од 10 секунди у којима су гласови (преузети из МУСДБ18-теста) исти док се инструментали разликују и долазе из различитих извора (основна истина, гоогле моделиили основне линије). Питање тражи од слушалаца да изаберу за коју од две комбинације сматрају да инструментална подлога више одговара вокалу.
| Препоручени пост: Топ 7 АИ генератора гласа и клонирање гласа за претварање текста у говор |
Свежи примери СингСонг-а
Коришћењем низа дубоких неуронских мрежа и генеративни модели, програмери су у стању да произведу хармонијску пратњу без кашњења за дуже сегменте.
Професионални гласови скупа података МУСДБ18 коришћени су у претходним примерима. Такође смо заинтригирани способношћу СингСонг-а да подржи и омогући свима да стварају музику својим гласом. Овде ово испитујемо користећи вокалне узорке из Воцадито скупа података, који укључује снимке аматерских вокала направљених на потрошачкој електроници.
Систем је још увек у раној фази развоја. Док истраживачи кажу да ће морати да се побољша пре него што се може комерцијално користити, они верују да има потенцијал да револуционише индустрију караока и помогне певачима аматерима да пронађу пратњу која им добро одговара.
Прочитајте још сродних чланака:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
