SingSong: Nakahanap ang Google AI Researchers ng Paraan para Makabuo ng Musika upang Samahan ang Input Vocals
Sa madaling sabi
Ang bagong sistema na tinatawag na SingSong ay gumagamit ng malalim modelo ng pag-aaral upang makabuo ng musika na higit na naka-sync sa pag-awit kaysa sa mga kasalukuyang sistema.
Sinasabi ng mga mananaliksik na ang sistema ay maaaring gamitin upang lumikha ng mga karaoke track para sa mga propesyonal na mang-aawit o upang matulungan ang mga baguhang mang-aawit na makahanap ng saliw na tumutugma sa kanilang mga boses.
Nakahanap ang mga mananaliksik sa Google ng paraan upang magamit ang artificial intelligence upang makabuo ng musika na tugma sa pagkanta. Ang bagong system, na tinatawag na SingSong, ay gumagamit ng deep learning model para makabuo ng saliw na higit na naka-sync sa pagkanta kaysa sa iba pang umiiral na system. Sinasabi ng mga mananaliksik na ang sistema ay maaaring gamitin upang lumikha ng mga karaoke track para sa mga propesyonal na mang-aawit o upang matulungan ang mga baguhang mang-aawit na makahanap ng saliw na mas angkop sa kanilang mga boses.
SingSong ay isang system na binuo ng Google na lumilikha ng instrumental na musika upang samahan ang mga input vocal. Maaari itong magbigay ng parehong mga musikero at hindi musikero ng isang simpleng bagong diskarte sa paggawa ng musika na nagtatampok ng kanilang sariling mga boses. Gumagawa ang mga developer sa mga kamakailang pagsulong sa paghihiwalay ng pinagmulan ng musika at paggawa ng audio para makamit ito. Ang mga developer ay partikular na gumagamit ng isang cutting-edge na paraan ng paghihiwalay ng pinagmulan upang bumuo ng nakahanay na mga pares ng vocal at instrumental na pinagmulan mula sa napakalaking corpus ng mga pag-record ng musika. Pagkatapos, binago ng mga developer AudioLM, isang cutting-edge na paraan para sa walang kundisyong paggawa ng audio, upang ito ay masanay sa source-separated (vocal, instrumental) na mga pares para sa may kondisyong "audio-to-audio" na mga gawain sa pagbuo.
| Inirerekomendang post: Nangungunang 5 AI Music&Audio Generator para Gumawa ng Royalty Free Tracks |
Sinisiyasat ng mga mananaliksik ng AI ang iba't ibang pag-featurize ng mga vocal input, ang pinakamaganda sa kung saan ay nagpapahusay ng quantitative performance sa mga nakahiwalay na vocal ng 53% kumpara sa default na AudioLM featurization, upang mapabuti ang generalization ng system mula sa source-separated training data (kung saan ang mga vocal ay naglalaman ng mga artifact ng instrumental) sa mga nakahiwalay na vocal na maaaring asahan ng mga developer mula sa mga user. Ang mga tagapakinig ay nagpakita ng isang malaking kagustuhan para sa mga instrumental na ginawa ng SingSong kaysa sa mga mula sa isang malakas na baseline ng pagkuha sa isang pairwise na paghahambing sa parehong mga input ng boses.
Ang bagong sistema, sa kabilang banda, ay gumagamit ng a modelo ng malalim na pag-aaral na sinanay sa isang malaking dataset ng musika. Nagbibigay-daan ito sa system na makabuo ng saliw na naka-sync sa boses at timing ng mang-aawit.
Para sa pag-aaral, ang mga tagapakinig ay binibigyan ng dalawang 10-segundong vocal-instrumental na mashup kung saan ang mga boses (kinuha mula sa MUSDB18-test) ay pareho habang ang mga instrumental ay naiiba at nagmumula sa iba't ibang pinagmulan (ground truth, mga modelo ng google, o mga baseline). Ang tanong ay humihiling sa mga tagapakinig na piliin kung alin sa dalawang kumbinasyon ang sa tingin nila ay mas akma sa mga vocal ang mga instrumental na backing.
| Inirerekomendang post: Nangungunang 7 AI voice generator at voice cloning para sa text-to-speech |
Mga Bagong Halimbawa ng SingSong
Sa pamamagitan ng paggamit ng serye ng malalalim na neural network at generative na mga modelo, nakakagawa ang mga developer ng mga harmonic accompaniment na walang latency para sa mas mahabang segment.
Ginamit ang mga propesyonal na boses ng MUSDB18 dataset sa mga naunang halimbawa. Naiintriga rin kami sa kakayahan ng SingSong na suportahan at bigyang-daan ang sinuman na lumikha ng musika gamit ang kanilang boses. Dito, sinusuri namin ito gamit ang mga vocal sample mula sa Vocadito dataset, na kinabibilangan ng mga recording ng mga amateur vocalist na ginawa sa consumer electronics.
Ang sistema ay nasa maagang yugto pa ng pag-unlad. Habang sinasabi ng mga mananaliksik na kailangan itong pagbutihin bago ito magamit sa komersyo, naniniwala sila na may potensyal itong baguhin ang industriya ng karaoke at tulungan ang mga baguhang mang-aawit na makahanap ng saliw na angkop para sa kanila.
Magbasa nang higit pa mga nauugnay na artikulo:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
