SingSong: Penyelidik AI Google Cari Cara Menjana Muzik untuk Mengiringi Vokal Input
Secara ringkas
Sistem baharu yang dipanggil SingSong menggunakan deep model pembelajaran untuk menjana muzik yang lebih selari dengan nyanyian berbanding sistem sedia ada.
Para penyelidik mengatakan bahawa sistem itu boleh digunakan untuk mencipta trek karaoke untuk penyanyi profesional atau untuk membantu penyanyi amatur mencari iringan yang sepadan dengan suara mereka.
Penyelidik di Google telah menemui cara untuk menggunakan kecerdasan buatan untuk menjana muzik yang serasi dengan nyanyian. Sistem baharu itu, dipanggil SingSong, menggunakan model pembelajaran mendalam untuk menjana iringan yang lebih selari dengan nyanyian berbanding sistem sedia ada yang lain. Para penyelidik mengatakan bahawa sistem itu boleh digunakan untuk mencipta trek karaoke untuk penyanyi profesional atau untuk membantu penyanyi amatur mencari iringan yang lebih sesuai dengan suara mereka.
Nyanyi lagu ialah sistem yang dibangunkan oleh Google yang mencipta muzik instrumental untuk mengiringi vokal input. Ia mungkin memberikan kedua-dua pemuzik dan bukan pemuzik pendekatan baharu yang mudah untuk membuat muzik yang menampilkan suara mereka sendiri. Pembangun membina kemajuan terkini dalam pemisahan sumber muzik dan pengeluaran audio untuk mencapai matlamat ini. Pembangun secara khusus menggunakan kaedah pemisahan sumber yang canggih untuk membina pasangan sumber vokal dan instrumental yang sejajar daripada kumpulan besar rakaman muzik. Kemudian, pembangun mengubah suai AudioLM, kaedah canggih untuk pengeluaran audio tanpa syarat, supaya ia boleh dilatih pada pasangan yang dipisahkan sumber (vokal, instrumental) untuk tugas penjanaan "audio-ke-audio" bersyarat.
| Catatan yang disyorkan: 5 Penjana Muzik&Audio AI Teratas untuk Mencipta Lagu Bebas Royalti |
Penyelidik AI menyiasat ciri input vokal yang berbeza, yang terbaik meningkatkan prestasi kuantitatif pada vokal terpencil sebanyak 53% berbanding dengan ciri AudioLM lalai, untuk meningkatkan generalisasi sistem daripada data latihan yang dipisahkan sumber (di mana vokal mengandungi artifak instrumental) kepada vokal terpencil yang mungkin diharapkan oleh pembangun daripada pengguna. Pendengar mempamerkan keutamaan yang besar untuk instrumental yang dihasilkan oleh SingSong berbanding yang daripada garis dasar perolehan yang kukuh dalam perbandingan berpasangan dengan input suara yang sama.
Sistem baru, sebaliknya, menggunakan a model pembelajaran mendalam yang telah dilatih pada set data muzik yang besar. Ini membolehkan sistem menjana iringan yang selari dengan suara dan masa penyanyi.
Untuk kajian, pendengar diberikan dua mashup instrumen vokal selama 10 saat di mana suara (diambil daripada ujian MUSDB18) adalah sama manakala instrumental berbeza dan datang dari pelbagai sumber (kebenaran asas, model google, atau garis dasar). Soalan meminta pendengar untuk memilih yang mana antara dua kombinasi yang mereka rasa sokongan instrumental lebih sesuai dengan vokal secara muzik.
| Catatan yang disyorkan: 7 penjana suara AI teratas dan pengklonan suara untuk teks ke pertuturan |
Contoh Segar SingSong
Dengan menggunakan satu siri rangkaian neural dalam dan model generatif, pembangun dapat menghasilkan iringan harmonik tanpa kependaman untuk segmen yang lebih panjang.
Suara profesional set data MUSDB18 telah digunakan dalam contoh sebelumnya. Kami juga tertarik dengan keupayaan SingSong untuk menyokong dan membolehkan sesiapa sahaja mencipta muzik dengan suara mereka. Di sini, kami memeriksa perkara ini menggunakan sampel vokal daripada dataset Vocadito, yang termasuk rakaman vokalis amatur yang dibuat pada elektronik pengguna.
Sistem ini masih di peringkat awal pembangunan. Walaupun para penyelidik mengatakan ia perlu diperbaiki sebelum ia boleh digunakan secara komersial, mereka percaya bahawa ia berpotensi untuk merevolusikan industri karaoke dan membantu penyanyi amatur mencari iringan yang sesuai untuk mereka.
Baca lebih banyak artikel berkaitan:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
