SingSong: Peneliti AI Google Temukan Cara Menghasilkan Musik untuk Mengiringi Input Vokal
Singkatnya
Sistem baru yang disebut SingSong menggunakan deep model pembelajaran untuk menghasilkan musik yang lebih sinkron dengan nyanyian dibandingkan sistem yang ada.
Para peneliti mengatakan bahwa sistem tersebut dapat digunakan untuk membuat trek karaoke untuk penyanyi profesional atau untuk membantu penyanyi amatir menemukan iringan yang cocok dengan suara mereka.
Para peneliti di Google telah menemukan cara menggunakan kecerdasan buatan untuk menghasilkan musik yang kompatibel dengan nyanyian. Sistem baru, yang disebut SingSong, menggunakan model pembelajaran mendalam untuk menghasilkan pengiring yang lebih sinkron dengan nyanyian daripada sistem lain yang sudah ada. Para peneliti mengatakan bahwa sistem tersebut dapat digunakan untuk membuat trek karaoke untuk penyanyi profesional atau untuk membantu penyanyi amatir menemukan pengiring yang lebih cocok dengan suara mereka.
Menyanyikan lagu adalah sistem yang dikembangkan oleh Google yang menciptakan musik instrumental untuk mengiringi vokal input. Ini dapat memberi musisi dan non-musisi pendekatan baru yang sederhana untuk membuat musik yang menampilkan suara mereka sendiri. Pengembang memanfaatkan kemajuan terkini dalam pemisahan sumber musik dan produksi audio untuk mencapai hal ini. Pengembang secara khusus menggunakan metode pemisahan sumber mutakhir untuk membuat pasangan sumber vokal dan instrumental yang selaras dari korpus besar rekaman musik. Kemudian, pengembang memodifikasi AudioLM, metode mutakhir untuk produksi audio tanpa syarat, sehingga dapat dilatih pada pasangan yang dipisahkan sumber (vokal, instrumental) untuk tugas pembuatan “audio-ke-audio” bersyarat.
| Postingan yang direkomendasikan: 5 Pembuat Musik & Audio AI Teratas untuk Membuat Lagu Bebas Royalti |
Peneliti AI menyelidiki berbagai fitur input vokal, yang terbaik meningkatkan performa kuantitatif pada vokal terisolasi sebesar 53% dibandingkan fitur AudioLM default, untuk meningkatkan generalisasi sistem dari data pelatihan yang dipisahkan sumber (di mana vokal berisi artefak dari instrumental) ke vokal terisolasi yang mungkin diharapkan pengembang dari pengguna. Pendengar menunjukkan preferensi substansial untuk instrumental yang diproduksi oleh SingSong daripada yang berasal dari pengambilan awal yang kuat dalam perbandingan berpasangan dengan input suara yang sama.
Sistem baru, sebaliknya, menggunakan a model pembelajaran yang mendalam yang telah dilatih pada kumpulan data musik yang besar. Hal ini memungkinkan sistem menghasilkan pengiring yang selaras dengan suara dan waktu penyanyi.
Untuk penelitian ini, pendengar diberikan dua mashup vokal-instrumental berdurasi 10 detik yang suaranya (diambil dari tes MUSDB18) sama sedangkan instrumentalnya berbeda dan berasal dari berbagai sumber (ground truth, model Google, atau garis dasar). Pertanyaan tersebut meminta pendengar untuk memilih mana dari dua kombinasi yang menurut mereka backing instrumentalnya lebih cocok dengan vokal secara musikal.
| Postingan yang direkomendasikan: 7 generator suara AI teratas dan kloning suara untuk text-to-speech |
Contoh Baru SingSong
Dengan menggunakan serangkaian jaringan saraf dalam dan model generatif, pengembang dapat menghasilkan pengiring harmonis tanpa latensi untuk segmen yang lebih panjang.
Suara profesional set data MUSDB18 digunakan dalam contoh sebelumnya. Kami juga tertarik dengan kemampuan SingSong untuk mendukung dan memungkinkan siapa pun menciptakan musik dengan suaranya. Di sini, kami memeriksanya menggunakan sampel vokal dari kumpulan data Vocadito, yang mencakup rekaman vokalis amatir yang dibuat di perangkat elektronik konsumen.
Sistem ini masih dalam tahap awal pengembangan. Sementara para peneliti mengatakan itu perlu ditingkatkan sebelum dapat digunakan secara komersial, mereka percaya bahwa itu memiliki potensi untuk merevolusi industri karaoke dan membantu penyanyi amatir menemukan pengiring yang cocok untuk mereka.
Baca artikel terkait lainnya:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
