AI Startup MyShell Mengeluarkan Algoritma OpenVoice untuk Pengklonan Suara Tepat
Secara ringkas
Permulaan AI Kanada MyShell mengumumkan ia telah membuka algoritma OpenVoice untuk pengklonan suara segera.
Respeecher, Voicemod dan ElevenLabs – ketiga-tiga syarikat permulaan mempunyai satu persamaan – semuanya menyediakan algoritma dan perisian AI untuk membuat klon suara. Kini, pemain baharu, pemula AI Kanada MyShell mengumumkan ia telah membuka algoritma OpenVoice untuk pengklonan suara segera.
MyShell berkongsi kemas kini pada platform media sosial X dan berkata, "Suara klon dengan ketepatan yang tiada tandingan, dengan kawalan nada yang terperinci, daripada emosi kepada loghat, irama, jeda dan intonasi, menggunakan hanya klip audio kecil."
Di bawah kerjasama itu, penyelidik dari MIT, MyShell.ai dan Universiti Tsinghua melancarkan OpenVoice, yang boleh meniru suara pembesar suara dan menjana pertuturan dalam pelbagai bahasa, hanya menggunakan coretan audio ringkas daripada sumber asal. Ia juga menangkap nada dan warna unik suara pembesar suara.
Menurut syarikat itu, algoritma itu menambah elemen gaya penting seperti emosi, aksen, irama, jeda dan intonasi. Elemen ini penting untuk menjadikan pertuturan berbunyi nyata dan mencipta perbualan yang menarik. Ia membantu mengelakkan bunyi membosankan yang sering anda perolehi dengan teks ke pertuturan biasa.
Cara Model AI Pengklonan Suara Berfungsi
Dalam pakej kertas penyelidikan, OpenVoice berkongsi metodologi di sebalik AI pengklonan suaranya. OpenVoice terdiri daripada dua yang berbeza model AI: model teks ke pertuturan (TTS) dan "penukar nada."
Model ini boleh mengurus parameter gaya dan bahasa, dan telah menjalani "latihan menggunakan 30,000 ayat" daripada bahasa Inggeris (dalam aksen Amerika dan Inggeris), penutur bahasa Cina dan Jepun. Latihan melibatkan pelabelan sampel berdasarkan emosi yang dinyatakan, dan model mempelajari intonasi, irama, dan jeda daripada klip audio ini.
Sebaliknya, model penukar nada telah dilatih pada set data yang luas dengan lebih 300,000 sampel audio daripada lebih 20,000 pembesar suara yang berbeza. Dalam kedua-dua kes, audio pertuturan manusia telah ditukar kepada fonem – bunyi khusus yang membezakan perkataan – dan diwakili menggunakan benam vektor.
Model TTS, menggunakan "pembesar suara asas," digabungkan dengan nada yang diperoleh daripada audio yang dirakam pengguna dalam proses latihan. Bersama-sama, kedua-dua model ini boleh meniru suara pengguna dan mengubah suai warna ton - ekspresi emosi yang disampaikan dalam teks yang dituturkan.
Permulaan itu diasaskan pada 2023. Tahun lepas, MyShell mengumpulkan $5.6 juta dalam pembiayaan benih, diketuai oleh INCE Capital, dan menyaksikan penyertaan pelabur terkemuka seperti Folius Ventures, Hashkey Capital, SevenX Ventures, TSVC dan OP Crypto, antara lain.
Menurut syarikat itu, pembiayaan itu akan membantu dalam kemajuan proprietari model AI, penciptaan Studio Pencipta yang disesuaikan untuk apl asli AI, dan penubuhan ekosistem pencipta yang bertenaga dalam bidang teknologi blockchain.
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Kumar ialah seorang Wartawan Teknologi berpengalaman dengan pengkhususan dalam persimpangan dinamik AI/ML, teknologi pemasaran dan bidang baru muncul seperti crypto, blockchain dan NFTs. Dengan lebih 3 tahun pengalaman dalam industri, Kumar telah mencipta rekod prestasi yang terbukti dalam mencipta naratif yang menarik, menjalankan temu bual yang berwawasan dan menyampaikan pandangan yang komprehensif. Kepakaran Kumar terletak dalam menghasilkan kandungan berimpak tinggi, termasuk artikel, laporan dan penerbitan penyelidikan untuk platform industri terkemuka. Dengan set kemahiran unik yang menggabungkan pengetahuan teknikal dan penceritaan, Kumar cemerlang dalam menyampaikan konsep teknologi yang kompleks kepada khalayak yang pelbagai dengan cara yang jelas dan menarik.
lebih banyak artikel
Kumar ialah seorang Wartawan Teknologi berpengalaman dengan pengkhususan dalam persimpangan dinamik AI/ML, teknologi pemasaran dan bidang baru muncul seperti crypto, blockchain dan NFTs. Dengan lebih 3 tahun pengalaman dalam industri, Kumar telah mencipta rekod prestasi yang terbukti dalam mencipta naratif yang menarik, menjalankan temu bual yang berwawasan dan menyampaikan pandangan yang komprehensif. Kepakaran Kumar terletak dalam menghasilkan kandungan berimpak tinggi, termasuk artikel, laporan dan penerbitan penyelidikan untuk platform industri terkemuka. Dengan set kemahiran unik yang menggabungkan pengetahuan teknikal dan penceritaan, Kumar cemerlang dalam menyampaikan konsep teknologi yang kompleks kepada khalayak yang pelbagai dengan cara yang jelas dan menarik.
