AI Startup MyShell julkaisee OpenVoice-algoritmin tarkkaa äänen kloonausta varten
Lyhyesti
Kanadalainen AI-startup MyShell ilmoitti avoimen lähdekoodin OpenVoice-algoritminsa välittömään äänen kloonaukseen.
Respeecher, Voicemod ja ElevenLabs – kaikilla kolmella startupilla on yksi yhteinen piirre – ne kaikki tarjoavat algoritmeja ja tekoälyohjelmistoja äänikloonien tekemiseen. Nyt uusi pelaaja, kanadalainen AI-startup MyShell ilmoitti saaneensa avoimen lähdekoodin OpenVoice-algoritminsa välittömään äänen kloonaukseen.
MyShell jakoi päivityksen sosiaalisen median alusta X ja sanoi: "Kloonaa ääniä vertaansa vailla olevalla tarkkuudella, sävyn hienosäädöllä, tunteesta korostukseen, rytmiin, tauoihin ja intonaatioon käyttämällä vain pientä äänileikettä."
Yhteistyön puitteissa MIT:n, MyShell.ai:n ja Tsinghuan yliopiston tutkijat paljastivat OpenVoicen, joka voi kopioida puhujan äänen ja tuottaa puhetta useita kieliä, käyttämällä vain lyhyttä äänikatkelmaa alkuperäisestä lähteestä. Se vangitsee myös puhujan äänen ainutlaatuisen sävyn ja värin.
Yrityksen mukaan algoritmi lisää tärkeitä tyylielementtejä, kuten tunteita, aksenttia, rytmiä, taukoja ja intonaatiota. Nämä elementit ovat ratkaisevan tärkeitä, jotta puhe kuulostaa todelliselta ja luodaan mielenkiintoisia keskusteluja. Se auttaa välttämään tylsän äänen, jonka saat usein tavallisesta tekstistä puheeksi.
Kuinka äänikloonaus AI-malli toimii
Jonkin sisällä tutkimus paperi, OpenVoice jakoi äänikloonauksen tekoälyn taustalla olevan menetelmän. OpenVoice koostuu kahdesta erillisestä osasta AI-mallit: tekstistä puheeksi (TTS) -malli ja "äänenmuunnin".
Malli pystyy hallitsemaan tyyliparametreja ja kieliä, ja se on käynyt "30,000 XNUMX lauseen koulutuksen" englannin (sekä amerikkalais- että brittiaksentilla), kiinan ja japanin puhujilta. Koulutukseen kuului näytteiden merkitseminen ilmaistujen tunteiden perusteella, ja malli oppi näistä äänileikkeistä intonaatiota, rytmiä ja taukoja.
Toisaalta sävynmuunninmalli opetettiin yli 300,000 20,000 ääninäytteen laajalle tietojoukolle yli XNUMX XNUMX eri kaiuttimesta. Molemmissa tapauksissa ihmisen puheen ääni muunnettiin foneemeiksi – erityisiksi ääniksi, jotka erottavat sanat – ja esitettiin käyttämällä vektori upotuksia.
TTS-malli, jossa käytetään "peruskaiutinta", yhdistyy äänen kanssa, joka on johdettu käyttäjän harjoitusprosessissa tallentamasta äänestä. Yhdessä nämä kaksi mallia voivat toistaa käyttäjän äänen ja muokata sävyn väriä – puhutun tekstin välittyvää tunneilmaisua.
Startup perustettiin vuonna 2023. Viime vuonna MyShell keräsi 5.6 miljoonan dollarin siemenrahoitusta INCE Capitalin vetämänä, ja siihen osallistui merkittäviä sijoittajia, kuten Folius Ventures, Hashkey Capital, SevenX Ventures, TSVC ja OP Crypto.
Yhtiön mukaan rahoitus auttaa edistämään omaisuutta AI-mallit, tekoälyn natiivisovelluksille räätälöidyn Creator Studion luominen ja eloisan luojaekosysteemin luominen lohkoketjuteknologian piiriin.
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Kumar on kokenut teknologiatoimittaja, joka on erikoistunut AI/ML:n dynaamisiin risteyksiin, markkinointiteknologiaan ja nouseviin aloihin, kuten krypto-, lohkoketju- ja NFTs. Yli 3 vuoden kokemuksella alalta Kumar on saavuttanut todistetun ennätyksen vakuuttavien tarinoiden laatimisessa, oivaltavien haastattelujen tekemisessä ja kattavien näkemysten toimittamisessa. Kumarin asiantuntemus perustuu vaikuttavan sisällön tuottamiseen, mukaan lukien artikkeleita, raportteja ja tutkimusjulkaisuja merkittäville alan alustoille. Ainutlaatuisella taitosarjalla, jossa yhdistyvät tekninen tietämys ja tarinankerronta, Kumar on erinomainen kommunikoimaan monimutkaisia teknologisia käsitteitä eri yleisöille selkeällä ja mukaansatempaavalla tavalla.
lisää artikkeleita
Kumar on kokenut teknologiatoimittaja, joka on erikoistunut AI/ML:n dynaamisiin risteyksiin, markkinointiteknologiaan ja nouseviin aloihin, kuten krypto-, lohkoketju- ja NFTs. Yli 3 vuoden kokemuksella alalta Kumar on saavuttanut todistetun ennätyksen vakuuttavien tarinoiden laatimisessa, oivaltavien haastattelujen tekemisessä ja kattavien näkemysten toimittamisessa. Kumarin asiantuntemus perustuu vaikuttavan sisällön tuottamiseen, mukaan lukien artikkeleita, raportteja ja tutkimusjulkaisuja merkittäville alan alustoille. Ainutlaatuisella taitosarjalla, jossa yhdistyvät tekninen tietämys ja tarinankerronta, Kumar on erinomainen kommunikoimaan monimutkaisia teknologisia käsitteitä eri yleisöille selkeällä ja mukaansatempaavalla tavalla.
