VALL-E: Microsofts nya zero-shot text-to-speech-modell kan duplicera allas röster på tre sekunder
I korthet
Med bara tre sekunders sampling av vilken röst som helst, den transformatorbaserade TTS-modellen VALL-E kan producera tal i varje röst.
Detta är ett betydande framsteg i riktning mot mer naturligt klingande TTS-system.
Microsoft har dock tillhandahållit några exempel på modellen som används, och det är uppenbart att detta representerar en betydande utveckling inom TTS-teknologin.
Sedan lanseringen av den första text-till-tal-modellen (TTS) har forskare letat efter sätt att förbättra hur dessa system genererar tal. Den senaste modellen från Microsoft, VAL-E, är ett viktigt steg framåt i detta avseende.
VALL-E är en transformatorbaserad TTS-modell som kan generera tal med vilken röst som helst efter att bara ha hört ett tre sekunders prov av den rösten. Detta är en betydande förbättring jämfört med tidigare modeller, som krävde en mycket längre träningsperiod för att generera en ny röst.
| Relaterad artikel: Microsoft har släppt en diffusionsmodell som kan bygga en 3D-avatar från ett enda foto av en person |
Dessutom hålls röstens intonation, karisma och stil intakta i det genererade talet. Detta är ett viktigt steg framåt för att få TTS-system att låta mer naturligt.
Denna modell är transformatorbaserad och har ett Dale-1-utseende. Ej att förväxla med den diffusionsbaserade Dalle-2. Koden saknas fortfarande. Och användare har en viss skepsis till att de kommer att lägga upp det.
| Relaterad artikel: Microsofts VALL-E verkar vara den farligaste bluffmjukvaran någonsin |
Microsoft har dock släppt några exempel på modellen i aktion, och det är tydligt att detta är ett stort framsteg inom TTS-tekniken.
Exempel # 1:
Exempel #2:
Exempel # 3:
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
