AI Startup MyShell brengt OpenVoice-algoritme uit voor nauwkeurig stemklonen
In het kort
De Canadese AI-startup MyShell heeft aangekondigd dat het zijn OpenVoice-algoritme voor het direct klonen van stemmen heeft opensourced.
Respeecher, Voicemod en Elf Labs – alle drie de startups hebben één ding gemeen: ze leveren allemaal algoritmen en AI-software voor het maken van stemklonen. Nu een nieuwe speler, de Canadese AI-startup MijnShell heeft aangekondigd dat het zijn OpenVoice-algoritme voor het direct klonen van stemmen heeft open source.
MyShell heeft de update gedeeld op sociale mediaplatform X en zei: "Kloon stemmen met ongeëvenaarde precisie, met gedetailleerde controle van de toon, van emotie tot accent, ritme, pauzes en intonatie, met slechts een klein audiofragment."
In het kader van de samenwerking hebben onderzoekers van MIT, MyShell.ai en Tsinghua University OpenVoice onthuld, dat de stem van een spreker kan repliceren en spraak kan genereren in meerdere talen, waarbij slechts een kort audiofragment van de originele bron wordt gebruikt. Het legt ook de unieke toon en kleur van de stem van de spreker vast.
Volgens het bedrijf voegt het algoritme cruciale stilistische elementen toe, zoals emotie, accent, ritme, pauzes en intonatie. Deze elementen zijn cruciaal om spraak echt te laten klinken en interessante gesprekken te creëren. Het helpt het saaie geluid te vermijden dat je vaak hoort bij gewone tekst-naar-spraak.
Hoe het AI-model voor stemklonen werkt
In een research paper, OpenVoice deelde de methodologie achter zijn AI voor het klonen van stemmen. OpenVoice bestaat uit twee verschillende AI-modellen: een tekst-naar-spraak (TTS)-model en een “toonomzetter.”
Het model kan stijlparameters en talen beheren en heeft een “training met behulp van 30,000 zinnen” ondergaan van Engelssprekenden (met zowel Amerikaanse als Britse accenten), Chinese en Japanse sprekers. De training omvatte het labelen van de samples op basis van de uitgedrukte emoties, en het model leerde intonatie, ritme en pauzes uit deze audiofragmenten.
Aan de andere kant werd het toonconversiemodel getraind op een enorme dataset van meer dan 300,000 audiofragmenten uit meer dan 20,000 verschillende luidsprekers. In beide gevallen werd menselijke spraakaudio omgezet in fonemen – specifieke geluiden die woorden onderscheiden – en weergegeven met behulp van vectorinbedding.
Het TTS-model, dat gebruik maakt van een ‘basisluidspreker’, combineert met de toon die is afgeleid van de opgenomen audio van een gebruiker tijdens het trainingsproces. Samen kunnen deze twee modellen de stem van de gebruiker repliceren en de toonkleur wijzigen – de emotionele expressie die in de gesproken tekst wordt overgebracht.
De startup werd opgericht in 2023. Vorig jaar haalde MyShell $5.6 miljoen aan startfinanciering op, geleid door INCE Capital, en zag de deelname van prominente investeerders zoals onder meer Folius Ventures, Hashkey Capital, SevenX Ventures, TSVC en OP Crypto.
Volgens het bedrijf zal de financiering helpen bij de ontwikkeling van eigen producten AI-modellen, de oprichting van een Creator Studio op maat gemaakt voor AI-native apps, en de oprichting van een levendig ecosysteem voor makers op het gebied van blockchain-technologie.
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Kumar is een ervaren technologiejournalist met een specialisatie in de dynamische kruispunten van AI/ML, marketingtechnologie en opkomende velden zoals crypto, blockchain en NFTS. Met meer dan drie jaar ervaring in de branche heeft Kumar een bewezen staat van dienst opgebouwd in het opstellen van boeiende verhalen, het houden van inzichtelijke interviews en het leveren van uitgebreide inzichten. De expertise van Kumar ligt in het produceren van inhoud met een grote impact, waaronder artikelen, rapporten en onderzoekspublicaties voor vooraanstaande industriële platforms. Met een unieke reeks vaardigheden die technische kennis en verhalen vertellen combineert, blinkt Kumar uit in het op een duidelijke en boeiende manier communiceren van complexe technologische concepten aan een divers publiek.
Meer artikelen
Kumar is een ervaren technologiejournalist met een specialisatie in de dynamische kruispunten van AI/ML, marketingtechnologie en opkomende velden zoals crypto, blockchain en NFTS. Met meer dan drie jaar ervaring in de branche heeft Kumar een bewezen staat van dienst opgebouwd in het opstellen van boeiende verhalen, het houden van inzichtelijke interviews en het leveren van uitgebreide inzichten. De expertise van Kumar ligt in het produceren van inhoud met een grote impact, waaronder artikelen, rapporten en onderzoekspublicaties voor vooraanstaande industriële platforms. Met een unieke reeks vaardigheden die technische kennis en verhalen vertellen combineert, blinkt Kumar uit in het op een duidelijke en boeiende manier communiceren van complexe technologische concepten aan een divers publiek.
