SingSong: Google AI-onderzoekers vinden een manier om muziek te genereren om inputzang te begeleiden
In het kort
Het nieuwe systeem genaamd SingSong maakt gebruik van een deep lerend model om muziek te genereren die meer synchroon loopt met zang dan bestaande systemen.
De onderzoekers zeggen dat het systeem kan worden gebruikt om karaoke-tracks te maken voor professionele zangers of om amateurzangers te helpen een begeleiding te vinden die bij hun stem past.
Onderzoekers van Google hebben een manier gevonden om kunstmatige intelligentie te gebruiken om muziek te genereren die compatibel is met zingen. Het nieuwe systeem, genaamd SingSong, maakt gebruik van een deep learning-model om begeleiding te genereren die meer synchroon loopt met zingen dan andere bestaande systemen. De onderzoekers zeggen dat het systeem kan worden gebruikt om karaoketracks te maken voor professionele zangers of om amateurzangers te helpen een begeleiding te vinden die beter bij hun stem past.
SingSong is een door Google ontwikkeld systeem dat instrumentale muziek maakt om inputzang te begeleiden. Het kan zowel muzikanten als niet-muzikanten een eenvoudige nieuwe benadering bieden voor het maken van muziek met hun eigen stemmen. Ontwikkelaars bouwen voort op recente ontwikkelingen op het gebied van muzikale bronscheiding en audioproductie om dit te bereiken. Ontwikkelaars gebruiken specifiek een geavanceerde bronscheidingsmethode om afgestemde vocale en instrumentale bronparen te bouwen uit een enorm corpus aan muziekopnamen. Vervolgens wijzigen ontwikkelaars AudioLM, een geavanceerde methode voor onvoorwaardelijke audioproductie, zodat deze kan worden getraind op brongescheiden (vocaal, instrumentaal) paren voor voorwaardelijke "audio-naar-audio" generatietaken.
AI-onderzoekers onderzoeken verschillende kenmerken van vocale input, waarvan de beste de kwantitatieve prestaties op geïsoleerde vocalen met 53% verbetert in vergelijking met de standaard AudioLM-featurisatie, om de generalisatie van het systeem van door de bron gescheiden trainingsgegevens te verbeteren (waarbij de vocalen artefacten bevatten van de instrumentaal) tot geïsoleerde vocalen die ontwikkelaars van gebruikers mogen verwachten. Luisteraars vertoonden een substantiële voorkeur voor instrumentals geproduceerd door SingSong boven die van een sterke retrieval-baseline in een paarsgewijze vergelijking met dezelfde spraakinvoer.
Het nieuwe systeem maakt daarentegen gebruik van a diep leren model dat is getraind op een grote dataset met muziek. Hierdoor kan het systeem begeleiding genereren die synchroon loopt met de stem en timing van de zanger.
Voor het onderzoek krijgen luisteraars twee vocaal-instrumentale mashups van 10 seconden waarin de stemmen (uit de MUSDB18-test) hetzelfde zijn, terwijl de instrumentale stemmen verschillen en uit verschillende bronnen komen (grondwaarheid, Google-modellenof basislijnen). De vraag vraagt luisteraars om te kiezen welke van de twee combinaties volgens hen de instrumentale achtergronden muzikaal beter bij de zang passen.
| Aanbevolen post: Top 7 AI-spraakgeneratoren en stemklonen voor tekst-naar-spraak |
Nieuwe voorbeelden van SingSong
Door gebruik te maken van een reeks diepe neurale netwerken en generatieve modellenkunnen ontwikkelaars harmonische begeleidingen produceren zonder latentie voor langere segmenten.
De professionele stemmen van de MUSDB18-dataset werden gebruikt in de voorgaande voorbeelden. We zijn ook geïntrigeerd door het vermogen van SingSong om iedereen te ondersteunen en in staat te stellen muziek te maken met hun stem. Hier onderzoeken we dit met behulp van vocale samples uit de Vocadito-dataset, die opnames bevat van amateurvocalisten gemaakt op consumentenelektronica.
Het systeem bevindt zich nog in de beginfase van ontwikkeling. Hoewel de onderzoekers zeggen dat het moet worden verbeterd voordat het commercieel kan worden gebruikt, geloven ze dat het de potentie heeft om een revolutie teweeg te brengen in de karaoke-industrie en om amateurzangers te helpen een begeleiding te vinden die goed voor hen werkt.
Lees meer gerelateerde artikelen:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
