Nieuwsverslag Technologie
15 februari 2023

SingSong: Google AI-onderzoekers vinden een manier om muziek te genereren om inputzang te begeleiden

In het kort

Het nieuwe systeem genaamd SingSong maakt gebruik van een deep lerend model om muziek te genereren die meer synchroon loopt met zang dan bestaande systemen.

De onderzoekers zeggen dat het systeem kan worden gebruikt om karaoke-tracks te maken voor professionele zangers of om amateurzangers te helpen een begeleiding te vinden die bij hun stem past.

Onderzoekers van Google hebben een manier gevonden om kunstmatige intelligentie te gebruiken om muziek te genereren die compatibel is met zingen. Het nieuwe systeem, genaamd SingSong, maakt gebruik van een deep learning-model om begeleiding te genereren die meer synchroon loopt met zingen dan andere bestaande systemen. De onderzoekers zeggen dat het systeem kan worden gebruikt om karaoketracks te maken voor professionele zangers of om amateurzangers te helpen een begeleiding te vinden die beter bij hun stem past.

Karaoke in omgekeerde volgorde: AI-onderzoekers vinden een manier om muziek te genereren om te zingen
Eerdere systemen voor het genereren van begeleiding vertrouwden op algoritmen die probeerden de timing en toonhoogte van de zang te evenaren.

SingSong is een door Google ontwikkeld systeem dat instrumentale muziek maakt om inputzang te begeleiden. Het kan zowel muzikanten als niet-muzikanten een eenvoudige nieuwe benadering bieden voor het maken van muziek met hun eigen stemmen. Ontwikkelaars bouwen voort op recente ontwikkelingen op het gebied van muzikale bronscheiding en audioproductie om dit te bereiken. Ontwikkelaars gebruiken specifiek een geavanceerde bronscheidingsmethode om afgestemde vocale en instrumentale bronparen te bouwen uit een enorm corpus aan muziekopnamen. Vervolgens wijzigen ontwikkelaars AudioLM, een geavanceerde methode voor onvoorwaardelijke audioproductie, zodat deze kan worden getraind op brongescheiden (vocaal, instrumentaal) paren voor voorwaardelijke "audio-naar-audio" generatietaken.

Aanbevolen post: Top 5 AI-muziek- en audiogeneratoren om royaltyvrije nummers te maken

AI-onderzoekers onderzoeken verschillende kenmerken van vocale input, waarvan de beste de kwantitatieve prestaties op geïsoleerde vocalen met 53% verbetert in vergelijking met de standaard AudioLM-featurisatie, om de generalisatie van het systeem van door de bron gescheiden trainingsgegevens te verbeteren (waarbij de vocalen artefacten bevatten van de instrumentaal) tot geïsoleerde vocalen die ontwikkelaars van gebruikers mogen verwachten. Luisteraars vertoonden een substantiële voorkeur voor instrumentals geproduceerd door SingSong boven die van een sterke retrieval-baseline in een paarsgewijze vergelijking met dezelfde spraakinvoer.

Het nieuwe systeem maakt daarentegen gebruik van a diep leren model dat is getraind op een grote dataset met muziek. Hierdoor kan het systeem begeleiding genereren die synchroon loopt met de stem en timing van de zanger.

Voor het onderzoek krijgen luisteraars twee vocaal-instrumentale mashups van 10 seconden waarin de stemmen (uit de MUSDB18-test) hetzelfde zijn, terwijl de instrumentale stemmen verschillen en uit verschillende bronnen komen (grondwaarheid, Google-modellenof basislijnen). De vraag vraagt ​​luisteraars om te kiezen welke van de twee combinaties volgens hen de instrumentale achtergronden muzikaal beter bij de zang passen.

Aanbevolen post: Top 7 AI-spraakgeneratoren en stemklonen voor tekst-naar-spraak

Nieuwe voorbeelden van SingSong

Door gebruik te maken van een reeks diepe neurale netwerken en generatieve modellenkunnen ontwikkelaars harmonische begeleidingen produceren zonder latentie voor langere segmenten.

De professionele stemmen van de MUSDB18-dataset werden gebruikt in de voorgaande voorbeelden. We zijn ook geïntrigeerd door het vermogen van SingSong om iedereen te ondersteunen en in staat te stellen muziek te maken met hun stem. Hier onderzoeken we dit met behulp van vocale samples uit de Vocadito-dataset, die opnames bevat van amateurvocalisten gemaakt op consumentenelektronica.

Het systeem bevindt zich nog in de beginfase van ontwikkeling. Hoewel de onderzoekers zeggen dat het moet worden verbeterd voordat het commercieel kan worden gebruikt, geloven ze dat het de potentie heeft om een ​​revolutie teweeg te brengen in de karaoke-industrie en om amateurzangers te helpen een begeleiding te vinden die goed voor hen werkt.

Lees meer gerelateerde artikelen:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
Crypto Exchange Bitget lanceert BLAST Token-evenement en biedt deelnemers $ 50,000 aan beloningen
Markten Nieuwsverslag Technologie
Crypto Exchange Bitget lanceert BLAST Token-evenement en biedt deelnemers $ 50,000 aan beloningen
25 juni 2024
Crypto Exchange ZKX haalt $6.3 miljoen aan financiering op, AirdropHet is zijn token en vermeldt het op KuCoin, Gate.io en Bitget
Business Nieuwsverslag Technologie
Crypto Exchange ZKX haalt $6.3 miljoen aan financiering op, AirdropHet is zijn token en vermeldt het op KuCoin, Gate.io en Bitget
25 juni 2024
Tokenized RWA's overbruggen de kloof tussen DeFi en TradFi
Advies Toplijsten Business Markten Software Technologie
Tokenized RWA's overbruggen de kloof tussen DeFi en TradFi
24 juni 2024
Het huidige correctieniveau van Bitcoin ligt nog steeds onder het gemiddelde, zegt Crypto-analist van Rekt Capital
Markten Nieuwsverslag Technologie
Het huidige correctieniveau van Bitcoin ligt nog steeds onder het gemiddelde, zegt Crypto-analist van Rekt Capital
24 juni 2024