MusicLM: een nieuw text-to-music en image-to-music AI-model van Google
In het kort
Google introduceert MusicLM, een model voor het genereren van hifi-muziek uit tekstbeschrijvingen.
MusicLM kan worden geconditioneerd op zowel tekst als een melodie, in die zin dat het gefloten en geneuriede melodieën kan transformeren volgens de stijl die wordt beschreven in een tekstbijschrift.
Het model kan muziek genereren in verschillende genres, waaronder klassiek, jazz en rock.
Google introduceert MusicLM, een model voor het genereren van hifi-muziek uit tekstbeschrijvingen zoals 'een kalmerende vioolmelodie ondersteund door een vervormde gitaarriff'. MusicLM werpt het proces van voorwaardelijke muziekgeneratie op als een hiërarchische reeks-naar-reeks modelleringstaak, en het genereert muziek op 24 kHz die consistent blijft gedurende enkele minuten.
Google-experimenten tonen aan dat MusicLM beter presteert dan eerdere systemen, zowel qua audiokwaliteit als qua naleving van de tekstbeschrijving. Bovendien laat het zien dat MusicLM kan worden geconditioneerd op zowel tekst als een melodie doordat het gefloten en geneuriede melodieën kan transformeren volgens de stijl die wordt beschreven in een tekstbijschrift. Om toekomstig onderzoek te ondersteunen, geven we publiekelijk MusicCaps vrij, een dataset die is samengesteld uit 5.5k muziek-tekstparen met rich text-beschrijvingen die zijn aangeleverd door menselijke experts.
| Gerelateerd artikel: Tekst-naar-3D: Google heeft een neuraal netwerk ontwikkeld dat 3D-modellen genereert uit tekstbeschrijvingen |
Het MusicLM-model is getraind op een groot corpus van muziekpartituren, waardoor de AI de structuur van muziek heeft kunnen leren. Het model kan muziek genereren in verschillende genres, waaronder klassiek, jazz en rock. Bovendien kan het AI-model nieuwe, originele composities creëren.
Het MusicLM-model is een belangrijke ontwikkeling op het gebied van door AI gegenereerde muziek. Het model vertegenwoordigt een aanzienlijke vooruitgang ten opzichte van eerdere modellen, die beperkt waren tot kortere muziekstukken of alleen eenvoudige melodieën konden genereren. Het nieuwe model opent de mogelijkheid om AI te gebruiken om lange, complexe muziekstukken te genereren, die kunnen worden gebruikt in films, videogames of andere media.
Het nieuwe AI-model kan lange muziek genereren generaties van maximaal vijf minuten.
| Gerelateerd artikel: Stable Diffusion kan nieuwe muziek maken door spectrogrammen te genereren op basis van tekst |
Het AI-model kan muziek maken met bijschriften van games en films.
Daarnaast kan het AI-model muziek genereren met afbeeldingen als input.
Lees meer over AI in de muziekindustrie:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
