Futureverse onthult JEN-1: revolutionair AI-model voor realtime tekst-naar-muziekgeneratie
In het kort
Futureverse, een baanbrekend bedrijf op het gebied van AI en metaverse technologie, heeft JEN-1 geïntroduceerd, een AI-model dat is ontworpen voor het genereren van tekst naar muziek.
JEN-1 vertegenwoordigt een opmerkelijke sprong voorwaarts in muziek-AI door ongekende niveaus van tekst-muziekuitlijning en muziekkwaliteit te bereiken, en dit alles met behoud van opmerkelijke rekenefficiëntie.
Futureverse, een AI- en metaverse-technologie- en contentbedrijf, heeft de lancering aangekondigd van JEN-1, een nieuw AI-model voor het genereren van tekst naar muziek. JEN-1 is een belangrijke vooruitgang op het gebied van muziek-AI, aangezien het het eerste model is dat state-of-the-art prestaties levert op het gebied van tekst-muziekuitlijning en muziekkwaliteit met behoud van rekenefficiëntie.
“We evalueren JEN-1 uitgebreid aan de hand van state-of-the-art basislijnen voor objectieve statistieken en menselijke evaluaties. De resultaten tonen aan dat JEN-1 muziek produceert van perceptueel hogere kwaliteit (85.7/100) in vergelijking met de huidige beste methodes (83.8/100),' schreef Futureverse.
Muziek maken van tekst is moeilijk vanwege de ingewikkelde aard van muzikale arrangementen en de behoefte aan een hoge bemonsteringsfrequentie. Volgens Het document van Futureverse, kan JEN-1 deze uitdagingen overwinnen omdat het diffusiemodel is gebaseerd op autoregressieve en niet-autoregressieve training. Hierdoor kan JEN-1 muziek genereren die realistisch en creatief is.
Vanwege de rekenefficiëntie is het mogelijk om JEN-1 te gebruiken om muziek in realtime te genereren, wat nieuwe mogelijkheden opent voor muziekproductie, live optredens en virtual reality.
Het AI-model maakt gebruik van een speciale autoencoder en diffusiemodel om direct gedetailleerde stereo-audio te produceren met een hoge bemonsteringsfrequentie van 48 kHz. Bovendien vermijdt JEN-1 het gebruikelijke kwaliteitsverlies bij het converteren van audiofuncties. Het model is getraind in meerdere taken, waaronder het genereren van muziek, het voortzetten van muzieksequenties en het invullen van ontbrekende delen, waardoor het veelzijdig is.
JEN-1 combineert ook op slimme wijze autoregressieve en niet-autoregressieve methoden om een evenwicht te vinden tussen het vastleggen van afhankelijkheden in muziek- en efficiënt genereren. Bovendien maakt het AI-model gebruik van slimme leertechnieken en is het getraind om verschillende muzikale aspecten tegelijk aan te pakken.
JEN-1 versus MusicLM, MusicGen en andere AI-modellen
Futureverse vergelijkt JEN-1 met de huidige state-of-the-art modellen, zoals MusicLM van Google en MusicGen van Meta, en laat zien dat zijn aanpak betere resultaten oplevert op het gebied van natuurgetrouwheid en realisme.
De evaluatie was gebaseerd op de prestaties van verschillende modellen op de MusicCaps-testset, een dataset van muziek- en tekstparen. Futureverse gebruikte zowel kwantitatieve als kwalitatieve maatregelen om de modellen te evalueren. Kwantitatieve metingen omvatten de FAD-score (Fidelity-Awareness-Disentanglement) en de CLAP-score (Continuïteit-en-Local-Anomaly-Penalties). Kwalitatieve maatregelen omvatten menselijke beoordelingen van de kwaliteit en afstemming van de gegenereerde muziek.
De resultaten toonden aan dat JEN-1 beter presteerde dan de andere modellen op kwantitatieve en kwalitatieve maatstaven. JEN-1 had de hoogste FAD- en CLAP-scores en ontving de hoogste scores van menselijke beoordelaars. Bovendien was JEN-1 rekenkundig efficiënter dan de andere modellen, met slechts 22.6% van de parameters van MusicGen en 57.7% van de parameters van Noise2Music.
JEN-1 is een teken van het groeiende potentieel van AI in de muziekindustrie. AI wordt al gebruikt om muziek te maken, maar JEN-1 is een flinke stap voorwaarts. Het is het eerste model dat state-of-the-art prestaties behaalt op zowel kwantitatieve als kwalitatieve maatstaven, en het is ook rekenkundig efficiënter dan eerdere modellen.
Lees verder:
- Top 20 AI-tekst-naar-muziekvoorbeelden met aanwijzingen van Mubert
- Google AI heeft de allereerste tekst-naar-muziekgenerator AudioLM aangekondigd
- MusicLM: een nieuw text-to-music en image-to-music AI-model van Google
- Futureverse bundelt krachten met Outlier Ventures voor het Futureverse Base Camp Accelerator Program
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Agne is een journalist die de laatste trends en ontwikkelingen in de metaverse, AI en Web3 industrieën voor de Metaverse Post. Haar passie voor het vertellen van verhalen heeft ertoe geleid dat ze talloze interviews heeft gehouden met experts op deze gebieden, waarbij ze altijd op zoek is naar spannende en boeiende verhalen. Agne heeft een bachelordiploma in literatuur en een uitgebreide achtergrond in het schrijven over een breed scala aan onderwerpen, waaronder reizen, kunst en cultuur. Ze heeft zich ook vrijwillig aangemeld als redacteur voor de dierenrechtenorganisatie, waar ze hielp het bewustzijn over dierenwelzijnskwesties te vergroten. Neem contact met haar op [e-mail beveiligd].
Meer artikelen
Agne is een journalist die de laatste trends en ontwikkelingen in de metaverse, AI en Web3 industrieën voor de Metaverse Post. Haar passie voor het vertellen van verhalen heeft ertoe geleid dat ze talloze interviews heeft gehouden met experts op deze gebieden, waarbij ze altijd op zoek is naar spannende en boeiende verhalen. Agne heeft een bachelordiploma in literatuur en een uitgebreide achtergrond in het schrijven over een breed scala aan onderwerpen, waaronder reizen, kunst en cultuur. Ze heeft zich ook vrijwillig aangemeld als redacteur voor de dierenrechtenorganisatie, waar ze hielp het bewustzijn over dierenwelzijnskwesties te vergroten. Neem contact met haar op [e-mail beveiligd].
