Futureverse afslører JEN-1: Revolutionær AI-model til tekst-til-musik-generering i realtid


Kort sagt
Futureverse, en banebrydende AI og metaverse teknologivirksomhed, har introduceret JEN-1, en AI-model designet til tekst-til-musik-generering.
JEN-1 repræsenterer et bemærkelsesværdigt spring fremad inden for musik-AI ved at opnå hidtil usete niveauer af tekst-musik-justering og musikkvalitet, alt imens den bibeholder en bemærkelsesværdig beregningseffektivitet.

Futureverse, en AI og metaverse teknologi- og indholdsvirksomhed, har annonceret lanceringen af JEN-1, en ny AI-model til tekst-til-musik-generering. JEN-1 er et betydeligt fremskridt inden for musik AI, da det er den første model, der opnår avanceret ydeevne inden for tekst-musik-justering og musikkvalitet, samtidig med at beregningseffektiviteten bevares.
"Vi evaluerer i vid udstrækning JEN-1 i forhold til avancerede basislinjer på tværs af objektive målinger og menneskelige evalueringer. Resultater viser, at JEN-1 producerer musik af perceptuelt højere kvalitet (85.7/100) sammenlignet med de nuværende bedste metoder (83.8/100),« skrev Futureverse.
Det er vanskeligt at skabe musik ud fra tekst på grund af den indviklede karakter af musikalske arrangementer og behovet for en høj samplinghastighed. Ifølge Futureverses papir, JEN-1 kan overvinde disse udfordringer, da dens diffusionsmodel er baseret på autoregressiv og ikke-autoregressiv træning. Dette gør det muligt for JEN-1 at generere musik, der er realistisk og kreativ.
På grund af dens beregningseffektivitet er det muligt at bruge JEN-1 til at generere musik i realtid, hvilket åbner op for nye muligheder for musikproduktion, liveoptræden og virtual reality.
AI-modellen bruger en speciel autoencoder og diffusionsmodel til direkte at producere detaljeret stereolyd ved en høj samplinghastighed på 48kHz. Desuden undgår JEN-1 det sædvanlige kvalitetstab ved konvertering af lydfunktioner. Modellen er trænet i flere opgaver, herunder at generere musik, fortsætte musiksekvenser og udfylde manglende dele, hvilket gør den alsidig.
JEN-1 kombinerer også intelligent autoregressive og ikke-autoregressive metoder for at balancere afvejningen mellem at fange afhængigheder i musik og generere det effektivt. Derudover anvender AI-modellen smarte læringsteknikker og er trænet til at håndtere forskellige musikalske aspekter på én gang.
JEN-1 versus MusicLM, MusicGen og andre AI-modeller
Futureverse sammenligner JEN-1 med de nuværende state-of-the-art modeller, såsom MusicLM fra Google og MusicGen fra Meta, og viser, at dens tilgang giver bedre resultater i troskab og realisme.
Evalueringen var baseret på udførelsen af forskellige modeller på MusicCaps testsættet, som er et datasæt af musik- og tekstpar. Futureverse brugte både kvantitative og kvalitative mål til at evaluere modellerne. Kvantitative mål omfattede FAD-scoren (Fidelity-Awareness-Disentanglement) og CLAP-scoren (Continuity-and-Local-Anomaly-Penalties). Kvalitative mål omfattede menneskelige vurderinger af kvaliteten og tilpasningen af den genererede musik.
Resultaterne viste, at JEN-1 klarede sig bedre end de andre modeller på kvantitative og kvalitative mål. JEN-1 havde de højeste FAD- og CLAP-score og modtog de højeste score fra menneskelige bedømmere. Derudover var JEN-1 mere beregningseffektiv end de andre modeller, med kun 22.6% af parametrene for MusicGen og 57.7% af parametrene for Noise2Music.
JEN-1 er et tegn på AIs voksende potentiale i musikindustrien. AI bruges allerede til at skabe musik, men JEN-1 er et væsentligt skridt fremad. Det er den første model, der opnår state-of-the-art ydeevne på både kvantitative og kvalitative mål, og den er også mere beregningsmæssig effektiv end tidligere modeller.
Læs mere:
- Top 20 AI tekst-til-musik-eksempler med prompter af Mubert
- Google AI annoncerede den første tekst-til-musik-generator AudioLM nogensinde
- MusicLM: en ny tekst-til-musik og billed-til-musik AI-model fra Google
- Futureverse slår sig sammen med Outlier Ventures til Futureverse Base Camp Accelerator Program
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Agne er en journalist, der dækker de seneste trends og udviklinger inden for metaverset, AI og Web3 industrier for Metaverse Post. Hendes passion for historiefortælling har fået hende til at gennemføre adskillige interviews med eksperter inden for disse områder, hvor hun altid søger at afdække spændende og engagerende historier. Agne er uddannet bachelor i litteratur og har en omfattende baggrund i at skrive om en bred vifte af emner, herunder rejser, kunst og kultur. Hun har også været frivillig som redaktør for dyrerettighedsorganisationen, hvor hun var med til at skabe opmærksomhed omkring dyrevelfærdsspørgsmål. Kontakt hende på [e-mail beskyttet].
Flere artikler

Agne er en journalist, der dækker de seneste trends og udviklinger inden for metaverset, AI og Web3 industrier for Metaverse Post. Hendes passion for historiefortælling har fået hende til at gennemføre adskillige interviews med eksperter inden for disse områder, hvor hun altid søger at afdække spændende og engagerende historier. Agne er uddannet bachelor i litteratur og har en omfattende baggrund i at skrive om en bred vifte af emner, herunder rejser, kunst og kultur. Hun har også været frivillig som redaktør for dyrerettighedsorganisationen, hvor hun var med til at skabe opmærksomhed omkring dyrevelfærdsspørgsmål. Kontakt hende på [e-mail beskyttet].