Futureverse avslöjar JEN-1: Revolutionerande AI-modell för realtidsgenerering av text-till-musik


I korthet
Futureverse, ett banbrytande AI- och metaverse-teknikföretag, har introducerat JEN-1, en AI-modell designad för text-till-musikgenerering.
JEN-1 representerar ett anmärkningsvärt steg framåt inom musik-AI genom att uppnå oöverträffade nivåer av text-musikanpassning och musikkvalitet, allt samtidigt som en anmärkningsvärd beräkningseffektivitet bibehålls.

Futureverse, ett AI- och metaverse-teknik- och innehållsföretag, har tillkännagett lanseringen av JEN-1, en ny AI-modell för generering av text-till-musik. JEN-1 är ett betydande framsteg inom musik-AI, eftersom det är den första modellen som uppnår toppmoderna prestanda i text-musikanpassning och musikkvalitet samtidigt som beräkningseffektiviteten bibehålls.
"Vi utvärderar JEN-1 i stor utsträckning mot toppmoderna baslinjer över objektiva mätvärden och mänskliga utvärderingar. Resultaten visar att JEN-1 producerar musik av perceptuellt högre kvalitet (85.7/100) jämfört med de nuvarande bästa metoderna (83.8/100), skrev Futureverse.
Att skapa musik från text är svårt på grund av musikarrangemangs intrikata natur och behovet av en hög samplingsfrekvens. Enligt Futureverses tidning, JEN-1 kan övervinna dessa utmaningar eftersom dess diffusionsmodell är baserad på autoregressiv och icke-autoregressiv träning. Detta gör att JEN-1 kan generera musik som är realistisk och kreativ.
På grund av dess beräkningseffektivitet är det möjligt att använda JEN-1 för att generera musik i realtid, vilket öppnar upp nya möjligheter för musikproduktion, liveframträdande och virtuell verklighet.
AI-modellen använder en speciell autokodare och diffusionsmodell för att direkt producera detaljerat stereoljud med en hög samplingsfrekvens på 48kHz. Dessutom undviker JEN-1 den vanliga kvalitetsförlusten vid konvertering av ljudfunktioner. Modellen är tränad i flera uppgifter, inklusive att generera musik, fortsätta musiksekvenser och fylla i saknade delar, vilket gör den mångsidig.
JEN-1 kombinerar också skickligt autoregressiva och icke-autoregressiva metoder för att balansera avvägningen mellan att fånga beroenden i musik och generera det effektivt. Dessutom använder AI-modellen smarta inlärningstekniker och är utbildad för att hantera olika musikaliska aspekter samtidigt.
JEN-1 kontra MusicLM, MusicGen och andra AI-modeller
Futureverse jämför JEN-1 med de nuvarande toppmoderna modellerna, såsom MusicLM från Google och MusicGen från Meta, och visar att dess tillvägagångssätt ger bättre resultat i trohet och realism.
Utvärderingen baserades på prestanda för olika modeller på MusicCaps testset, som är en datauppsättning av musik- och textpar. Futureverse använde både kvantitativa och kvalitativa mått för att utvärdera modellerna. Kvantitativa mått inkluderade FAD-poängen (Fidelity-Awareness-Disentanglement) och CLAP-poängen (Continuity-and-Local-Anomaly-Penalties). Kvalitativa åtgärder inkluderade mänskliga bedömningar av kvaliteten och anpassningen av den genererade musiken.
Resultaten visade att JEN-1 överträffade de andra modellerna på kvantitativa och kvalitativa mått. JEN-1 hade de högsta FAD- och CLAP-poängen och fick de högsta poängen från mänskliga bedömare. Dessutom var JEN-1 mer beräkningseffektiv än de andra modellerna, med endast 22.6 % av parametrarna för MusicGen och 57.7 % av parametrarna för Noise2Music.
JEN-1 är ett tecken på den växande potentialen för AI i musikbranschen. AI används redan för att skapa musik, men JEN-1 är ett viktigt steg framåt. Det är den första modellen som uppnår toppmodern prestanda på både kvantitativa och kvalitativa mått, och den är också mer beräkningseffektiv än tidigare modeller.
Läs mer:
- Topp 20 AI Text-to-Music-prover med uppmaningar av Mubert
- Google AI tillkännagav den första text-till-musikgeneratorn AudioLM någonsin
- MusicLM: en ny text-till-musik och bild-till-musik AI-modell från Google
- Futureverse går samman med Outlier Ventures för Futureverse Base Camp Accelerator Program
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Agne är en journalist som täcker de senaste trenderna och utvecklingen inom metaversen, AI och Web3 industrier för Metaverse Post. Hennes passion för berättande har lett till att hon har genomfört ett flertal intervjuer med experter inom dessa områden och alltid försökt avslöja spännande och engagerande berättelser. Agne har en kandidatexamen i litteratur och har en omfattande bakgrund i att skriva om ett brett spektrum av ämnen, inklusive resor, konst och kultur. Hon har också varit volontär som redaktör för djurrättsorganisationen, där hon hjälpt till att öka medvetenheten om djurskyddsfrågor. Kontakta henne på [e-postskyddad].
fler artiklar

Agne är en journalist som täcker de senaste trenderna och utvecklingen inom metaversen, AI och Web3 industrier för Metaverse Post. Hennes passion för berättande har lett till att hon har genomfört ett flertal intervjuer med experter inom dessa områden och alltid försökt avslöja spännande och engagerande berättelser. Agne har en kandidatexamen i litteratur och har en omfattande bakgrund i att skriva om ett brett spektrum av ämnen, inklusive resor, konst och kultur. Hon har också varit volontär som redaktör för djurrättsorganisationen, där hon hjälpt till att öka medvetenheten om djurskyddsfrågor. Kontakta henne på [e-postskyddad].