Futureverse odhaľuje JEN-1: Revolučný model AI pre generovanie textu na hudbu v reálnom čase


Stručne
Futureverse, priekopnícka spoločnosť v oblasti AI a metaverse, predstavila JEN-1, model AI určený na generovanie textu na hudbu.
JEN-1 predstavuje pozoruhodný skok vpred v hudobnej AI dosiahnutím bezprecedentnej úrovne zarovnania textu a hudby a kvality hudby, to všetko pri zachovaní pozoruhodnej výpočtovej efektivity.

Futureverse, spoločnosť zaoberajúca sa technológiou a obsahom AI a metaverse, oznámila spustenie JEN-1, nového modelu AI pre generovanie textu na hudbu. JEN-1 predstavuje významný pokrok v hudobnej umelej inteligencii, keďže ide o prvý model, ktorý dosahuje najmodernejší výkon v zarovnaní textu a hudby a kvalite hudby pri zachovaní výpočtovej efektivity.
„Rozsiahlo hodnotíme JEN-1 na základe najmodernejších základných línií naprieč objektívnymi metrikami a ľudskými hodnoteniami. Výsledky ukazujú, že JEN-1 produkuje hudbu vnímavo vyššej kvality (85.7/100) v porovnaní so súčasnými najlepšími metódami (83.8/100),“ napísal Futureverse.
Vytváranie hudby z textu je náročné kvôli komplikovanej povahe hudobných aranžmánov a potrebe vysokej vzorkovacej frekvencie. Podľa Papier Futureverse, JEN-1 môže prekonať tieto výzvy, pretože jeho difúzny model je založený na autoregresívnom a neautoregresívnom tréningu. To umožňuje JEN-1 vytvárať hudbu, ktorá je realistická a kreatívna.
Vďaka svojej výpočtovej efektivite je možné použiť JEN-1 na generovanie hudby v reálnom čase, čo otvára nové možnosti pre hudobnú produkciu, živé vystúpenia a virtuálnu realitu.
Model AI používa špeciálny autoenkóder a difúzny model na priamu produkciu detailného stereo zvuku pri vysokej vzorkovacej frekvencii 48 kHz. Okrem toho sa JEN-1 vyhýba obvyklej strate kvality pri konverzii zvukových funkcií. Model je vyškolený vo viacerých úlohách vrátane generovania hudby, pokračovania hudobných sekvencií a dopĺňania chýbajúcich častí, vďaka čomu je všestranný.
JEN-1 tiež šikovne kombinuje autoregresívne a neautoregresívne metódy na vyváženie kompromisu medzi zachytávaním závislostí v hudba a efektívne ho generovať. Model AI navyše využíva inteligentné techniky učenia a je vyškolený na zvládanie rôznych hudobných aspektov naraz.
JEN-1 versus MusicLM, MusicGen a ďalšie modely AI
Futureverse porovnáva JEN-1 so súčasnými najmodernejšími modelmi, ako je MusicLM od Google a MusicGen od Meta, a ukazuje, že jeho prístup prináša lepšie výsledky v oblasti vernosti a realizmu.
Hodnotenie bolo založené na výkone rôznych modelov na testovacej sade MusicCaps, čo je súbor údajov párov hudby a textu. Futureverse použil na vyhodnotenie modelov kvantitatívne aj kvalitatívne opatrenia. Kvantitatívne merania zahŕňali skóre FAD (Fidelity-Awareness-Disentanglement) a skóre CLAP (Continuity-and-Local-Anomaly-Penalties). Medzi kvalitatívne opatrenia patrili ľudské hodnotenia kvality a zarovnania generovanej hudby.
Výsledky ukázali, že JEN-1 prekonal ostatné modely v kvantitatívnych a kvalitatívnych meraniach. JEN-1 mal najvyššie skóre FAD a CLAP a získal najvyššie skóre od ľudských posudzovateľov. JEN-1 bol navyše výpočtovo efektívnejší ako ostatné modely, len s 22.6 % parametrov MusicGen a 57.7 % parametrov Noise2Music.
JEN-1 je znakom rastúceho potenciálu AI v hudobnom priemysle. AI sa už používa na vytváranie hudby, ale JEN-1 je významným krokom vpred. Je to prvý model, ktorý dosahuje najmodernejší výkon v kvantitatívnych aj kvalitatívnych meraniach a je tiež výpočtovo efektívnejší ako predchádzajúce modely.
Prečítajte si viac:
- Top 20 ukážok AI Text-to-Music s výzvami od Muberta
- Umelá inteligencia Google ohlásila vôbec prvý generátor prevodu textu na hudbu AudioLM
- MusicLM: nový model umelej inteligencie pre prevod textu na hudbu a obrázok na hudbu od spoločnosti Google
- Futureverse spája sily s odľahlými podnikmi pre program Futureverse Base Camp Accelerator
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Agne je novinárka, ktorá pokrýva najnovšie trendy a vývoj v oblasti metaverse, AI a Web3 priemyslu pre Metaverse Post. Jej vášeň pre rozprávanie ju priviedla k mnohým rozhovorom s odborníkmi v týchto oblastiach, pričom sa vždy snažila odhaliť vzrušujúce a pútavé príbehy. Agne má bakalársky titul v odbore literatúra a má rozsiahle skúsenosti s písaním o širokej škále tém vrátane cestovania, umenia a kultúry. Dobrovoľne pracovala aj ako redaktorka organizácie za práva zvierat, kde pomáhala zvyšovať povedomie o otázkach dobrých životných podmienok zvierat. Kontaktujte ju [chránené e-mailom].
Ďalšie články

Agne je novinárka, ktorá pokrýva najnovšie trendy a vývoj v oblasti metaverse, AI a Web3 priemyslu pre Metaverse Post. Jej vášeň pre rozprávanie ju priviedla k mnohým rozhovorom s odborníkmi v týchto oblastiach, pričom sa vždy snažila odhaliť vzrušujúce a pútavé príbehy. Agne má bakalársky titul v odbore literatúra a má rozsiahle skúsenosti s písaním o širokej škále tém vrátane cestovania, umenia a kultúry. Dobrovoľne pracovala aj ako redaktorka organizácie za práva zvierat, kde pomáhala zvyšovať povedomie o otázkach dobrých životných podmienok zvierat. Kontaktujte ju [chránené e-mailom].