Futureverse odhaluje JEN-1: Revoluční model umělé inteligence pro generování převodu textu na hudbu v reálném čase


Stručně
Futureverse, průkopnická AI a technologická společnost metaverse, představila JEN-1, model umělé inteligence určený pro generování textu na hudbu.
JEN-1 představuje pozoruhodný skok vpřed v hudební umělé inteligenci tím, že dosahuje bezprecedentních úrovní zarovnání textu a hudby a kvality hudby, to vše při zachování pozoruhodné výpočetní efektivity.

Futureverse, společnost zabývající se AI a metaverse technologií a obsahem, oznámila uvedení JEN-1, nového modelu umělé inteligence pro generování textu na hudbu. JEN-1 je významným pokrokem v hudební AI, protože je prvním modelem, který dosahuje špičkového výkonu v zarovnání textu a hudby a kvalitě hudby při zachování výpočetní efektivity.
„Rozsáhle hodnotíme JEN-1 oproti nejmodernějším základním liniím napříč objektivními metrikami a lidskými hodnoceními. Výsledky ukazují, že JEN-1 produkuje hudbu vjemově vyšší kvality (85.7/100) ve srovnání se současnými nejlepšími metodami (83.8/100),“ napsal Futureverse.
Vytváření hudby z textu je obtížné kvůli složité povaze hudebních aranžmá a potřebě vysoké vzorkovací frekvence. Podle Papír FutureverseJEN-1 může tyto problémy překonat, protože jeho model difúze je založen na autoregresivním a neautoregresivním tréninku. To umožňuje JEN-1 vytvářet hudbu, která je realistická a kreativní.
Díky své výpočetní efektivitě je možné použít JEN-1 ke generování hudby v reálném čase, což otevírá nové možnosti pro hudební produkci, živá vystoupení a virtuální realitu.
Model AI používá speciální autoencoder a difuzní model přímo produkovat detailní stereo zvuk při vysoké vzorkovací frekvenci 48 kHz. Kromě toho se JEN-1 vyhýbá obvyklé ztrátě kvality při převodu zvukových funkcí. Model je trénován v mnoha úlohách, včetně generování hudby, pokračování hudebních sekvencí a doplňování chybějících částí, díky čemuž je všestranný.
JEN-1 také chytře kombinuje autoregresivní a neautoregresivní metody, aby vyvážil kompromis mezi zachycením závislostí v hudba a efektivně je generovat. Model umělé inteligence navíc využívá chytré techniky učení a je trénován tak, aby zvládal různé hudební aspekty najednou.
JEN-1 versus MusicLM, MusicGen a další modely umělé inteligence
Futureverse porovnává JEN-1 se současnými nejmodernějšími modely, jako je MusicLM od Google a MusicGen od Meta, a ukazuje, že jeho přístup přináší lepší výsledky v oblasti věrnosti a realismu.
Hodnocení bylo založeno na výkonu různých modelů na testovací sadě MusicCaps, což je datová sada párů hudby a textu. Společnost Futureverse použila k vyhodnocení modelů jak kvantitativní, tak kvalitativní měřítka. Kvantitativní měření zahrnovala skóre FAD (Fidelity-Awareness-Disentanglement) a skóre CLAP (Continuity-and-Local-Anomaly-Penalties). Kvalitativní měřítka zahrnovala lidské hodnocení kvality a zarovnání generované hudby.
Výsledky ukázaly, že JEN-1 překonal ostatní modely v kvantitativních a kvalitativních měřeních. JEN-1 měl nejvyšší skóre FAD a CLAP a získal nejvyšší skóre od lidských hodnotitelů. JEN-1 byl navíc výpočetně efektivnější než ostatní modely, s pouze 22.6 % parametrů MusicGen a 57.7 % parametrů Noise2Music.
JEN-1 je známkou rostoucího potenciálu AI v hudebním průmyslu. Umělá inteligence se již používá k tvorbě hudby, ale JEN-1 je významným krokem vpřed. Je to první model, který dosáhl špičkového výkonu na kvantitativních i kvalitativních měřeních a je také výpočetně efektivnější než předchozí modely.
Čtěte více:
- Top 20 ukázek AI Text-to-Music s výzvami od Muberta
- Umělá inteligence Google oznámila vůbec první generátor textu na hudbu AudioLM
- MusicLM: nový model umělé inteligence pro převod textu na hudbu a obrázek na hudbu od společnosti Google
- Futureverse spojuje své síly s odlehlými podniky pro program Futureverse Base Camp Accelerator
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Agne je novinářka, která se zabývá nejnovějšími trendy a vývojem v metaverse, AI a Web3 průmysl pro Metaverse Post. Její vášeň pro vyprávění ji přivedla k četným rozhovorům s odborníky v těchto oblastech, ve kterých se vždy snažila odhalit vzrušující a poutavé příběhy. Agne má bakalářský titul z literatury a má rozsáhlé zkušenosti s psaním o široké škále témat, včetně cestování, umění a kultury. Přihlásila se také jako redaktorka do organizace pro práva zvířat, kde pomáhala zvyšovat povědomí o otázkách dobrých životních podmínek zvířat. Kontaktujte ji [chráněno e-mailem].
Další články

Agne je novinářka, která se zabývá nejnovějšími trendy a vývojem v metaverse, AI a Web3 průmysl pro Metaverse Post. Její vášeň pro vyprávění ji přivedla k četným rozhovorům s odborníky v těchto oblastech, ve kterých se vždy snažila odhalit vzrušující a poutavé příběhy. Agne má bakalářský titul z literatury a má rozsáhlé zkušenosti s psaním o široké škále témat, včetně cestování, umění a kultury. Přihlásila se také jako redaktorka do organizace pro práva zvířat, kde pomáhala zvyšovat povědomí o otázkách dobrých životních podmínek zvířat. Kontaktujte ji [chráněno e-mailem].