Převod textu do SVG: Společnost Berkeley oznámila abstrahující difúzní model založený na pixelech
Stručně
Syntéza textu na obrázek – výzkumníci z UC Berkeley demonstrují vektorovou grafiku s úpravou textu difúzní modely
V syntéze textu na obrázek mají modely difúze prokázána vynikající výsledky. Difúzní modely se učí vytvářet rastrové obrázky extrémně různorodých objektů a situací pomocí obrovských databází anotovaných obrázků. Pro digitální ikony, grafiku a nálepky však návrháři obvykle používají vektorové reprezentace obrázků, jako je Scalable Vector Graphics (SVG). Vektorová grafika je malá a může být zmenšena na libovolnou velikost.
UC Berkeley demonstruje, jak vytvořit vektorovou grafiku, kterou lze exportovat jako SVG pomocí textově podmíněného difúzního modelu, který byl trénován na obrazových pixelových reprezentacích. Dosahuje toho bez použití rozsáhlých sbírek SVG s titulky. Místo toho vědci z Berkeley vektorizují a šíření textu do obrázku vzorku a dolaďte jej ztrátou Score Distillation Sampling, motivovanou nedávnou prací na syntéze textu do 3D.
Příklad generovaných vektorů
Podívejte se na čerstvě vygenerovanou SVG galerii zde.
Vektorová grafika je malá, ale zachová si ostrost, když ji změníte na libovolnou velikost. Výzkumníci z Berkeley vylepšují ztrátu obrazu a textu na základě Score Destillation Sampling pro optimalizaci vektorové grafiky. DiffVG diferencovatelný SVG renderer, který používá VectorFusion, umožňuje inverzní vizualizace.
VectorFusion navíc umožňuje vícestupňovou konfiguraci, která je efektivnější a kvalitnější. Tato metoda začíná odebráním rastrových vzorků z model šíření textu do obrázku volal Stable Diffusion. Vzorky jsou poté automaticky sledovány pomocí VectorFusion pomocí LIVE. Tyto vzorky však často postrádají detaily, jsou nudné nebo se obtížně přizpůsobují vektorové grafice. Posílení živosti a konzistence textu prostřednictvím Score Destillation Sampling.
VectorFusion dokáže vytvářet pixel art ve stylu starých videoher omezením cest SVG na čtverce na mřížce.
Tento přístup lze snadno rozšířit o podporu generování textu na skicu. Abychom se naučili abstraktní perokresbu, která přesně reprezentuje text dodaný uživatelem, nejprve nakreslíme 16 náhodně vybraných tahů. Poté optimalizujeme naši ztrátu latentního skóre destilací.
Přečtěte si související články:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
