Text-to-SVG: Berkeley oznámila abstrahujúci difúzny model založený na pixeloch
Stručne
Syntéza textu na obrázok – výskumníci z UC Berkeley demonštrujú vektorovú grafiku s prispôsobením textu difúzne modely
Pri syntéze textu na obrázok majú modely difúzie preukázaná vynikajúce výsledky. Difúzne modely sa učia vytvárať rastrové obrázky extrémne rôznorodých objektov a situácií pomocou obrovských databáz anotovaných obrázkov. V prípade digitálnych ikon, grafiky a nálepiek však dizajnéri zvyčajne používajú vektorové reprezentácie obrázkov, ako je škálovateľná vektorová grafika (SVG). Vektorová grafika je malá a môže byť zmenšená na ľubovoľnú veľkosť.
UC Berkeley demonštruje, ako vytvoriť vektorovú grafiku, ktorú možno exportovať ako SVG pomocou textovo podmieneného difúzneho modelu, ktorý bol trénovaný na obrazových pixelových reprezentáciách. Dosahuje to bez použitia rozsiahlych zbierok SVG s titulkami. Namiesto toho výskumníci z Berkeley vektorizujú a šírenie textu do obrázka vzorku a dolaďte ju stratou Score Distillation Sampling, motivovanou nedávnou prácou na syntéze textu do 3D.
Príklady generovaných vektorov
Pozrite si čerstvo vygenerovanú galériu SVG tu.
Vektorová grafika je malá, ale zachováva si svoju ostrosť, keď je zmenšená na ľubovoľnú veľkosť. Výskumníci v Berkeley zlepšujú stratu textu a obrázkov na základe vzorkovania skóre destilácie, aby optimalizovali vektorovú grafiku. Rozlíšiteľný SVG renderer DiffVG, ktorý používa VectorFusion, umožňuje inverzné zobrazenia.
VectorFusion navyše umožňuje viacstupňovú konfiguráciu, ktorá je efektívnejšia a kvalitnejšia. Táto metóda začína odberom rastrových vzoriek z model difúzie textu na obrázok tzv Stable Diffusion. Vzorky sú potom automaticky sledované pomocou VectorFusion pomocou LIVE. Tieto vzorky však často nemajú detaily, sú nudné alebo sa ťažko prispôsobujú vektorovej grafike. Zlepšenie živosti a konzistencie textu prostredníctvom vzorkovania skóre destilácie.
VectorFusion dokáže vytvárať pixel art v štýle starých videohier obmedzením ciest SVG na štvorce na mriežke.
Tento prístup sa dá ľahko rozšíriť na podporu generovania textu na skicu. Aby sme sa naučili abstraktnú perokresbu, ktorá presne reprezentuje text zadaný používateľom, najprv nakreslíme 16 náhodne vybraných ťahov. Potom optimalizujeme našu stratu latentného skóre destiláciou.
Prečítajte si súvisiace články:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
