Pretvorba besedila v SVG: Berkeley je napovedal abstraktni model difuzije, ki temelji na slikovnih pikah
Na kratko
Sinteza besedila v sliko – raziskovalci UC Berkeley prikazujejo vektorsko grafiko s pogojevanjem besedila difuzijski modeli
Pri sintezi besedila v sliko imajo difuzijski modeli Dokazano izjemni rezultati. Difuzijski modeli se naučijo ustvarjati rastrske slike izjemno raznolikih predmetov in situacij z uporabo ogromnih baz podatkov označenih slik. Vendar pa oblikovalci za digitalne ikone, grafike in nalepke običajno uporabljajo vektorske predstavitve slik, kot je razširljiva vektorska grafika (SVG). Vektorska grafika je majhna in jo je mogoče spreminjati na poljubno velikost.
UC Berkeley prikazuje, kako izdelati vektorsko grafiko, ki jo je mogoče izvoziti kot SVG, z uporabo difuzijskega modela pogojenega z besedilom, ki je bil učen na predstavitvah slikovnih pik. To doseže brez uporabe obsežnih zbirk SVG z napisi. Namesto tega raziskovalci Berkeleyja vektorizirajo a difuzijo besedila v sliko vzorčite in ga natančno prilagodite z izgubo vzorčenja z destilacijo rezultatov, motivirano z nedavnim delom na sintezi besedila v 3D.
Primer generiranih vektorjev
Oglejte si sveže ustvarjeno galerijo SVG tukaj.
Vektorska grafika je majhna, vendar ohrani ostrino, ko jo prilagodite na poljubno velikost. Raziskovalci na Berkeleyju izboljšajo izgubo slike in besedila na podlagi vzorčenja destilacije rezultatov za optimizacijo vektorske grafike. Diferencialni upodabljalnik SVG DiffVG, ki ga uporablja VectorFusion, omogoča obratne slike.
Poleg tega VectorFusion omogoča večstopenjsko konfiguracijo, ki je učinkovitejša in kakovostnejša. Ta metoda se začne z odvzemom rastrskih vzorcev iz model difuzije besedila v sliko se imenuje Stable Diffusion. Vzorce nato samodejno izsledi VectorFusion z uporabo LIVE. Kljub temu so ti vzorci pogosto brez podrobnosti, so dolgočasni ali jih je težko prilagoditi vektorski grafiki. Izboljšanje živahnosti in doslednosti besedila z vzorčenjem destilacije rezultatov.
VectorFusion lahko ustvari pikslovno sliko v slogu starih video iger z omejevanjem poti SVG na kvadratke na mreži.
Ta pristop je enostavno razširiti tako, da podpira generiranje besedila v skico. Da bi se naučili abstraktne črtne risbe, ki natančno predstavlja besedilo, ki ga vnese uporabnik, najprej narišemo 16 naključno izbranih potez. Nato optimiziramo naše latentne izgube pri vzorčenju z destilacijo.
Preberite povezane članke:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
