Text-to-SVG: Berkeley je najavio apstrahirani model difuzije temeljen na pikselima
Ukratko
Sinteza teksta u sliku – istraživači s UC Berkeleyja demonstriraju vektorsku grafiku s uvjetovanim tekstom difuzijski modeli
U sintezi teksta u sliku difuzijski modeli imaju demonstrirao izvanredne rezultate. Difuzijski modeli uče stvarati rasterske slike iznimno raznolikih objekata i situacija koristeći goleme baze podataka označenih slika. Međutim, za digitalne ikone, grafike i naljepnice, dizajneri obično koriste vektorske prikaze slika poput Scalable Vector Graphics (SVG). Vektorska grafika je mala i može se skalirati na bilo koju veličinu.
UC Berkeley demonstrira kako proizvesti vektorsku grafiku koja se može izvesti kao SVG pomoću modela difuzije uvjetovanog tekstom koji je treniran na prikazima piksela slike. To postiže bez korištenja opsežnih kolekcija SVG-ova s opisima. Umjesto toga, istraživači s Berkeleyja vektoriziraju a difuzija teksta u sliku uzorkovanje i fino podešavanje s gubitkom uzorkovanja destilacijom rezultata, motivirano nedavnim radom na sintezi teksta u 3D.
Primjer generiranih vektora
Pogledajte svježe generiranu SVG galeriju ovdje.
Vektorska grafika je mala, ali zadržava svoju oštrinu kada se skalira na bilo koju veličinu. Istraživači s Berkeleyja poboljšavaju gubitak slike i teksta na temelju uzorkovanja destilacijom rezultata kako bi optimizirali vektorsku grafiku. DiffVG diferencijabilni SVG renderer, koji koristi VectorFusion, omogućuje inverzne vizuale.
Uz to, VectorFusion omogućuje višestupanjsku konfiguraciju koja je učinkovitija i kvalitetnija. Ova metoda počinje uzimanjem uzoraka rastera iz model difuzije teksta u sliku zvan Stable Diffusion. VectorFusion zatim automatski prati uzorke koristeći LIVE. Ipak, tim uzorcima često nedostaju detalji, dosadni su ili ih je teško prilagoditi vektorskoj grafici. Poboljšanje živosti i tekstualne dosljednosti kroz uzorkovanje destilacijom rezultata.
VectorFusion može proizvesti pikselnu umjetnost u stilu starih videoigara ograničavajući SVG staze na kvadrate na rešetki.
Ovaj pristup se lako proširuje kako bi podržao generiranje teksta u skicu. Kako bismo naučili apstraktni linijski crtež koji točno predstavlja tekst koji je naveo korisnik, prvo nacrtamo 16 nasumično odabranih poteza. Zatim optimiziramo naš latentni gubitak uzorkovanja destilacijom.
Pročitajte povezane članke:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
