Tekstas į SVG: Berkeley paskelbė abstrahuojantį pikselių sklaidos modelį
Trumpai
Teksto į vaizdą sintezė – UC Berkeley mokslininkai demonstruoja vektorinę grafiką su sąlyginiu tekstu difuzijos modeliai
Teksto į vaizdą sintezėje difuzijos modeliai turi Parodė puikių rezultatų. Difuzijos modeliai išmoksta kurti rastrinius labai įvairių objektų ir situacijų vaizdus, naudodami didžiules anotuotų nuotraukų duomenų bazes. Tačiau skaitmeninėms piktogramoms, grafikai ir lipdukams dizaineriai paprastai naudoja vektorinius vaizdų vaizdus, pvz., Scalable Vector Graphics (SVG). Vektorinė grafika yra maža ir gali būti pakeista į bet kokį dydį.
UC Berkeley demonstruoja, kaip sukurti vektorinę grafiką, kurią galima eksportuoti kaip SVG, naudojant teksto sąlygotą sklaidos modelį, kuris buvo išmokytas vaizdo pikselių atvaizdavimo. Tai pasiekiama nenaudojant didelių SVG rinkinių su antraštėmis. Vietoj to, Berklio tyrėjai vektorizuoja a teksto į vaizdą sklaida paimkite mėginį ir sureguliuokite jį naudodami Score Distiliation Sampling praradimą, kurį paskatino neseniai atliktas darbas su teksto į 3D sintezę.
Sukurtų vektorių pavyzdys
Peržiūrėkite naujai sukurtą SVG galeriją čia.
Vektorinė grafika yra maža, tačiau išlaiko savo ryškumą, kai ji padidinama iki bet kokio dydžio. Berklio tyrėjai pagerina vaizdo ir teksto praradimą, remdamiesi Score Distiliation Sampling, kad optimizuotų vektorinę grafiką. DiffVG diferencijuotas SVG atvaizduotojas, kurį naudoja VectorFusion, leidžia sukurti atvirkštinius vaizdus.
Be to, „VectorFusion“ leidžia atlikti kelių pakopų konfigūraciją, kuri yra efektyvesnė ir kokybiškesnė. Šis metodas pradedamas imant rastrinius pavyzdžius iš teksto į vaizdą sklaidos modelis vadinamas Stable Diffusion. Tada mėginiai automatiškai atsekami naudojant VectorFusion naudojant LIVE. Tačiau šie pavyzdžiai dažnai neturi detalumo, yra nuobodūs arba sunkiai pritaikomi vektorinei grafikai. Didesnis ryškumas ir teksto nuoseklumas naudojant Score Distiliation Sampling.
„VectorFusion“ gali sukurti pikselių meną senų vaizdo žaidimų stiliumi, apribodama SVG kelius iki tinklelio kvadratų.
Šis metodas lengvai išplečiamas, kad būtų palaikomas teksto į eskizą generavimas. Norėdami išmokti abstrakčių linijų brėžinį, tiksliai atvaizduojantį vartotojo pateiktą tekstą, pirmiausia nubrėžiame 16 atsitiktinai parinktų brūkšnių. Tada optimizuojame latentinį balų distiliavimo mėginių ėmimo nuostolį.
Skaityti susijusius straipsnius:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
