Teksta pārsūtīšana uz SVG: Bērklijs paziņoja par abstrahējošu pikseļu difūzijas modeli
Īsumā
Teksta-attēlu sintēze — UC Berkeley pētnieki demonstrē vektorgrafiku ar tekstu kondicionētu difūzijas modeļi
Teksta-attēla sintēzē difūzijas modeļiem ir Pierādīts izcilus rezultātus. Difūzijas modeļi mācās radīt ārkārtīgi dažādu objektu un situāciju rastra attēlus, izmantojot milzīgas anotētu attēlu datu bāzes. Tomēr digitālajām ikonām, grafikām un uzlīmēm dizaineri parasti izmanto attēlu vektora attēlojumus, piemēram, mērogojamu vektorgrafiku (SVG). Vektorgrafika ir maza, un to var mērogot jebkurā izmērā.
UC Berkeley demonstrē, kā izveidot vektorgrafiku, ko var eksportēt kā SVG, izmantojot teksta kondicionētu difūzijas modeli, kas tika apmācīts attēla pikseļu attēlošanai. Tas tiek paveikts, neizmantojot plašas SVG kolekcijas ar parakstiem. Tā vietā Bērklija pētnieki vektorizē a teksta-attēlu difūzija paraugu un precizējiet to ar Score Destilation Sampling zudumu, ko motivējis nesenais darbs pie teksta 3D sintēzes.
Ģenerēto vektoru piemērs
Apskatiet tikko ģenerēto SVG galeriju šeit.
Vektorgrafika ir maza, taču saglabā savu asumu, ja to mērogoja jebkurā izmērā. Bērklija pētnieki uzlabo attēla teksta zudumu, pamatojoties uz Score Distillation Sampling, lai optimizētu vektorgrafiku. DiffVG diferencējamais SVG renderētājs, ko izmanto VectorFusion, padara iespējamus apgrieztus vizuālos attēlus.
Turklāt VectorFusion nodrošina daudzpakāpju konfigurāciju, kas ir efektīvāka un kvalitatīvāka. Šī metode sākas ar rastra paraugu ņemšanu no teksta-attēla difūzijas modelis aicināja Stable Diffusion. Pēc tam paraugus automātiski izseko VectorFusion, izmantojot LIVE. Tomēr šiem paraugiem bieži trūkst detaļu, tie ir garlaicīgi vai ir grūti pielāgojami vektorgrafikai. Uzlabojiet spilgtumu un teksta konsekvenci, izmantojot Score Destilation Sampling.
VectorFusion var radīt pikseļu mākslu veco videospēļu stilā, ierobežojot SVG ceļus līdz kvadrātiem uz režģa.
Šo pieeju ir viegli paplašināt, lai atbalstītu teksta ģenerēšanu skicē. Lai apgūtu abstraktu līniju zīmējumu, kas precīzi attēlo lietotāja sniegto tekstu, vispirms mēs uzzīmējam 16 nejauši izvēlētus insultus. Pēc tam mēs optimizējam savus latentos punktu destilācijas paraugu ņemšanas zaudējumus.
Lasiet saistītos rakstus:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
