Text-to-SVG: Inihayag ng Berkeley ang abstracting pixel-based diffusion model
Sa madaling sabi
Text-to-image synthesis – Ang mga mananaliksik ng UC Berkeley ay nagpapakita ng mga vector graphics na may text-conditioned mga modelo ng pagsasabog
Sa text-to-image synthesis, mayroon ang mga diffusion model nagpakita natitirang mga resulta. Natututo ang mga diffusion model na gumawa ng mga raster na larawan ng sobrang magkakaibang mga bagay at sitwasyon gamit ang napakalaking database ng mga annotated na larawan. Gayunpaman, para sa mga digital na icon, graphics, at sticker, ang mga designer ay karaniwang gumagamit ng mga vector representasyon ng mga larawan tulad ng Scalable Vector Graphics (SVGs). Ang mga vector graphics ay maliit at maaaring i-scale sa anumang laki.
Ipinapakita ng UC Berkeley kung paano gumawa ng mga vector graphics na maaaring i-export bilang SVG gamit ang isang text-conditioned diffusion model na sinanay sa mga representasyon ng pixel ng larawan. Nagagawa nito ito nang hindi gumagamit ng malawak na koleksyon ng mga SVG na may mga caption. Sa halip, ang mga mananaliksik ng Berkeley ay nag-vector ng isang pagsasabog ng text-to-image sample at i-fine-tune ito gamit ang Score Distillation Sampling loss, na udyok ng kamakailang trabaho sa text-to-3D synthesis.
Halimbawang nabuong mga vector
Tingnan ang bagong nabuong SVG gallery dito.
Ang mga vector graphics ay maliit ngunit pinapanatili ang kanilang sharpness kapag nai-scale sa anumang laki. Pinapabuti ng mga mananaliksik sa Berkeley ang pagkawala ng teksto ng imahe batay sa Score Distillation Sampling upang ma-optimize ang vector graphics. Ang DiffVG differentiable SVG renderer, na ginagamit ng VectorFusion, ay ginagawang posible ang mga inverse visual.
Bukod pa rito, pinapayagan ng VectorFusion ang isang multi-stage na configuration na mas epektibo at may mas mataas na kalidad. Ang pamamaraang ito ay nagsisimula sa pagkuha ng mga sample ng raster mula sa modelo ng pagsasabog ng text-to-image tinatawag Stable Diffusion. Ang mga sample ay awtomatikong sinusubaybayan ng VectorFusion gamit ang LIVE. Ang mga sample na ito, gayunpaman, ay madalas na kulang sa detalye, nakakainip, o mahirap ibagay sa vector graphics. Pagpapahusay ng sigla at pagkakapare-pareho ng teksto sa pamamagitan ng Score Distillation Sampling.
Ang VectorFusion ay maaaring gumawa ng pixel art sa istilo ng mga lumang video game sa pamamagitan ng paglilimita sa mga SVG path sa mga parisukat sa isang grid.
Ang diskarte na ito ay madaling pinalawak upang suportahan ang pagbuo ng text-to-sketch. Upang matuto ng abstract line drawing na tumpak na kumakatawan sa text na ibinigay ng user, gumuhit muna kami ng 16 na random na piniling stroke. Pagkatapos, ino-optimize namin ang aming nakatagong Score Distillation Sampling loss.
Basahin ang mga kaugnay na artikulo:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
