Szöveg SVG-be: Berkeley bejelentette absztraháló pixel alapú diffúziós modellt
Röviden
Szöveg-kép szintézis – Az UC Berkeley kutatói vektorgrafikát mutatnak be szövegfeltételekkel diffúziós modellek
A szöveg-kép szintézisben a diffúziós modellek rendelkeznek igazolták kiemelkedő eredményeket. A diffúziós modellek megtanulnak raszteres képeket készíteni rendkívül változatos objektumokról és helyzetekről a megjegyzésekkel ellátott képek hatalmas adatbázisa segítségével. A digitális ikonok, grafikák és matricák esetében azonban a tervezők általában vektoros ábrázolásokat alkalmaznak, például a Scalable Vector Graphics-ot (SVG-ket). A vektorgrafika kicsi, és bármilyen méretre méretezhető.
Az UC Berkeley bemutatja, hogyan lehet vektorgrafikát készíteni, amely SVG-ként exportálható egy szövegfeltételes diffúziós modell segítségével, amelyet képpixel-ábrázolásokra tanítottak. Ezt anélkül éri el, hogy kiterjedt SVG-gyűjteményt használna feliratokkal. Ehelyett a Berkeley kutatói vektorizálják a szöveg-kép diffúzió mintavétel és finomhangolás Score Distillation Sampling veszteséggel, amelyet a szöveg-3D szintézissel kapcsolatos közelmúltbeli munka motivált.
Példa generált vektorokra
Tekintse meg a frissen generált SVG galériát itt.
A vektorgrafika kicsi, de bármilyen méretre méretezve megőrzi élességét. A Berkeley kutatói a Score Distillation Sampling alapján javítják a kép-szöveg veszteséget a vektorgrafika optimalizálása érdekében. A VectorFusion által használt DiffVG differenciálható SVG renderer inverz vizualizációt tesz lehetővé.
Ezenkívül a VectorFusion többlépcsős konfigurációt tesz lehetővé, amely hatékonyabb és jobb minőségű. Ez a módszer azzal kezdődik, hogy rasztermintákat veszünk a szöveg-kép diffúziós modell hívott Stable Diffusion. A mintákat ezután a VectorFusion a LIVE segítségével automatikusan nyomon követi. Ezek a minták azonban gyakran hiányosak a részletekért, unalmasak vagy nehezen adaptálhatók a vektorgrafikához. Az élénkség és a szöveg konzisztenciája a Score Destillation Sampling segítségével.
A VectorFusion a régi videojátékok stílusában képes pixelművészetet készíteni azáltal, hogy az SVG-útvonalakat a rácson lévő négyzetekre korlátozza.
Ez a megközelítés könnyen bővíthető a szövegből vázlattá generálás támogatására. Annak érdekében, hogy megtanuljunk egy absztrakt vonalrajzot, amely pontosan reprezentálja a felhasználó által megadott szöveget, először 16 véletlenszerűen kiválasztott vonást rajzolunk. Ezután optimalizáljuk látens Score Desztillációs mintavételi veszteségünket.
Olvassa el a kapcsolódó cikkeket:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
