Tekstistä SVG:ksi: Berkeley ilmoitti abstraktivasta pikselipohjaisesta diffuusiomallista
Lyhyesti
Tekstistä kuvaksi synteesi – UC Berkeleyn tutkijat esittelevät vektorigrafiikkaa tekstin ehdoin diffuusio malleja
Tekstistä kuvaksi -synteesissä diffuusiomalleilla on osoittivat erinomaisia tuloksia. Diffuusiomallit oppivat tuottamaan rasterikuvia äärimmäisen erilaisista kohteista ja tilanteista käyttämällä valtavia selostettujen kuvien tietokantoja. Kuitenkin digitaalisissa kuvakkeissa, grafiikoissa ja tarroissa suunnittelijat käyttävät yleensä kuvien vektorimuotoisia esityksiä, kuten SVG:itä (Scalable Vector Graphics). Vektorigrafiikka on pieni ja voidaan skaalata mihin tahansa kokoon.
UC Berkeley osoittaa, kuinka tuottaa vektorigrafiikkaa, joka voidaan viedä SVG-muodossa, käyttämällä tekstin ehdollista diffuusiomallia, joka on koulutettu kuvan pikselien esittämiseen. Se saavuttaa tämän käyttämättä laajoja SVG-kokoelmia tekstityksillä. Sen sijaan Berkeley-tutkijat vektoroivat a tekstistä kuvaksi diffuusio ota näyte ja hienosäädä sitä Score Distillation Sampling -häviöllä, jonka motiivina on viimeaikainen teksti-3D-synteesin työ.
Esimerkki generoiduista vektoreista
Tutustu tuoreeseen SVG-galleriaan tätä.
Vektorigrafiikka on pieni, mutta säilyttää terävyyden, kun se skaalataan mihin tahansa kokoon. Berkeleyn tutkijat parantavat kuva-tekstihäviötä Score Distillation Samplingin perusteella vektorigrafiikan optimoimiseksi. VectorFusionin käyttämä DiffVG-differentioituva SVG-renderöijä mahdollistaa käänteisen visualisoinnin.
Lisäksi VectorFusion mahdollistaa monivaiheisen konfiguroinnin, joka on tehokkaampi ja laadukkaampi. Tämä menetelmä alkaa ottamalla rasterinäytteitä tekstistä kuvaksi diffuusiomalli nimeltään Stable Diffusion. VectorFusion jäljittää sitten näytteet automaattisesti LIVEn avulla. Näistä näytteistä ei kuitenkaan usein löydy yksityiskohtia, ne ovat tylsiä tai niitä on vaikea mukauttaa vektorigrafiikkaan. Parantaa eloisuutta ja tekstin yhtenäisyyttä Score Distilation Sampling -näytteenoton avulla.
VectorFusion voi tuottaa pikselitaidetta vanhojen videopelien tyyliin rajoittamalla SVG-polut ruudukon neliöihin.
Tämä lähestymistapa on helppo laajentaa tukemaan tekstistä luonnoksiksi luomista. Jotta voisimme oppia abstraktin viivapiirroksen, joka edustaa tarkasti käyttäjän toimittamaa tekstiä, piirrämme ensin 16 satunnaisesti valittua viivaa. Sitten optimoimme piilevän Score Distillation Sampling -häviön.
Lue aiheeseen liittyvät artikkelit:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
