Text-till-SVG: Berkeley tillkännagav en abstrakt pixelbaserad diffusionsmodell
I korthet
Text-till-bild-syntes – UC Berkeley-forskare demonstrerar vektorgrafik med textkonditionerad diffusionsmodeller
Vid text-till-bild-syntes har diffusionsmodeller demonstreras enastående resultat. Diffusionsmodeller lär sig att producera rasterbilder av extremt olika föremål och situationer med hjälp av enorma databaser med kommenterade bilder. Men för digitala ikoner, grafik och klistermärken använder designers vanligtvis vektorrepresentationer av bilder som Scalable Vector Graphics (SVG). Vektorgrafik är liten och kan skalas till valfri storlek.
UC Berkeley visar hur man producerar vektorgrafik som kan exporteras som SVG med hjälp av en textkonditionerad diffusionsmodell som tränades på bildpixelrepresentationer. Det åstadkommer detta utan att använda omfattande samlingar av SVG:er med bildtexter. Istället vektoriserar Berkeley-forskare en text-till-bild spridning prova och finjustera det med en Score Destillation Sampling-förlust, motiverad av det senaste arbetet med text-till-3D-syntes.
Exempel genererade vektorer
Kolla in det nyskapade SVG-galleriet här..
Vektorgrafik är liten men behåller sin skärpa när den skalas till valfri storlek. Forskare vid Berkeley förbättrar en bild-textförlust baserat på Score Destillation Sampling för att optimera vektorgrafik. Den DiffVG differentierbara SVG-renderaren, som används av VectorFusion, gör omvänd bild möjlig.
Dessutom tillåter VectorFusion en flerstegskonfiguration som är mer effektiv och av högre kvalitet. Denna metod börjar med att ta rasterprover från text-till-bild spridningsmodell kallas Stable Diffusion. Proverna spåras sedan automatiskt av VectorFusion med hjälp av LIVE. Dessa prover saknar dock ofta detaljer, är tråkiga eller svåra att anpassa till vektorgrafik. Förbättrar vibrans och textmässig konsistens genom Score Destillation Sampling.
VectorFusion kan producera pixelkonst i stil med gamla videospel genom att begränsa SVG-vägar till rutor på ett rutnät.
Detta tillvägagångssätt kan enkelt utökas för att stödja generering av text-till-skiss. För att lära oss en abstrakt linjeteckning som korrekt representerar den text som användaren tillhandahåller, ritar vi först 16 slumpmässigt valda streck. Sedan optimerar vi vår latenta förlust av destillationsprovtagning.
Läs relaterade artiklar:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
