Tekst-til-SVG: Berkeley annoncerede en abstrakt pixel-baseret diffusionsmodel
Kort sagt
Tekst-til-billede syntese - UC Berkeley-forskere demonstrerer vektorgrafik med tekstbetinget diffusionsmodeller
I tekst-til-billede syntese har diffusionsmodeller demonstreret fremragende resultater. Diffusionsmodeller lærer at producere rasterbilleder af ekstremt forskellige objekter og situationer ved hjælp af enorme databaser med kommenterede billeder. Til digitale ikoner, grafik og klistermærker bruger designere dog typisk vektorrepræsentationer af billeder som Scalable Vector Graphics (SVG'er). Vektorgrafik er lille og kan skaleres til enhver størrelse.
UC Berkeley demonstrerer, hvordan man producerer vektorgrafik, der kan eksporteres som SVG ved hjælp af en tekst-konditioneret diffusionsmodel, der blev trænet på billedpixel-repræsentationer. Det opnår dette uden at bruge omfattende samlinger af SVG'er med billedtekster. I stedet vektoriserer Berkeley-forskere en tekst-til-billede spredning sample og finjustere det med et Score Destillation Sampling-tab, motiveret af nyligt arbejde med tekst-til-3D-syntese.
Eksempel genererede vektorer
Tjek det nygenererede SVG-galleri link..
Vektorgrafik er lille, men bevarer deres skarphed, når den skaleres til enhver størrelse. Forskere ved Berkeley forbedrer et billed-teksttab baseret på Score Destillation Sampling for at optimere vektorgrafik. Den DiffVG differentierbare SVG-renderer, som bruges af VectorFusion, gør omvendte billeder mulige.
Derudover tillader VectorFusion en flertrinskonfiguration, der er mere effektiv og af højere kvalitet. Denne metode starter med at tage rasterprøver fra tekst-til-billede spredningsmodel kaldet Stable Diffusion. Prøverne spores derefter automatisk af VectorFusion ved hjælp af LIVE. Disse prøver mangler ikke desto mindre ofte detaljer, er kedelige eller er svære at tilpasse til vektorgrafik. Forbedring af livlighed og tekstlig konsistens gennem Score Destillation Sampling.
VectorFusion kan producere pixelkunst i stil med gamle videospil ved at begrænse SVG-stier til firkanter på et gitter.
Denne tilgang kan nemt udvides til at understøtte tekst-til-skitse-generering. For at lære en abstrakt stregtegning, der nøjagtigt repræsenterer den brugerleverede tekst, tegner vi først 16 tilfældigt udvalgte streger. Derefter optimerer vi vores latente Score Destillation Sampling-tab.
Læs relaterede artikler:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
