Tekst-naar-SVG: Berkeley heeft een abstract pixelgebaseerd diffusiemodel aangekondigd
In het kort
Tekst-naar-beeld-synthese - Onderzoekers van UC Berkeley demonstreren vectorafbeeldingen met tekstgeconditioneerd diffusiemodellen
Bij tekst-naar-beeldsynthese hebben diffusiemodellen dat wel gedemonstreerd uitstekende resultaten. Diffusiemodellen leren rasterafbeeldingen te produceren van zeer uiteenlopende objecten en situaties met behulp van enorme databases met geannoteerde foto's. Voor digitale pictogrammen, afbeeldingen en stickers gebruiken ontwerpers echter doorgaans vectorrepresentaties van afbeeldingen zoals Scalable Vector Graphics (SVG's). Vectorafbeeldingen zijn klein en kunnen op elk formaat worden geschaald.
UC Berkeley laat zien hoe vectorafbeeldingen kunnen worden gemaakt die kunnen worden geëxporteerd als SVG met behulp van een tekstgeconditioneerd diffusiemodel dat is getraind op afbeeldingspixelrepresentaties. Het bereikt dit zonder gebruik te maken van uitgebreide verzamelingen SVG's met bijschriften. In plaats daarvan vectoriseren onderzoekers van Berkeley a verspreiding van tekst naar afbeelding sample en verfijn het met een Score Distillation Sampling-verlies, gemotiveerd door recent werk op het gebied van tekst-naar-3D-synthese.
Voorbeeld gegenereerde vectoren
Bekijk de vers gegenereerde SVG-galerij hier.
Vectorafbeeldingen zijn klein, maar behouden hun scherpte wanneer ze naar elk formaat worden geschaald. Onderzoekers van Berkeley verbeteren een beeld-tekstverlies op basis van Score Distillation Sampling om vectorafbeeldingen te optimaliseren. De DiffVG differentieerbare SVG-renderer, die wordt gebruikt door VectorFusion, maakt inverse visuals mogelijk.
Bovendien maakt VectorFusion een meertrapsconfiguratie mogelijk die effectiever en van hogere kwaliteit is. Deze methode begint met het nemen van rastermonsters van de tekst-naar-beeld diffusiemodel Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen. Stable Diffusion. De monsters worden vervolgens automatisch getraceerd door VectorFusion met behulp van LIVE. Deze voorbeelden missen echter vaak details, zijn saai of zijn moeilijk aan te passen aan vectorafbeeldingen. Verbetering van levendigheid en tekstuele consistentie door middel van Score Distillation Sampling.
VectorFusion kan pixelart produceren in de stijl van oude videogames door SVG-paden te beperken tot vierkanten op een raster.
Deze aanpak kan eenvoudig worden uitgebreid om het genereren van tekst naar schets te ondersteunen. Om een abstracte lijntekening te leren die de door de gebruiker aangeleverde tekst nauwkeurig weergeeft, tekenen we eerst 16 willekeurig gekozen lijnen. Vervolgens optimaliseren we ons latent Score Distillation Sampling-verlies.
Gerelateerde artikelen lezen:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
