Text-to-SVG: Berkeley va anunciar l'abstracció del model de difusió basat en píxels
En breu
Síntesi text a imatge: els investigadors de la UC Berkeley demostren gràfics vectorials amb text condicionat models de difusió
En la síntesi de text a imatge, els models de difusió tenen demostrat resultats destacats. Els models de difusió aprenen a produir imatges ràster d'objectes i situacions extremadament diverses utilitzant enormes bases de dades d'imatges anotades. Tanmateix, per a icones, gràfics i adhesius digitals, els dissenyadors solen emprar representacions vectorials d'imatges com els gràfics vectorials escalables (SVG). Els gràfics vectorials són petits i es poden escalar a qualsevol mida.
UC Berkeley demostra com produir gràfics vectorials que es poden exportar com a SVG mitjançant un model de difusió condicionat per text que es va entrenar en representacions de píxels d'imatge. Ho aconsegueix sense utilitzar col·leccions extenses de SVG amb subtítols. En canvi, els investigadors de Berkeley vectoritzen a difusió text a imatge mostreu i afineu-lo amb una pèrdua de mostreig de destil·lació de partitura, motivada pel treball recent sobre la síntesi de text a 3D.
Exemple de vectors generats
Fes una ullada a la galeria SVG acabada de generar aquí.
Els gràfics vectorials són petits, però mantenen la seva nitidesa quan s'escalen a qualsevol mida. Els investigadors de Berkeley milloren una pèrdua de text d'imatge basada en el mostreig de destil·lació de puntuació per optimitzar els gràfics vectorials. El renderitzador SVG diferenciable DiffVG, que utilitza VectorFusion, fa possibles visuals inversos.
A més, VectorFusion permet una configuració de diverses etapes més eficaç i de més qualitat. Aquest mètode comença prenent mostres ràster del fitxer model de difusió text a imatge anomenat Stable Diffusion. Aleshores, VectorFusion rastreja automàticament les mostres mitjançant LIVE. Aquestes mostres, però, sovint no tenen detall, són avorrides o són difícils d'adaptar als gràfics vectorials. Millorar la vitalitat i la consistència textual mitjançant el mostreig de destil·lació de partitures.
VectorFusion pot produir pixel art a l'estil dels videojocs antics limitant els camins SVG als quadrats d'una quadrícula.
Aquest enfocament s'amplia fàcilment per donar suport a la generació de text a esbós. Per tal d'aprendre un dibuix de línies abstractes que representi amb precisió el text subministrat per l'usuari, primer dibuixem 16 traços escollits aleatòriament. Aleshores, optimitzem la nostra pèrdua latent de mostreig de destil·lació de puntuació.
Llegeix articles relacionats:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
