Text-to-SVG: Berkeley ha annunciato l'astrazione del modello di diffusione basato sui pixel
In Breve
Sintesi da testo a immagine: i ricercatori della UC Berkeley dimostrano la grafica vettoriale con testo condizionato modelli di diffusione
Nella sintesi da testo a immagine, i modelli di diffusione hanno dimostrato risultati eccezionali. I modelli di diffusione imparano a produrre immagini raster di oggetti e situazioni estremamente diverse utilizzando enormi database di immagini annotate. Tuttavia, per le icone digitali, la grafica e gli adesivi, i progettisti utilizzano in genere rappresentazioni vettoriali di immagini come Scalable Vector Graphics (SVG). La grafica vettoriale è piccola e può essere ridimensionata a qualsiasi dimensione.
UC Berkeley dimostra come produrre grafica vettoriale che può essere esportata come SVG utilizzando un modello di diffusione condizionato dal testo che è stato addestrato sulle rappresentazioni dei pixel dell'immagine. Lo fa senza utilizzare vaste raccolte di SVG con didascalie. Invece, i ricercatori di Berkeley vettorializzano a diffusione testo-immagine campionarlo e perfezionarlo con una perdita di campionamento Score Distillation, motivata dal recente lavoro sulla sintesi da testo a 3D.
Esempi di vettori generati
Dai un'occhiata alla galleria SVG appena generata qui.
La grafica vettoriale è piccola ma mantiene la sua nitidezza quando viene ridimensionata a qualsiasi dimensione. I ricercatori di Berkeley migliorano una perdita di immagine-testo basata su Score Distillation Sampling per ottimizzare la grafica vettoriale. Il renderer SVG differenziabile DiffVG, utilizzato da VectorFusion, rende possibili immagini inverse.
Inoltre, VectorFusion consente una configurazione multistadio più efficace e di qualità superiore. Questo metodo inizia prelevando campioni raster dal file modello di diffusione da testo a immagine detto Stable Diffusion. I campioni vengono quindi tracciati automaticamente da VectorFusion utilizzando LIVE. Questi campioni, tuttavia, spesso mancano di dettagli, sono noiosi o sono difficili da adattare alla grafica vettoriale. Miglioramento della vivacità e della coerenza testuale attraverso il campionamento della distillazione del punteggio.
VectorFusion può produrre pixel art nello stile dei vecchi videogiochi limitando i percorsi SVG ai quadrati su una griglia.
Questo approccio può essere facilmente ampliato per supportare la generazione di testo in schizzo. Per apprendere un disegno a linee astratte che rappresenti accuratamente il testo fornito dall'utente, per prima cosa disegniamo 16 tratti scelti a caso. Quindi, ottimizziamo la nostra perdita latente di campionamento della distillazione del punteggio.
Leggi articoli correlati:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
