Text-to-SVG: Berkeley a anunțat abstractizarea modelului de difuzie bazat pe pixeli
Pe scurt
Sinteză text-to-image – cercetătorii UC Berkeley demonstrează grafica vectorială cu text condiționat modele de difuzie
În sinteza text-to-image, modelele de difuzie au demonstrat rezultate deosebite. Modelele de difuzie învață să producă imagini raster ale obiectelor și situațiilor extrem de diverse folosind baze de date enorme de imagini adnotate. Cu toate acestea, pentru pictograme digitale, grafică și autocolante, designerii folosesc de obicei reprezentări vectoriale ale imaginilor, cum ar fi Scalable Vector Graphics (SVG). Grafica vectorială este mică și poate fi scalată la orice dimensiune.
UC Berkeley demonstrează cum se produce grafică vectorială care poate fi exportată ca SVG utilizând un model de difuzie condiționat de text care a fost antrenat pe reprezentările pixelilor imaginii. Realizează acest lucru fără a utiliza colecții extinse de SVG-uri cu subtitrări. În schimb, cercetătorii de la Berkeley vectorizează a difuzia text-la-imagine eșantionați și reglați-l cu o pierdere de eșantionare prin distilare a scorului, motivată de lucrările recente privind sinteza text-to-3D.
Exemplu de vectori generați
Consultați galeria SVG proaspăt generată aici.
Grafica vectorială este mică, dar își păstrează claritatea atunci când este scalată la orice dimensiune. Cercetătorii de la Berkeley îmbunătățesc pierderea imaginii-text bazată pe Score Distillation Sampling pentru a optimiza grafica vectorială. Redarea SVG diferențiabilă DiffVG, care este folosită de VectorFusion, face posibile imagini inverse.
În plus, VectorFusion permite o configurație în mai multe etape care este mai eficientă și de calitate superioară. Această metodă începe prin a preleva mostre raster din model de difuzie text-la-imagine denumit Stable Diffusion. Mostrele sunt apoi urmărite automat de VectorFusion folosind LIVE. Aceste mostre, cu toate acestea, sunt adesea lipsite de detalii, sunt plictisitoare sau sunt dificil de adaptat la grafica vectorială. Îmbunătățirea vitalității și consistenței textuale prin eșantionarea prin distilare cu scoruri.
VectorFusion poate produce pixel art în stilul jocurilor video vechi, limitând căile SVG la pătrate pe o grilă.
Această abordare este ușor extinsă pentru a sprijini generarea text-to-sketch. Pentru a învăța un desen linie abstract care reprezintă cu acuratețe textul furnizat de utilizator, desenăm mai întâi 16 linii alese aleatoriu. Apoi, ne optimizăm pierderea latentă de eșantionare prin distilare.
Citiți articole conexe:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
