Text-to-SVG: Бъркли обяви абстрактен модел на дифузия, базиран на пиксели
Накратко
Синтез текст към изображение – изследователи от Калифорнийския университет в Бъркли демонстрират векторни графики с обусловени от текст дифузионни модели
При синтеза на текст към изображение дифузионните модели имат демонстрира изключителни резултати. Дифузионните модели се научават да произвеждат растерни изображения на изключително разнообразни обекти и ситуации, използвайки огромни бази данни от анотирани снимки. Въпреки това, за цифрови икони, графики и стикери дизайнерите обикновено използват векторни представяния на изображения като мащабируема векторна графика (SVG). Векторните графики са малки и могат да бъдат мащабирани до произволен размер.
Калифорнийският университет в Бъркли демонстрира как да се произвеждат векторни графики, които могат да бъдат експортирани като SVG, като се използва модел на дифузия, обусловен от текст, който е обучен върху представяне на пикселни изображения. Той постига това, без да използва обширни колекции от SVG с надписи. Вместо това изследователите от Бъркли векторизират a дифузия от текст към изображение семплирайте и го настройте фино със загуба на семплиране при дистилация на резултата, мотивирана от скорошна работа по синтеза на текст към 3D.
Примерни генерирани вектори
Разгледайте прясно генерираната SVG галерия тук.
Векторните графики са малки, но запазват остротата си, когато се мащабират до произволен размер. Изследователи от Бъркли подобряват загубата на изображение-текст въз основа на вземане на проби от резултатна дестилация, за да оптимизират векторната графика. DiffVG диференцируемият SVG рендър, който се използва от VectorFusion, прави възможни обратни визуализации.
Освен това VectorFusion позволява многоетапна конфигурация, която е по-ефективна и с по-високо качество. Този метод започва с вземане на растерни проби от модел на дифузия от текст към изображение нарича Stable Diffusion. След това пробите се проследяват автоматично от VectorFusion с помощта на LIVE. Тези проби обаче често нямат детайли, скучни са или трудно се адаптират към векторна графика. Подобряване на жизнеността и текстовата последователност чрез вземане на проби от резултата от дестилация.
VectorFusion може да създаде пикселно изкуство в стила на стари видеоигри, като ограничи SVG пътищата до квадратчета в мрежа.
Този подход лесно се разширява, за да поддържа генериране на текст към скица. За да научим абстрактен чертеж, който точно представя предоставения от потребителя текст, първо рисуваме 16 произволно избрани черти. След това оптимизираме нашите латентни загуби при вземане на проби от дестилация.
Прочетете свързани статии:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
