Преобразование текста в SVG: Беркли объявил об абстрагировании модели диффузии на основе пикселей
Коротко
Синтез текста в изображение: исследователи из Калифорнийского университета в Беркли демонстрируют векторную графику с преобразованием текста. диффузионные модели
В синтезе текста в изображение модели диффузии имеют убивают выдающиеся результаты. Диффузионные модели учатся создавать растровые изображения чрезвычайно разнообразных объектов и ситуаций, используя огромные базы данных аннотированных изображений. Однако для цифровых значков, графики и наклеек дизайнеры обычно используют векторные представления изображений, такие как масштабируемая векторная графика (SVG). Векторная графика имеет небольшой размер и может масштабироваться до любого размера.
Калифорнийский университет в Беркли демонстрирует, как создавать векторную графику, которую можно экспортировать в формате SVG, используя модель диффузии с преобразованием текста, которая была обучена представлениям пикселей изображения. Это достигается без использования обширных коллекций SVG с подписями. Вместо этого исследователи из Беркли векторизируют распространение текста в изображение сэмплировать и точно настроить его с помощью Score Distillation Sampling loss, мотивированного недавней работой над синтезом текста в 3D.
Пример сгенерированных векторов
Ознакомьтесь со свежесгенерированной галереей SVG. здесь.
Векторная графика имеет небольшой размер, но сохраняет свою четкость при масштабировании до любого размера. Исследователи из Беркли улучшают потерю изображения и текста на основе Score Distillation Sampling для оптимизации векторной графики. Дифференцируемый модуль визуализации SVG DiffVG, который используется VectorFusion, делает возможным инверсное визуальное представление.
Кроме того, VectorFusion позволяет использовать многоступенчатую конфигурацию, которая является более эффективной и более качественной. Этот метод начинается со взятия растровых выборок из модель диффузии текста в изображение под названием Stable Diffusion. Затем VectorFusion автоматически отслеживает образцы с помощью LIVE. Тем не менее, этим образцам часто не хватает детализации, они скучны или их трудно адаптировать к векторной графике. Повышение яркости и текстовой последовательности с помощью выборки Score Distillation Sampling.
VectorFusion может создавать пиксельную графику в стиле старых видеоигр, ограничивая пути SVG квадратами на сетке.
Этот подход легко расширяется для поддержки преобразования текста в эскиз. Чтобы изучить абстрактный рисунок линии, который точно представляет введенный пользователем текст, мы сначала нарисуем 16 случайно выбранных штрихов. Затем мы оптимизируем нашу скрытую потерю выборки Score Distillation Sampling.
Прочитайте соответствующие статьи:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
