Text-to-SVG: Berkeley anunció la abstracción del modelo de difusión basado en píxeles
En Resumen
Síntesis de texto a imagen: los investigadores de UC Berkeley demuestran gráficos vectoriales con texto condicionado modelos de difusión
En la síntesis de texto a imagen, los modelos de difusión tienen demostrado resultados sobresalientes. Los modelos de difusión aprenden a producir imágenes rasterizadas de objetos y situaciones extremadamente diversos utilizando enormes bases de datos de imágenes anotadas. Sin embargo, para los iconos, gráficos y pegatinas digitales, los diseñadores suelen emplear representaciones vectoriales de imágenes como Scalable Vector Graphics (SVG). Los gráficos vectoriales son pequeños y se pueden escalar a cualquier tamaño.
UC Berkeley demuestra cómo producir gráficos vectoriales que se pueden exportar como SVG utilizando un modelo de difusión condicionado por texto que se entrenó en representaciones de píxeles de imágenes. Logra esto sin usar colecciones extensas de SVG con subtítulos. En cambio, los investigadores de Berkeley vectorizan un difusión de texto a imagen muestree y ajústelo con una pérdida de muestreo de destilación de puntaje, motivado por el trabajo reciente en la síntesis de texto a 3D.
Ejemplo de vectores generados
Echa un vistazo a la galería SVG recién generada esta página.
Los gráficos vectoriales son pequeños pero mantienen su nitidez cuando se escalan a cualquier tamaño. Investigadores de Berkeley mejoran una pérdida de texto de imagen basada en Score Distillation Sampling para optimizar gráficos vectoriales. El renderizador SVG diferenciable DiffVG, que utiliza VectorFusion, hace posibles las imágenes inversas.
Además, VectorFusion permite una configuración de múltiples etapas que es más efectiva y de mayor calidad. Este método comienza tomando muestras raster de la modelo de difusión de texto a imagen , que son Stable Diffusion. Luego, VectorFusion rastrea automáticamente las muestras usando LIVE. Estas muestras, sin embargo, frecuentemente carecen de detalles, son aburridas o difíciles de adaptar a gráficos vectoriales. Mejora de la vitalidad y la consistencia textual a través del muestreo de destilación de puntajes.
VectorFusion puede producir pixel art al estilo de los videojuegos antiguos al limitar las rutas SVG a cuadrados en una cuadrícula.
Este enfoque se expande fácilmente para admitir la generación de texto a boceto. Para aprender un dibujo lineal abstracto que represente con precisión el texto proporcionado por el usuario, primero dibujamos 16 trazos elegidos al azar. Luego, optimizamos nuestra pérdida de muestreo de destilación de puntuación latente.
Leer artículos relacionados:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
