Text-to-SVG: Berkeley anunciou a abstração do modelo de difusão baseado em pixels
Em Breve
Síntese de texto para imagem – pesquisadores da UC Berkeley demonstram gráficos vetoriais com modelos de difusão
Na síntese de texto para imagem, os modelos de difusão têm demonstraram resultados excepcionais. Os modelos de difusão aprendem a produzir imagens raster de objetos e situações extremamente diversos usando enormes bancos de dados de fotos anotadas. No entanto, para ícones digitais, gráficos e adesivos, os designers geralmente empregam representações vetoriais de imagens como Scalable Vector Graphics (SVGs). Os gráficos vetoriais são pequenos e podem ser dimensionados para qualquer tamanho.
A UC Berkeley demonstra como produzir gráficos vetoriais que podem ser exportados como SVG usando um modelo de difusão condicionada por texto que foi treinado em representações de pixel de imagem. Ele faz isso sem usar coleções extensas de SVGs com legendas. Em vez disso, os pesquisadores de Berkeley vetorizam um difusão de texto para imagem amostra e ajuste-o com uma perda de amostragem de destilação de pontuação, motivada por trabalhos recentes em síntese de texto para 3D.
Exemplos de vetores gerados
Confira a galeria SVG recém-gerada SUA PARTICIPAÇÃO FAZ A DIFERENÇA.
Os gráficos vetoriais são pequenos, mas mantêm sua nitidez quando dimensionados para qualquer tamanho. Pesquisadores em Berkeley melhoram uma perda de texto de imagem com base na amostragem de destilação de pontuação para otimizar gráficos vetoriais. O renderizador SVG diferenciável DiffVG, que é usado pelo VectorFusion, possibilita visuais inversos.
Além disso, o VectorFusion permite uma configuração multiestágio mais eficaz e de maior qualidade. Este método começa tirando amostras raster do modelo de difusão de texto para imagem chamado Stable Diffusion. As amostras são então rastreadas automaticamente pelo VectorFusion usando LIVE. Estas amostras, no entanto, frequentemente carecem de detalhes, são enfadonhas ou difíceis de adaptar a gráficos vetoriais. Melhorando a vibração e a consistência textual por meio da amostragem por destilação de pontuação.
O VectorFusion pode produzir pixel art no estilo dos videogames antigos, limitando os caminhos SVG a quadrados em uma grade.
Essa abordagem é facilmente expandida para oferecer suporte à geração de texto para esboço. Para aprender um desenho de linha abstrato que represente com precisão o texto fornecido pelo usuário, primeiro desenhamos 16 traços escolhidos aleatoriamente. Em seguida, otimizamos nossa perda de amostragem de destilação de pontuação latente.
Leia artigos relacionados:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
