Text-to-SVG : Berkeley a annoncé un modèle de diffusion abstrait basé sur les pixels
En bref
Synthèse texte-image - Des chercheurs de l'UC Berkeley démontrent des graphiques vectoriels avec du texte conditionné modèles de diffusion
Dans la synthèse texte-image, les modèles de diffusion ont démontré des résultats exceptionnels. Les modèles de diffusion apprennent à produire des images raster d'objets et de situations extrêmement divers en utilisant d'énormes bases de données d'images annotées. Cependant, pour les icônes numériques, les graphiques et les autocollants, les concepteurs utilisent généralement des représentations vectorielles d'images telles que les graphiques vectoriels évolutifs (SVG). Les graphiques vectoriels sont petits et peuvent être mis à l'échelle à n'importe quelle taille.
UC Berkeley montre comment produire des graphiques vectoriels qui peuvent être exportés au format SVG à l'aide d'un modèle de diffusion conditionné par le texte qui a été formé sur des représentations de pixels d'image. Il accomplit cela sans utiliser de vastes collections de SVG avec des légendes. Au lieu de cela, les chercheurs de Berkeley vectorisent un diffusion texte-image échantillonnez-le et ajustez-le avec une perte d'échantillonnage par distillation de score, motivé par des travaux récents sur la synthèse texte-3D.
Exemple de vecteurs générés
Découvrez la galerie SVG fraîchement générée ici.
Les graphiques vectoriels sont petits mais conservent leur netteté lorsqu'ils sont mis à l'échelle à n'importe quelle taille. Des chercheurs de Berkeley améliorent une perte d'image-texte basée sur l'échantillonnage par distillation de score pour optimiser les graphiques vectoriels. Le moteur de rendu SVG différenciable DiffVG, utilisé par VectorFusion, rend possible les visuels inversés.
De plus, VectorFusion permet une configuration en plusieurs étapes plus efficace et de meilleure qualité. Cette méthode commence par prélever des échantillons raster de la modèle de diffusion texte-image appelé Stable Diffusion. Les échantillons sont ensuite automatiquement tracés par VectorFusion à l'aide de LIVE. Ces échantillons manquent néanmoins souvent de détails, sont ennuyeux ou difficiles à adapter aux graphiques vectoriels. Améliorer le dynamisme et la cohérence textuelle grâce à l’échantillonnage par distillation de partition.
VectorFusion peut produire du pixel art dans le style des anciens jeux vidéo en limitant les chemins SVG aux carrés sur une grille.
Cette approche est facilement étendue pour prendre en charge la génération de texte en croquis. Afin d'apprendre un dessin au trait abstrait qui représente avec précision le texte fourni par l'utilisateur, nous dessinons d'abord 16 traits choisis au hasard. Ensuite, nous optimisons notre perte d'échantillonnage de distillation de score latent.
Lire des articles connexes:
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
