Text-zu-SVG: Berkeley kündigte ein abstrahierendes pixelbasiertes Diffusionsmodell an
In Kürze
Text-zu-Bild-Synthese – Forscher der UC Berkeley demonstrieren Vektorgrafiken mit Textkonditionierung Diffusionsmodelle
Bei der Text-zu-Bild-Synthese haben Diffusionsmodelle weisen nach, dass hervorragende Ergebnisse. Diffusionsmodelle lernen, Rasterbilder von extrem unterschiedlichen Objekten und Situationen zu erstellen, indem sie riesige Datenbanken mit annotierten Bildern verwenden. Für digitale Symbole, Grafiken und Aufkleber verwenden Designer jedoch normalerweise Vektordarstellungen von Bildern wie Scalable Vector Graphics (SVGs). Vektorgrafiken sind klein und können auf jede beliebige Größe skaliert werden.
UC Berkeley demonstriert, wie Vektorgrafiken erstellt werden, die als SVG exportiert werden können, indem ein textkonditioniertes Diffusionsmodell verwendet wird, das auf Bildpixeldarstellungen trainiert wurde. Dies wird erreicht, ohne umfangreiche Sammlungen von SVGs mit Bildunterschriften zu verwenden. Stattdessen vektorisieren Berkeley-Forscher a Text-zu-Bild-Diffusion Sampeln und verfeinern Sie es mit einem Score Distillation Sampling loss, motiviert durch die jüngsten Arbeiten zur Text-zu-3D-Synthese.
Beispiel generierte Vektoren
Schauen Sie sich die frisch generierte SVG-Galerie an hier.
Vektorgrafiken sind klein, behalten aber ihre Schärfe, wenn sie auf eine beliebige Größe skaliert werden. Forscher in Berkeley verbessern einen Bild-Text-Verlust basierend auf Score Distillation Sampling, um Vektorgrafiken zu optimieren. Der differenzierbare SVG-Renderer DiffVG, der von VectorFusion verwendet wird, ermöglicht inverse Visualisierungen.
Darüber hinaus ermöglicht VectorFusion eine mehrstufige Konfiguration, die effektiver und qualitativ hochwertiger ist. Diese Methode beginnt mit der Entnahme von Rasterproben aus dem Text-zu-Bild-Diffusionsmodell namens Stable Diffusion. Die Proben werden dann automatisch von VectorFusion mithilfe von LIVE verfolgt. Diese Beispiele sind jedoch häufig nicht detailliert genug, langweilig oder lassen sich nur schwer an Vektorgrafiken anpassen. Verbesserung der Lebendigkeit und Textkonsistenz durch Score Distillation Sampling.
VectorFusion kann Pixelgrafiken im Stil alter Videospiele erzeugen, indem SVG-Pfade auf Quadrate in einem Raster beschränkt werden.
Dieser Ansatz lässt sich leicht erweitern, um die Text-to-Sketch-Generierung zu unterstützen. Um eine abstrakte Linienzeichnung zu lernen, die den vom Benutzer eingegebenen Text genau darstellt, zeichnen wir zunächst 16 zufällig ausgewählte Striche. Dann optimieren wir unseren latenten Score Destillation Sampling Loss.
Lesen Sie verwandte Artikel:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
