TextMesh: Ein Neues Stable Diffusion-basiertes Text-zu-3D-Modell von Google
In Kürze
TextMesh ist ein neues Text-zu-3D-Werk von Google, das den mittlerweile beliebten Ansatz der Nutzung verbessert Stable Diffusion um verschiedene Winkel derselben Grundaufforderung (2D-Bild) zu generieren und daraus dann mit NeRF ein 3D-Netz zusammenzusetzen.
In jüngster Zeit hat die Möglichkeit, 2D-Bilder aus Textaufforderungen zu generieren, aufgrund der Arbeit diffusiver Bilderzeugungsmodelle großen Erfolg gehabt. Diese Modelle sind in hohem Maße in der Lage, bei Eingabe einer Textaufforderung hochwertige Bildbeispiele zu erzeugen, was eine einfache Text-zu-Bild-Schnittstelle ermöglicht. Aufbauend auf diesen Fortschritten im Bereich der 2D-Bilderzeugung stellt sich in dieser Branche die große Frage, ob es möglich ist, ähnliche Diffusionsmodelle anzuwenden, um 3D-Modelle aus Text zu generieren.
Und jetzt hat Google eine neue Text-zu-3D-Methode mit dem eleganten Namen eingeführt TextMesh. Diese Methode verspricht eine Verbesserung des mittlerweile modischen Ansatzes von Stable Diffusion-Basis Text-zu-3D-Modell Generation. Im Kern werden mehrere Winkel generiert, indem eine grundlegende 2D-Eingabe in das Modell eingespeist wird. Anschließend werden die Ergebnisse verarbeitet und mithilfe des Neural Radiance Fields (NeRF)-Ansatzes in ein 3D-Netz assimiliert.
| Empfohlen: Prompt Engineering Ultimate Guide 2023: |
Die Vorteile dieses innovativen Ansatzes gegenüber den derzeit trendigen DreamFusion und CLIPMesh liegen vor allem in der benutzerfreundlichen Ausgabe. Anstatt das anspruchsvolle NeRF-Format zu verwenden, stellt TextMesh 3D-Netze mit Texturen bereit und macht es so viel anwendbarer für reale Anwendungen. Darüber hinaus vermeidet dieser Ansatz den bei anderen Modellen häufig auftretenden hohen Sättigungseffekt und schafft es, die Details zu verbessern.
Das Modell funktioniert indem zunächst mit Hilfe von NeRF ein 3D-Netz aus einem Eingabebild erstellt wird. Die Ergebnisse durchlaufen dann das SDF-Framework (Signed Distance Fields), um die Textur weiter zu verfeinern und die Gesamtklarheit des Ausgabenetzes zu verbessern. Ganz zu schweigen davon, dass das SDF-Framework dabei hilft, den Übersättigungseffekt zu vermeiden, der bei anderen 3D-Modellen auftritt für leiden normalerweise darunter.
Als Beispiel erstellte 3D-Netze
Dieser Ansatz nutzt den Erfolg von DiG-Modellen und erweitert NeRF-Netzwerke auf Basis eines SDF-Backbones. Dies führt zu verbesserten 3D-Netzextraktionsmöglichkeiten und viel realistischer aussehenden 3D-Netzen im Vergleich zu den zuvor besprochenen Methoden.
Die Ergebnisse der Verwendung von TextMesh sind äußerst überzeugend. Die Autoren stellen sogar einen Link zu einem Bild eines Eichhörnchens bereit, das mit ihrem Modell erstellt wurde, was nicht weniger als beeindruckend ist.
TextMesh erweist sich als revolutionäres neues 3D-Modell, das eine Fülle von Vorteilen bietet und äußerst realistische 3D-Netze erzeugen kann. Seine Verwendung wird in naher Zukunft sicherlich immer beliebter werden.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
