TextMesh: een nieuwe Stable Diffusion-Gebaseerd tekst-naar-3D-model van Google
In het kort
TextMesh is een nieuw tekst-naar-3D-werk van Google dat de nu modieuze benadering van het gebruik verbetert Stable Diffusion om verschillende hoeken van dezelfde basisprompt (2D-afbeelding) te genereren en vervolgens wordt hieruit een 3D-mesh samengesteld met behulp van NeRF.
Onlangs heeft de mogelijkheid om 2D-afbeeldingen te genereren op basis van tekstprompts een groot succes gezien dankzij het werk van diffusieve modellen voor het genereren van afbeeldingen. Deze modellen zijn zeer goed in staat om afbeeldingen van hoge kwaliteit te produceren met een tekstprompt, waardoor een eenvoudige tekst-naar-afbeelding-interface mogelijk is. Voortbouwend op deze vorderingen op het gebied van 2D-beeldgeneratie, is de grote vraag in deze branche of het mogelijk is vergelijkbare diffusiemodellen toe te passen om 3D-modellen uit tekst te genereren.
En nu heeft Google een nieuwe tekst-naar-3D-methode geïntroduceerd met de gestroomlijnde naam TekstMesh. Deze methode belooft de inmiddels modieuze aanpak van Stable DiffusionGebaseerde tekst-naar-3D-model generatie. In de kern worden meerdere hoeken gegenereerd door een basis 2D-invoer in het model te voeren. Vervolgens worden de resultaten verwerkt en geassimileerd in een 3D-mesh met behulp van de Neural Radiance Fields (NeRF) -benadering.
| Aanbevolen: Prompt Engineering Ultieme Gids 2023: |
De voordelen van deze innovatieve aanpak ten opzichte van het momenteel trendy DreamFusion en CLIPMesh zijn vooral de gebruiksvriendelijke output. In plaats van het uitdagende NeRF-formaat te gebruiken, biedt TextMesh 3D-mesh met texturen, waardoor het veel beter toepasbaar is voor gebruik in de echte wereld. Bovendien vermijdt de aanpak het vaak voorkomende hoge verzadigingseffect van andere modellen en slaagt het erin om details te vergroten.
De model werkt door eerst met behulp van NeRF een 3D-mesh te vormen van een invoerbeeld. De resultaten gaan vervolgens door het SDF-framework (Signed Distance Fields) om de textuur verder te verfijnen, waardoor de algehele duidelijkheid van de uitvoergaas wordt verbeterd. Om nog maar te zwijgen, het SDF-framework helpt bij het vermijden van het oververzadigingseffect dat andere 3D modellen meestal last van.
3D mazen gemaakt als voorbeeld
Deze aanpak maakt gebruik van het succes van DiG-modellen en breidt NeRF-netwerken uit tot een SDF-backbone. Dit levert verbeterde 3D-mesh-extractiemogelijkheden en veel realistischer ogende 3D-meshes op in vergelijking met de eerder besproken methoden.
De resultaten van het gebruik van TextMesh zijn buitengewoon overtuigend. De auteurs geven zelfs een link naar een foto van een eekhoorn gemaakt met hun model, wat niets minder dan indrukwekkend is.
TextMesh bewijst zichzelf als een revolutionair nieuw 3D-model dat tal van voordelen biedt en uiterst realistische 3D-meshes kan produceren. Het gebruik ervan zal in de nabije toekomst ongetwijfeld steeds populairder worden.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
