TextMesh: una novetat Stable Diffusion-Model de text a 3D basat en Google
En breu
TextMesh és un nou treball de text a 3D de Google que millora l'enfocament d'ús que ara està de moda Stable Diffusion per generar diferents angles del mateix indicador bàsic (imatge 2D) i després s'assembla una malla 3D a partir d'aquesta utilitzant NeRF.
Recentment, la capacitat de generar imatges 2D a partir de missatges de text ha tingut un gran èxit gràcies al treball dels models de generació d'imatges difusives. Aquests models són altament capaços de produir mostres d'imatge d'alta qualitat amb un missatge de text, la qual cosa permet una interfície senzilla de text a imatge. A partir d'aquests avenços en el camp de la generació d'imatges 2D, la gran pregunta en aquesta indústria és si és possible aplicar models de difusió similars per generar models 3D a partir de text.
I ara Google ha introduït un nou mètode de text a 3D amb el nom elegant TextMesh. Aquest mètode promet millorar l'enfocament ara de moda de Stable Diffusion-Basat model de text a 3D generació. En el seu nucli, es generen múltiples angles alimentant una entrada 2D bàsica al model. A continuació, els resultats es processen i s'assimilen a una malla 3D mitjançant l'enfocament de camps de radiació neuronal (NeRF).
| Recomanat: Prompt Engineering Ultimate Guide 2023: |
Els avantatges d'aquest enfocament innovador respecte als actuals DreamFusion i CLIPMesh són, sobretot, la sortida fàcil d'utilitzar. En lloc d'utilitzar el desafiant format NeRF, TextMesh proporciona textures de malla 3D, fent-la molt més aplicable als usos del món real. A més, l'enfocament evita l'efecte d'alta saturació que es troba sovint d'altres models i aconsegueix augmentar els detalls.
El model funciona formant primer una malla 3D a partir d'una imatge d'entrada amb l'ajuda de NeRF. A continuació, els resultats passen pel marc SDF (Signed Distance Fields) per refinar encara més la textura, millorant la claredat general de la malla de sortida. Per no parlar, el marc SDF ajuda a evitar l'efecte de sobresaturació que altres 3D models solen patir.
Malles 3D creades com a exemple
Aquest enfocament aprofita l'èxit dels models DiG i amplia les xarxes NeRF per basar-se en una columna vertebral SDF. Això produeix capacitats d'extracció de malla 3D millorades i malles 3D d'aspecte molt més realista en comparació amb els mètodes comentats anteriorment.
Els resultats de l'ús de TextMesh són extremadament convincents. Els autors fins i tot proporcionen un enllaç a una imatge d'un esquirol creada amb el seu model, que és gens menys que impressionant.
TextMesh demostra ser un nou model 3D revolucionari que ofereix una gran quantitat d'avantatges i pot produir malles 3D extremadament realistes. El seu ús serà cada cop més popular en un futur proper.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
