Malla de texto: una nueva Stable Diffusion-Modelo de texto a 3D basado en Google
En Resumen
TextMesh es un nuevo trabajo de texto a 3D de Google que mejora el enfoque ahora de moda de usar Stable Diffusion para generar diferentes ángulos del mismo indicador básico (imagen 2D) y luego se ensambla una malla 3D a partir de esto usando NeRF.
Recientemente, la capacidad de generar imágenes 2D a partir de indicaciones de texto ha tenido un gran éxito debido al trabajo de los modelos de generación de imágenes por difusión. Estos modelos son muy capaces de producir muestras de imágenes de alta calidad con un aviso de texto, lo que permite una interfaz simple de texto a imagen. Sobre la base de estos avances en el campo de la generación de imágenes 2D, la gran pregunta en esta industria es si es posible aplicar modelos de difusión similares para generar modelos 3D a partir de texto.
Y ahora Google ha introducido un nuevo método de texto a 3D con el elegante nombre Malla de texto. Este método promete mejorar el enfoque ahora de moda de Stable Diffusion-Basado modelo de texto a 3D generación. En esencia, se generan múltiples ángulos al introducir una entrada 2D básica en el modelo. Luego, los resultados se procesan y asimilan en una malla 3D utilizando el enfoque Neural Radiance Fields (NeRF).
| Recomendado: Guía definitiva de ingeniería rápida 2023: |
Las ventajas de este enfoque innovador sobre DreamFusion y CLIPMesh, actualmente de moda, son, ante todo, la facilidad de uso. En lugar de utilizar el desafiante formato NeRF, TextMesh proporciona una malla 3D con texturas, lo que la hace mucho más aplicable a los usos del mundo real. Además, el enfoque evita el efecto de alta saturación que a menudo se encuentra en otros modelos y logra aumentar los detalles.
El obras modelo formando primero una malla 3D a partir de una imagen de entrada con la ayuda de NeRF. Luego, los resultados pasan a través del marco SDF (campos de distancia firmados) para refinar aún más la textura, mejorando la claridad general de la malla de salida. Sin mencionar que el marco SDF ayuda a evitar el efecto de sobresaturación que otros 3D modelos suele sufrir.
Mallas 3D creadas como ejemplo
Este enfoque aprovecha el éxito de los modelos DiG y amplía las redes NeRF para que se basen en una red troncal SDF. Esto produce mejores capacidades de extracción de mallas 3D y mallas 3D de aspecto mucho más realista en comparación con los métodos discutidos anteriormente.
Los resultados del uso de TextMesh son extremadamente convincentes. Los autores incluso proporcionan un enlace a una imagen de una ardilla creada con su modelo, que es nada menos que impresionante.
TextMesh demuestra ser un nuevo modelo 3D revolucionario que ofrece una gran cantidad de ventajas y puede producir mallas 3D extremadamente realistas. Su uso está destinado a ser cada vez más popular en un futuro próximo.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
