Text-to-3D: Google ha desarrollado una red neuronal que genera modelos 3D a partir de descripciones de texto
En Resumen
Texto a 3D La red neuronal puede generar modelos 3D a partir de texto.
DreamFusion optimiza escenas 3D basadas en imagen de texto a imagen
El modelo de difusión 2D se puede utilizar para la síntesis de texto a imagen
Google creó un red neural capaz de crear modelos 3D a partir de descripciones de texto. La mejor parte es que el aspecto más difícil ni siquiera necesitaba ser enseñado. Imagen se utilizó como base para Text-to-3D.
¿Qué deberías saber sobre SueñoFusión?
Los modelos de difusión entrenados en miles de millones de pares de imagen y texto han llevado a avances recientes en la síntesis de texto a imagen. La adaptación de este enfoque a la síntesis 3D requerirá conjuntos de datos a gran escala de activos 3D etiquetados, así como arquitecturas de datos 3D eficientes para eliminar el ruido, ninguno de los cuales está disponible actualmente. En este documento, superamos estas restricciones realizando una síntesis de texto a 3D con un 2D preentrenado. difusión de texto a imagen modelo. Presentamos una pérdida basada en destilación de densidad de probabilidad que permite utilizar un modelo de difusión 2D como previo para optimizar un análisis paramétrico. generador de imágenes. Utilizando esta pérdida, utilizamos el descenso de gradiente para optimizar un modelo 3D inicializado aleatoriamente (un campo de radiación neuronal o NeRF) de modo que sus representaciones 2D desde ángulos aleatorios tengan una pérdida mínima.
El modelo 3D generado del texto especificado se puede ver desde cualquier ángulo, iluminado con iluminación variable y compuesto en cualquier entorno 3D. Su método no requiere datos de entrenamiento 3D ni cambios en el modelo de difusión de imagen, que ilustra la eficacia de usar modelos de difusión de imágenes preentrenados como antes.
Ejemplos de 3D generado a partir de texto
Poner objetos juntos para hacer una escena.
¿Cómo funciona?
DreamFusion optimiza una escena 3D basada en un título utilizando el modelo generativo de texto a imagen de Imagen. Sugiere Score Distillation Sampling (SDS), que implica optimizar una función de pérdida para producir muestras a partir de un modelo de difusión. Siempre que podamos mapear imágenes de manera diferente, SDS nos permite optimizar muestras en cualquier espacio de parámetros, como un espacio 3D. A defiEn este mapeo diferenciable, emplea una parametrización de escena 3D similar a los campos de radiación neuronal o NeRF. SDS por sí solo crea una apariencia de escena aceptable, pero DreamFusion mejora la geometría con regularizadores adicionales y técnicas de optimización. Los NeRF entrenados que se producen son coherentes, tienen normales, geometría de superficie y profundidad excelentes, y pueden volver a iluminarse utilizando un modelo de sombreado lambertiano.
Leer artículos relacionados:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
