Text-to-3D: Google ha desenvolupat una xarxa neuronal que genera models 3D a partir de descripcions de text
En breu
Text a 3D La xarxa neuronal pot generar models 3D a partir de text
DreamFusion optimitza les escenes 3D basades en el text a imatge d'Imatge
El model de difusió 2D es pot utilitzar per a la síntesi de text a imatge
Google va crear un xarxa neural capaç de crear models 3D a partir de descripcions de text. El millor és que ni tan sols calia ensenyar l'aspecte més difícil. Imagen es va utilitzar com a base per a Text-to-3D.
De què hauríeu de saber DreamFusion?
Els models de difusió entrenats en milers de milions de parells imatge-text han donat lloc als avenços recents en la síntesi de text a imatge. L'adaptació d'aquest enfocament a la síntesi 3D necessitarà conjunts de dades a gran escala d'actius 3D etiquetats, així com arquitectures de dades 3D eficients, cap de les quals està disponible actualment. En aquest article, superem aquestes restriccions realitzant una síntesi de text a 3D amb un 2D preentrenat. difusió text a imatge model. Presentem una pèrdua basada en la destil·lació de densitat de probabilitat que permet utilitzar un model de difusió 2D com a previ per optimitzar un paramètric generador d'imatges. Utilitzant aquesta pèrdua, utilitzem el descens del gradient per optimitzar un model 3D inicialitzat aleatòriament (un camp de radiació neural o NeRF) de manera que les seves representacions 2D des d'angles aleatoris tinguin una pèrdua mínima.
El model 3D generat del text especificat es pot veure des de qualsevol angle, il·luminar-lo amb il·luminació variable i compondre's en qualsevol entorn 3D. El seu mètode no requereix dades d'entrenament en 3D ni canvis al model de difusió de la imatge, que il·lustra l'eficàcia d'utilitzar models de difusió d'imatges prèviament entrenats.
Exemples de 3D generat a partir de text
Ajuntant objectes per fer una escena
Com funciona?
DreamFusion optimitza una escena 3D basada en un subtítol utilitzant el model generatiu de text a imatge Imagen. Suggereix el mostreig de destil·lació de puntuació (SDS), que implica optimitzar una funció de pèrdua per produir mostres a partir d'un model de difusió. Sempre que puguem mapejar imatges de manera diferent, SDS ens permet optimitzar mostres en qualsevol espai de paràmetres, com ara un espai 3D. A defiEn aquest mapeig diferenciable, empra una parametrització d'escenes 3D semblant als camps de radiació neuronal o NeRF. Només SDS crea una aparença d'escena acceptable, però DreamFusion millora la geometria amb regularitzadors addicionals i tècniques d'optimització. Els NeRF entrenats que es produeixen són coherents, tenen excel·lents normals, geometria superficial i profunditat, i es poden tornar a revisar mitjançant un model d'ombrejat lambertià.
Llegeix articles relacionats:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
