Text-to-3D: Google je razvio neuronsku mrežu koja generira 3D modele iz tekstualnih opisa
Ukratko
Tekst u 3D neuronska mreža može generirati 3D modele iz teksta
DreamFusion optimizira 3D scene na temelju Imagen teksta u sliku
2D difuzijski model može se koristiti za sintezu teksta u sliku
Google je stvorio a neuronska mreža sposoban za izradu 3D modela iz tekstualnih opisa. Najbolje od svega je to što najteži aspekt nije ni trebalo poučavati. Imagen je korišten kao temelj za Text-to-3D.
Što biste trebali znati o DreamFusion?
Difuzijski modeli uvježbani na milijardama parova slika-tekst doveli su do nedavnog napretka u sintezi teksta u sliku. Prilagodba ovog pristupa 3D sintezi zahtijevat će skupove podataka velikih razmjera označenih 3D sredstava, kao i učinkovite arhitekture 3D podataka za uklanjanje šuma, od kojih nijedna trenutno nije dostupna. U ovom radu prevladavamo ta ograničenja izvođenjem sinteze teksta u 3D s prethodno obučenim 2D difuzija teksta u sliku model. Predstavljamo gubitak na temelju destilacije gustoće vjerojatnosti koja omogućuje korištenje 2D modela difuzije kao prethodnog za optimizaciju parametarskog generator slike. Koristeći ovaj gubitak, koristimo gradijentni pad za optimizaciju nasumično inicijaliziranog 3D modela (Neural Radiance Field ili NeRF) tako da njegovi 2D prikazi iz nasumičnih kutova imaju minimalan gubitak.
Generirani 3D model navedenog teksta može se gledati iz bilo kojeg kuta, osvijetljen varijabilnom rasvjetom i ukomponirati u bilo koje 3D okruženje. Njegova metoda ne zahtijeva podatke o 3D obuci niti promjene u model difuzije slike, koji ilustrira učinkovitost korištenja prethodno obučenih modela difuzije slike.
Primjeri generiranih 3D iz teksta
Spajanje predmeta kako bi se napravila scena
Kako radi?
DreamFusion optimizira 3D scenu na temelju naslova pomoću Imagen generativnog modela teksta u sliku. Predlaže Score Destillation Sampling (SDS), koji uključuje optimizaciju funkcije gubitaka za proizvodnju uzoraka iz difuzijskog modela. Sve dok se možemo preslikavati na različite načine, SDS nam omogućuje optimizaciju uzoraka u bilo kojem prostoru parametara, kao što je 3D prostor. Do defiU ovom diferencijabilnom mapiranju koristi se parametrizacija 3D scene koja je slična poljima neuralnog zračenja ili NeRF-ovima. Sam SDS stvara prihvatljiv izgled scene, ali DreamFusion poboljšava geometriju dodatnim regulatorima i tehnikama optimizacije. Uvježbani NeRF-ovi koji se proizvode su koherentni, imaju izvrsne normale, geometriju površine i dubinu i mogu se ponovno osvijetliti pomoću Lambertiovog modela sjenčanja.
Pročitajte povezane članke:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
