Text-to-3D: Google a dezvoltat o rețea neuronală care generează modele 3D din descrierile de text
Pe scurt
Text în 3D rețeaua neuronală poate genera modele 3D din text
DreamFusion optimizează scenele 3D pe baza text-to-image Imagen
Modelul de difuzie 2D poate fi utilizat pentru sinteza text-la-imagine
Google a creat un rețele neuronale capabil să creeze modele 3D din descrieri de text. Cea mai bună parte este că aspectul cel mai dificil nici nu trebuia predat. Imagen a fost folosită ca bază pentru Text-to-3D.
Despre ce ar trebui să știi DreamFusion?
Modelele de difuzie antrenate pe miliarde de perechi imagine-text au condus la progrese recente în sinteza text-la-imagine. Adaptarea acestei abordări la sinteza 3D va necesita seturi de date la scară largă de active 3D etichetate, precum și arhitecturi eficiente de date 3D de dezgomot, niciuna dintre ele nu este disponibilă în prezent. În această lucrare, depășim aceste restricții prin efectuarea sintezei text-to-3D cu un 2D preantrenat difuzia text-la-imagine model. Prezentăm o pierdere bazată pe distilare cu densitate probabilă care permite ca un model de difuzie 2D să fie utilizat ca un prealabil pentru optimizarea unui parametri parametric. generator de imagini. Folosind această pierdere, folosim coborârea gradientului pentru a optimiza un model 3D inițializat aleatoriu (un Neural Radiance Field sau NeRF), astfel încât redările sale 2D din unghiuri aleatorii să aibă o pierdere minimă.
Modelul 3D generat al textului specificat poate fi vizualizat din orice unghi, iluminat cu iluminare variabilă și compus în orice mediu 3D. Metoda sa nu necesită date de antrenament 3D și nicio modificare a model de difuzie a imaginii, ilustrând eficacitatea utilizării modelelor de difuzie a imaginii preantrenate ca anterior.
Exemple de 3D generate din text
Adunarea obiectelor împreună pentru a face o scenă
Cum functioneaza?
DreamFusion optimizează o scenă 3D pe baza unei subtitrări folosind modelul generativ Imagen text-to-image. Acesta sugerează Score Distillation Sampling (SDS), care implică optimizarea unei funcții de pierdere pentru a produce mostre dintr-un model de difuzie. Atâta timp cât putem mapa înapoi la imagini în mod diferit, SDS ne permite să optimizăm mostre în orice spațiu de parametri, cum ar fi un spațiu 3D. La defiÎn această mapare diferențiabilă, folosește o parametrizare a scenei 3D care este asemănătoare câmpurilor de radiație neurale sau NeRF. Numai SDS creează un aspect de scenă acceptabil, dar DreamFusion îmbunătățește geometria cu regularizatoare suplimentare și tehnici de optimizare. NeRF-urile antrenate care sunt produse sunt coerente, au valori normale excelente, geometrie de suprafață și adâncime și pot fi reluate folosind un model de umbrire Lambertian.
Citiți articole conexe:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
