Buletin de stiri
30 Septembrie, 2022

Text-to-3D: Google a dezvoltat o rețea neuronală care generează modele 3D din descrierile de text

Pe scurt

Text în 3D rețeaua neuronală poate genera modele 3D din text

DreamFusion optimizează scenele 3D pe baza text-to-image Imagen

Modelul de difuzie 2D poate fi utilizat pentru sinteza text-la-imagine

Google a creat un rețele neuronale capabil să creeze modele 3D din descrieri de text. Cea mai bună parte este că aspectul cel mai dificil nici nu trebuia predat. Imagen a fost folosită ca bază pentru Text-to-3D.

Text-to-3D: Google a dezvoltat o rețea neuronală care generează modele 3D din descrierile de text

Despre ce ar trebui să știi DreamFusion?

Modelele de difuzie antrenate pe miliarde de perechi imagine-text au condus la progrese recente în sinteza text-la-imagine. Adaptarea acestei abordări la sinteza 3D va necesita seturi de date la scară largă de active 3D etichetate, precum și arhitecturi eficiente de date 3D de dezgomot, niciuna dintre ele nu este disponibilă în prezent. În această lucrare, depășim aceste restricții prin efectuarea sintezei text-to-3D cu un 2D preantrenat difuzia text-la-imagine model. Prezentăm o pierdere bazată pe distilare cu densitate probabilă care permite ca un model de difuzie 2D să fie utilizat ca un prealabil pentru optimizarea unui parametri parametric. generator de imagini. Folosind această pierdere, folosim coborârea gradientului pentru a optimiza un model 3D inițializat aleatoriu (un Neural Radiance Field sau NeRF), astfel încât redările sale 2D din unghiuri aleatorii să aibă o pierdere minimă.

Modelul 3D generat al textului specificat poate fi vizualizat din orice unghi, iluminat cu iluminare variabilă și compus în orice mediu 3D. Metoda sa nu necesită date de antrenament 3D și nicio modificare a model de difuzie a imaginii, ilustrând eficacitatea utilizării modelelor de difuzie a imaginii preantrenate ca anterior.

DreamFusion realizează modele 3D relightable, cu aspect, profunzime și valori normale de înaltă fidelitate, bazate pe o legendă. Obiectele sunt reprezentate ca un Câmp Neural Radiance, cu un preantrenat difuzia text-la-imagine înainte ca Imagen să fie folosită.

Exemple de 3D generate din text

Prompt: fotografia unei veverițe purtând o armură medievală cântând la saxofon
Solicitare: fotografia unei veverițe purtând o rochie de bal elegantă așezată la o roată de ceramică modelând un castron de lut
Prompt: sculptură metalică foarte detaliată a unei veverițe purtând un hanorac violet care conduce o motocicletă
Prompt: sculptură complicată în lemn a unei veverițe purtând o armură medievală mânuind o katana

Adunarea obiectelor împreună pentru a face o scenă

Cum functioneaza?

DreamFusion optimizează o scenă 3D pe baza unei subtitrări folosind modelul generativ Imagen text-to-image. Acesta sugerează Score Distillation Sampling (SDS), care implică optimizarea unei funcții de pierdere pentru a produce mostre dintr-un model de difuzie. Atâta timp cât putem mapa înapoi la imagini în mod diferit, SDS ne permite să optimizăm mostre în orice spațiu de parametri, cum ar fi un spațiu 3D. La defiÎn această mapare diferențiabilă, folosește o parametrizare a scenei 3D care este asemănătoare câmpurilor de radiație neurale sau NeRF. Numai SDS creează un aspect de scenă acceptabil, dar DreamFusion îmbunătățește geometria cu regularizatoare suplimentare și tehnici de optimizare. NeRF-urile antrenate care sunt produse sunt coerente, au valori normale excelente, geometrie de suprafață și adâncime și pot fi reluate folosind un model de umbrire Lambertian.

Citiți articole conexe:

Declinare a responsabilităţii

În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.

Despre autor

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

Mai multe articole
Damir Yalalov
Damir Yalalov

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

Hot Stories
Alăturați-vă Newsletter-ului nostru.
Ultimele ştiri

De la Ripple la Big Green DAO: Cum contribuie proiectele de criptomonede la caritate

Să explorăm inițiativele care valorifică potențialul monedelor digitale pentru cauze caritabile.

Aflați mai multe

AlphaFold 3, Med-Gemini și alții: modul în care AI transformă asistența medicală în 2024

Inteligența artificială se manifestă în diferite moduri în asistența medicală, de la descoperirea de noi corelații genetice până la abilitarea sistemelor chirurgicale robotizate...

Aflați mai multe
Alăturați-vă comunității noastre tehnologice inovatoare
Citeste mai mult
Află mai multe
Laniakea se pregătește pentru implementare pe Monad și lansarea unei noi versiuni de testare, dezvăluie premiul Discord pentru rolul „Lala-Nads”
Buletin de stiri Tehnologia
Laniakea se pregătește pentru implementare pe Monad și lansarea unei noi versiuni de testare, dezvăluie premiul Discord pentru rolul „Lala-Nads”
14 Iunie, 2024
Cele mai bune oferte de investiții în AI, Web3și Crypto: Intelion, Nexus, Zyfi, NEAR Foundation și Binance Labs conduc săptămâna
rezumat Liste de top Afaceri Stil de viață pieţe Software Tehnologia
Cele mai bune oferte de investiții în AI, Web3și Crypto: Intelion, Nexus, Zyfi, NEAR Foundation și Binance Labs conduc săptămâna
14 Iunie, 2024
Manta CeDeFi Se integrează cu Ethena Labs, oferind mai multe puncte Ethena pentru staking
Buletin de stiri Tehnologia
Manta CeDeFi Se integrează cu Ethena Labs, oferind mai multe puncte Ethena pentru staking
14 Iunie, 2024
QCP Capital: Bitcoin se luptă să-și revină în urma reuniunii FOMC și a reducerii la jumătate a limitelor de vânzări ale minerilor, câștiguri de preț
pieţe Buletin de stiri
QCP Capital: Bitcoin se luptă să-și revină în urma reuniunii FOMC și a reducerii la jumătate a limitelor de vânzări ale minerilor, câștiguri de preț
14 Iunie, 2024
CRYPTOMERIA LABS PTE. LTD.