TextMesh: Un nou Stable Diffusion- Model bazat pe text în 3D de la Google
Pe scurt
TextMesh este o nouă lucrare text-to-3D de la Google care îmbunătățește abordarea acum la modă a utilizării Stable Diffusion pentru a genera unghiuri diferite ale aceluiași prompt de bază (imagine 2D) și apoi o plasă 3D este asamblată din aceasta folosind NeRF.
Recent, capacitatea de a genera imagini 2D din mesaje text a cunoscut un mare succes datorită muncii modelelor de generare a imaginilor difuzive. Aceste modele sunt foarte capabile să producă mostre de imagini de înaltă calitate, având în vedere o solicitare de text, permițând o interfață simplă text-to-image. Pe baza acestor progrese în domeniul generării de imagini 2D, marea întrebare în această industrie este dacă este posibil să se aplice modele de difuzie similare pentru a genera modele 3D din text.
Și acum Google a introdus o nouă metodă text-to-3D cu numele elegant TextMesh. Această metodă promite să îmbunătățească abordarea acum la modă a Stable DiffusionBazate pe model text în 3D generaţie. În esență, mai multe unghiuri sunt generate prin introducerea unei intrări 2D de bază în model. Apoi rezultatele sunt procesate și asimilate într-o plasă 3D folosind abordarea Neural Radiance Fields (NeRF).
| Recomandat: Prompt Engineering Ultimate Guide 2023: |
Avantajele acestei abordări inovatoare față de DreamFusion și CLIPMesh la modă în prezent sunt, în primul rând, rezultatul ușor de utilizat. Mai degrabă decât să folosească formatul provocator NeRF, TextMesh oferă texturi mesh 3D, făcându-l astfel mult mai aplicabil utilizărilor din lumea reală. În plus, abordarea evită efectul de saturație mare des întâlnit al altor modele și reușește să mărească detaliile.
modelul funcționează prin formarea mai întâi a unei rețele 3D dintr-o imagine de intrare cu ajutorul NeRF. Rezultatele trec apoi prin cadrul SDF (Signed Distance Fields) pentru a rafina și mai mult textura, îmbunătățind claritatea generală a rețelei de ieșire. Ca să nu mai vorbim, cadrul SDF ajută la evitarea efectului de suprasaturare al altor 3D Modele sufera de obicei de.
Rețele 3D create ca exemplu
Această abordare profită de succesul modelelor DiG și extinde rețelele NeRF pentru a se baza pe o coloană vertebrală SDF. Acest lucru produce capacități îmbunătățite de extracție a rețelelor 3D și rețele 3D cu aspect mult mai realist în comparație cu metodele discutate anterior.
Rezultatele utilizării TextMesh sunt extrem de convingătoare. Autorii oferă chiar și un link către o imagine a unei veverițe creată folosind modelul lor, ceea ce este nimic mai puțin impresionant.
TextMesh se dovedește a fi un nou model 3D revoluționar care oferă o multitudine de avantaje și poate produce rețele 3D extrem de realiste. Utilizarea sa va deveni din ce în ce mai populară în viitorul apropiat.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
