TextMesh: novost Stable Diffusion-Googlov model pretvorbe besedila v 3D
Na kratko
TextMesh je novo Googlovo delo za pretvorbo besedila v 3D, ki izboljšuje zdaj moderen pristop uporabe Stable Diffusion za generiranje različnih kotov istega osnovnega poziva (2D slika), nato pa se iz tega z uporabo NeRF sestavi 3D mreža.
V zadnjem času je zmožnost generiranja 2D slik iz besedilnih pozivov doživela velik uspeh zaradi dela modelov za generiranje difuzijskih slik. Ti modeli so zelo sposobni ustvariti visokokakovostne vzorce slik glede na besedilni poziv, kar omogoča preprost vmesnik besedila v sliko. Na podlagi teh napredkov na področju ustvarjanja 2D slik je veliko vprašanje v tej panogi, ali je mogoče uporabiti podobne difuzijske modele za ustvarjanje 3D modelov iz besedila.
In zdaj je Google predstavil novo metodo pretvorbe besedila v 3D z elegantnim imenom TextMesh. Ta metoda obljublja izboljšanje zdaj modnega pristopa k Stable Diffusion-temelji model besedila v 3D generacije. V bistvu se z vnosom osnovnega 2D vnosa v model ustvari več kotov. Nato se rezultati obdelajo in asimilirajo v 3D mrežo z uporabo pristopa Neural Radiance Fields (NeRF).
| Priporočamo: Prompt Engineering Ultimate Guide 2023: |
Prednosti tega inovativnega pristopa pred trenutno trendovskima DreamFusion in CLIPMesh so predvsem uporabniku prijazen izpis. Namesto uporabe zahtevnega formata NeRF ponuja TextMesh 3D mrežo s teksturami, zaradi česar je veliko bolj uporabna za uporabo v resničnem svetu. Poleg tega se pristop izogiba učinku visoke nasičenosti, ki se pogosto pojavlja pri drugih modelih, in uspe povečati podrobnosti.
O model dela tako, da najprej iz vhodne slike s pomočjo NeRF oblikujemo 3D mrežo. Rezultati gredo nato skozi okvir SDF (Signed Distance Fields) za dodatno izboljšanje teksture in izboljšanje splošne jasnosti izhodne mreže. Da ne omenjam, okvir SDF pomaga preprečiti učinek prenasičenosti kot drugi 3D modeli običajno trpijo zaradi.
3D mreže ustvarjene kot primer
Ta pristop izkorišča uspeh modelov DiG in razširja omrežja NeRF tako, da temeljijo na hrbtenici SDF. To ustvari izboljšane zmožnosti ekstrakcije 3D-mrež in veliko bolj realistična 3D-mreža v primerjavi s predhodno obravnavanimi metodami.
Rezultati uporabe TextMesh so izjemno prepričljivi. Avtorja ponujata celo povezavo do slike veverice, ustvarjene po njunem modelu, kar ni nič manj kot impresivno.
TextMesh se je izkazal kot revolucionaren nov 3D model, ki ponuja obilico prednosti in lahko ustvari izjemno realistične 3D mreže. Njegova uporaba bo v bližnji prihodnosti zagotovo postala vse bolj priljubljena.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
