TextMesh: Uusi Stable Diffusion-Tekstistä 3D-malliin perustuva Googlen malli
Lyhyesti
TextMesh on Googlen uusi tekstistä 3D:ksi työ, joka parantaa nyt muodikasta käyttötapaa Stable Diffusion generoida eri kulmia samalle peruskehotteelle (2D-kuva) ja sitten tästä kootaan 3D-verkko NeRF:n avulla.
Viime aikoina kyky luoda 2D-kuvia tekstikehotteista on saavuttanut suurta menestystä hajakuvanmuodostusmallien työn ansiosta. Nämä mallit pystyvät erittäin hyvin tuottamaan korkealaatuisia kuvanäytteitä tekstikehotteen avulla, mikä mahdollistaa yksinkertaisen tekstistä kuvaksi -käyttöliittymän. Näiden 2D-kuvien luomisen alan edistysaskelten pohjalta tämän alan suuri kysymys on, onko mahdollista soveltaa samanlaisia diffuusiomalleja 3D-mallien luomiseen tekstistä.
Ja nyt Google on ottanut käyttöön uuden tekstistä 3D:ksi -menetelmän, jolla on tyylikäs nimi TextMesh. Tämä menetelmä lupaa parantaa nyt muodikasta lähestymistapaa Stable Diffusion-Pohjainen tekstistä 3D-malliin sukupolvi. Sen ytimessä luodaan useita kulmia syöttämällä perus 2D-syöte malliin. Sitten tulokset käsitellään ja yhdistetään 3D-verkkoon käyttämällä Neural Radiance Fields (NeRF) -lähestymistapaa.
| Suositus: Prompt Engineering Ultimate Guide 2023: |
Tämän innovatiivisen lähestymistavan edut tällä hetkellä trendikkäisiin DreamFusion- ja CLIPMeshiin verrattuna ovat ennen kaikkea käyttäjäystävällinen tulos. Haastavan NeRF-muodon käyttämisen sijaan TextMesh tarjoaa 3D-verkon tekstuureilla, mikä tekee siitä paljon paremmin soveltuvan tosielämän käyttöön. Lisäksi lähestymistapa välttää muiden mallien usein kohtaaman korkean kyllästymisvaikutuksen ja onnistuu lisäämään yksityiskohtia.
- malli toimii muodostamalla ensin 3D-verkko syöttökuvasta NeRF:n avulla. Tulokset kulkevat sitten SDF-kehyksen (Signed Distance Fields) -kehyksen läpi ja tarkentavat tekstuuria entisestään, mikä parantaa tulosverkon yleistä selkeyttä. Puhumattakaan, SDF-kehys auttaa välttämään muiden 3D:n ylikyllästysvaikutuksen mallit yleensä kärsivät.
Esimerkkinä luodut 3D-verkot
Tämä lähestymistapa hyödyntää DiG-mallien menestystä ja laajentaa NeRF-verkot perustumaan SDF-runkoon. Tämä tuottaa parempia 3D-verkkojen erotusominaisuuksia ja paljon realistisemman näköisiä 3D-verkkoja verrattuna aiemmin käsiteltyihin menetelmiin.
TextMeshin käytön tulokset ovat erittäin vakuuttavia. Kirjoittajat tarjoavat jopa linkin heidän mallillaan luotuun oravakuvaan, joka on vain vaikuttava.
TextMesh osoittautuu vallankumoukselliseksi uudeksi 3D-malliksi, joka tarjoaa lukuisia etuja ja voi tuottaa erittäin realistisia 3D-verkkoja. Sen käytöstä tulee lähitulevaisuudessa yhä suositumpaa.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
