Tekstistä 3D:ksi: Google on kehittänyt hermoverkon, joka luo 3D-malleja tekstikuvauksista
Lyhyesti
Tekstistä 3D:ksi hermoverkko voi luoda 3D-malleja tekstistä
DreamFusion optimoi 3D-kohtaukset Imagenin tekstistä kuvaksi -ominaisuuden perusteella
2D diffuusiomallia voidaan käyttää tekstistä kuvaksi synteesiin
Google loi a neuroverkkomallien pystyy luomaan 3D-malleja tekstikuvauksista. Parasta on, että vaikeinta osaa ei tarvinnut edes opettaa. Imagenia käytettiin Text-to-3D:n perustana.
Mitä sinun pitäisi tietää DreamFusion?
Diffuusiomallit, jotka on koulutettu miljardeille kuva-teksti-pareille, ovat johtaneet viime aikoina edistyneisiin tekstistä kuvaksi -synteesiin. Tämän lähestymistavan mukauttaminen 3D-synteesiin edellyttää suuren mittakaavan tietojoukkoja merkityistä 3D-omaisuuksista sekä tehokkaita 3D-tietoarkkitehtuureja, jotka poistavat kohinan, joista kumpaakaan ei tällä hetkellä ole saatavilla. Tässä artikkelissa ylitämme nämä rajoitukset suorittamalla tekstistä 3D-synteesiä esiopetetulla 2D:llä tekstistä kuvaksi diffuusio malli. Esitämme häviön, joka perustuu todennäköisyystiheystislaukseen, joka mahdollistaa 2D-diffuusiomallin käytön parametrisen optimoinnin ennakkoratkaisuna. kuvan generaattori. Käyttämällä tätä häviötä käytämme gradienttilaskua optimoidaksemme satunnaisesti alustetun 3D-mallin (Neural Radiance Field tai NeRF) niin, että sen 2D-renderöinneillä satunnaisista kulmista on minimaalinen häviö.
Määritetystä tekstistä luotua 3D-mallia voidaan tarkastella mistä tahansa kulmasta, valaista vaihtelevalla valaistuksella ja yhdistää mihin tahansa 3D-ympäristöön. Sen menetelmä ei vaadi 3D-harjoitusdataa eikä muutoksia kuvan diffuusiomalli, joka kuvaa esikoulutettujen kuvan diffuusiomallien käytön tehokkuutta kuten aiemmin.
Esimerkkejä tekstistä luodusta 3D:stä
Esineiden yhdistäminen kohtauksen luomiseksi
Miten tämä toimii?
DreamFusion optimoi 3D-näkymän kuvatekstin perusteella käyttämällä Imagenin tekstistä kuvaksi -generatiivista mallia. Se ehdottaa Score Distillation Sampling (SDS), joka sisältää häviöfunktion optimoinnin näytteiden tuottamiseksi diffuusiomallista. Niin kauan kuin voimme kartoittaa kuvia eri tavalla, SDS antaa meille mahdollisuuden optimoida näytteitä missä tahansa parametritilassa, kuten 3D-tilassa. Vastaanottaja defiTästä erotettavissa olevasta kartoituksesta se käyttää 3D-kohtauksen parametrointia, joka muistuttaa hermosäteilykenttiä tai NeRF:itä. Pelkästään SDS luo kelvollisen kohtauksen ulkonäön, mutta DreamFusion parantaa geometriaa ylimääräisillä säätäjillä ja optimointitekniikoilla. Valmistetut koulutetut NeRF:t ovat koherentteja, niillä on erinomaiset normaaliarvot, pinnan geometria ja syvyys, ja ne voidaan valaista uudelleen Lambertian varjostusmallilla.
Lue aiheeseen liittyvät artikkelit:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
