Besedilo v 3D: Google je razvil nevronsko mrežo, ki ustvarja 3D modele iz besedilnih opisov
Na kratko
Besedilo v 3D nevronska mreža lahko ustvari 3D modele iz besedila
DreamFusion optimizira 3D prizore na podlagi pretvorbe besedila v sliko Imagen
2D difuzijski model se lahko uporablja za sintezo besedila v sliko
Google je ustvaril a nevronska mreža sposobni ustvarjati 3D modele iz besedilnih opisov. Najboljše pri tem je, da najtežjega vidika sploh ni bilo treba poučevati. Imagen je bil uporabljen kot osnova za Text-to-3D.
Kaj morate vedeti DreamFusion?
Difuzijski modeli, usposobljeni na milijardah parov slika-besedilo, so pripeljali do nedavnega napredka pri sintezi besedila v sliko. Prilagoditev tega pristopa k 3D-sintezi bo zahtevala obsežne nabore podatkov označenih 3D-sredstev ter učinkovite 3D-podatkovne arhitekture za odstranjevanje šumov, od katerih nobena trenutno ni na voljo. V tem prispevku te omejitve premagamo tako, da izvedemo sintezo besedila v 3D s predhodno usposobljenim 2D difuzijo besedila v sliko model. Predstavljamo izgubo na podlagi destilacije gostote verjetnosti, ki omogoča, da se 2D difuzijski model uporabi kot predhodnik za optimizacijo parametričnega generator slik. Z uporabo te izgube uporabljamo gradientni spust za optimizacijo naključno inicializiranega 3D modela (Neural Radiance Field ali NeRF), tako da imajo njegove 2D upodobitve iz naključnih kotov minimalne izgube.
Ustvarjeni 3D model določenega besedila si je mogoče ogledati iz katerega koli kota, ga osvetliti s spremenljivo osvetlitvijo in sestaviti v poljubno 3D okolje. Njegova metoda ne zahteva podatkov o 3D usposabljanju in nobenih sprememb v model difuzije slike, ki ponazarja učinkovitost uporabe vnaprej pripravljenih modelov difuzije slike kot prej.
Primeri ustvarjenega 3D iz besedila
Sestavljanje predmetov skupaj za ustvarjanje prizora
Kako deluje?
DreamFusion optimizira 3D sceno na podlagi napisa z uporabo generativnega modela besedila v sliko Imagen. Predlaga Score Destillation Sampling (SDS), ki vključuje optimizacijo funkcije izgube za izdelavo vzorcev iz difuzijskega modela. Dokler lahko slike preslikamo drugače, nam SDS omogoča optimizacijo vzorcev v katerem koli prostoru parametrov, kot je 3D prostor. Za defipri tem razločljivem preslikavi uporablja parametrizacijo 3D scene, ki je podobna nevronskim sevalnim poljem ali NeRF. Samo SDS ustvari sprejemljiv videz scene, vendar DreamFusion izboljša geometrijo z dodatnimi regulatorji in tehnikami optimizacije. Izurjeni NeRF-ji, ki so proizvedeni, so koherentni, imajo odlične normale, geometrijo površine in globino ter jih je mogoče ponovno osvetliti z uporabo Lambertovega modela senčenja.
Preberite povezane članke:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
