Tekst 3D-ks: Google on välja töötanud närvivõrgu, mis genereerib tekstikirjeldustest 3D-mudeleid
Põgusalt
Tekst 3D-sse närvivõrk suudab tekstist luua 3D-mudeleid
DreamFusion optimeerib 3D-stseene Imageni tekstist pildiks muutmise põhjal
2D difusioonimudelit saab kasutada tekstist pildiks sünteesiks
Google lõi a Närvivõrgus võimeline looma tekstikirjeldustest 3D-mudeleid. Parim osa on see, et kõige raskemat aspekti polnud isegi vaja õpetada. Imagenit kasutati Text-to-3D alusena.
Mida peaksite teadma DreamFusion?
Miljarditel pilt-teksti paaridel treenitud difusioonimudelid on viinud hiljutiste edusammudeni tekstist pildiks sünteesis. Selle lähenemisviisi kohandamine 3D-sünteesiga nõuab märgistatud 3D-varade suuremahulisi andmekogusid ja tõhusaid 3D-andmearhitektuure, millest kumbki pole praegu saadaval. Selles artiklis ületame need piirangud, tehes tekstist 3D-sünteesi eelkoolitatud 2D-ga tekstist pildiks difusioon mudel. Esitame tõenäosustiheduse destilleerimisel põhineva kadu, mis võimaldab parameetrilise optimeerimise eelkäena kasutada 2D difusioonimudelit. pildi generaator. Seda kadu kasutades kasutame gradiendi laskumist, et optimeerida juhuslikult initsialiseeritud 3D-mudelit (neuraalse kiirguse väli või NeRF), nii et selle juhuslike nurkade alt tehtud 2D-renderdustel oleks minimaalne kadu.
Määratud tekstist loodud 3D-mudelit saab vaadata mis tahes nurga alt, valgustada muutuva valgustusega ja kombineerida mis tahes 3D-keskkonda. Selle meetod ei nõua 3D-treeningu andmeid ega muudatusi pildi difusioonimudel, mis illustreerib eelkoolitatud kujutise difusioonimudelite kasutamise tõhusust nagu varem.
Tekstist genereeritud 3D näited
Objektide kokkupanek stseeni tegemiseks
Kuidas see toimib?
DreamFusion optimeerib 3D-stseeni pealdise põhjal, kasutades Imageni tekst-pildiks generatiivset mudelit. See soovitab Score Distillation Sampling (SDS), mis hõlmab kaofunktsiooni optimeerimist, et toota proove difusioonimudelist. Niikaua kui suudame pilte erinevalt tagasi kaardistada, võimaldab SDS optimeerida näidiseid mis tahes parameetriruumis, näiteks 3D-ruumis. To defiLisaks sellele diferentseeritavale kaardistamisele kasutab see 3D-stseeni parameetrite määramist, mis on sarnane närvikiirguse väljadele või NeRF-idele. Ainuüksi SDS loob sobiva stseeni välimuse, kuid DreamFusion täiustab geomeetriat täiendavate regulaatorite ja optimeerimistehnikatega. Valmistatud treenitud NeRF-id on sidusad, neil on suurepärased normaalväärtused, pinnageomeetria ja sügavus ning neid saab Lamberti varjutusmudeli abil uuesti valgustada.
Loe seotud artikleid:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
