Text-to-3D: Nakabuo ang Google ng neural network na bumubuo ng mga 3D na modelo mula sa mga paglalarawan ng teksto
Sa madaling sabi
Text-to-3D Ang neural network ay maaaring makabuo ng mga 3D na modelo mula sa teksto
Ino-optimize ng DreamFusion ang mga 3D na eksena batay sa Imagen text-to-image
Maaaring gamitin ang 2D diffusion model para sa text-to-image synthesis
Nilikha ng Google ang isang neural network may kakayahang lumikha ng mga 3D na modelo mula sa mga paglalarawan ng teksto. Ang pinakamagandang bahagi ay ang pinakamahirap na aspeto ay hindi na kailangan pang ituro. Ginamit ang Imagen bilang pundasyon para sa Text-to-3D.
Ano ang dapat mong malaman tungkol sa DreamFusion?
Ang mga modelo ng pagsasabog na sinanay sa bilyun-bilyong pares ng imahe-text ay humantong sa mga kamakailang pagsulong sa text-to-image synthesis. Ang pag-aangkop sa diskarteng ito sa 3D synthesis ay mangangailangan ng malalaking dataset ng mga may label na 3D asset pati na rin ang mahusay na pagtatanggal ng mga 3D na arkitektura ng data, alinman sa mga ito ay kasalukuyang magagamit. Sa papel na ito, nalampasan namin ang mga paghihigpit na ito sa pamamagitan ng pagsasagawa ng text-to-3D synthesis na may pretrained na 2D pagsasabog ng text-to-image modelo. Nagpapakita kami ng pagkawala batay sa probability density distillation na nagbibigay-daan sa isang 2D diffusion model na magamit bilang nauna para sa pag-optimize ng isang parametric generator ng larawan. Gamit ang pagkawalang ito, gumagamit kami ng gradient descent upang i-optimize ang isang random na nasimulan na 3D na modelo (isang Neural Radiance Field o NeRF) upang ang mga 2D na pag-render nito mula sa mga random na anggulo ay may kaunting pagkawala.
Ang nabuong 3D na modelo ng tinukoy na teksto ay maaaring tingnan mula sa anumang anggulo, iluminado na may variable na pag-iilaw, at pinagsama sa anumang 3D na kapaligiran. Ang pamamaraan nito ay hindi nangangailangan ng 3D na data ng pagsasanay at walang mga pagbabago sa modelo ng pagsasabog ng imahe, na naglalarawan ng pagiging epektibo ng paggamit ng mga pretrained na mga modelo ng pagsasabog ng imahe tulad ng dati.
Mga Halimbawa ng Binuo na 3D Mula sa Teksto
Pagsasama-sama ng mga bagay upang makagawa ng isang eksena
Paano ito gumagana?
Ino-optimize ng DreamFusion ang isang 3D na eksena batay sa isang caption gamit ang Imagen text-to-image generative model. Iminumungkahi nito ang Score Distillation Sampling (SDS), na kinabibilangan ng pag-optimize ng loss function para makagawa ng mga sample mula sa diffusion model. Hangga't maaari kaming mag-mapa pabalik sa mga larawan sa ibang paraan, binibigyang-daan kami ng SDS na i-optimize ang mga sample sa anumang espasyo ng parameter, gaya ng isang 3D space. Upang defiDahil sa differentiable mapping na ito, gumagamit ito ng 3D scene parameterization na katulad ng Neural Radiance Fields o NeRFs. Ang SDS lamang ay lumilikha ng isang madadaanan na hitsura ng eksena, ngunit pinapahusay ng DreamFusion ang geometry gamit ang mga karagdagang regularizer at mga diskarte sa pag-optimize. Ang mga sinanay na NeRF na ginawa ay magkakaugnay, may mahusay na mga normal, geometry sa ibabaw, at lalim, at maaaring i-relit gamit ang isang Lambertian shading model.
Basahin ang mga kaugnay na artikulo:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
