TextMesh: Isang Bago Stable Diffusion-Batay sa Text-to-3D na Modelo Mula sa Google
Sa madaling sabi
Ang TextMesh ay isang bagong text-to-3D na gawain mula sa Google na nagpapahusay sa ngayon ay naka-istilong diskarte sa paggamit Stable Diffusion upang bumuo ng iba't ibang mga anggulo ng parehong pangunahing prompt (2D na larawan) at pagkatapos ay isang 3D mesh ay binuo mula dito gamit ang NeRF.
Kamakailan, ang kakayahang bumuo ng mga 2D na larawan mula sa mga text prompt ay nakakita ng mahusay na tagumpay dahil sa gawain ng mga diffusive na mga modelo ng pagbuo ng imahe. Ang mga modelong ito ay lubos na may kakayahang gumawa ng mga de-kalidad na sample ng imahe na binibigyan ng text prompt, na nagbibigay-daan para sa isang simpleng text-to-image interface. Batay sa mga pagsulong na ito sa larangan ng pagbuo ng 2D na imahe, ang malaking tanong sa industriyang ito ay kung posible bang maglapat ng mga katulad na modelo ng pagsasabog upang makabuo ng mga modelong 3D mula sa teksto.
At ngayon ay ipinakilala ng Google ang isang bagong paraan ng text-to-3D na may makinis na pangalan TextMesh. Nangangako ang paraang ito na pagbutihin ang naka-istilong diskarte ngayon ng Stable Diffusionna nakabatay sa text-to-3D na modelo henerasyon. Sa kaibuturan nito, maraming anggulo ang nabuo sa pamamagitan ng pagpapakain ng pangunahing 2D input sa modelo. Pagkatapos ang mga resulta ay pinoproseso at i-assimilate sa isang 3D mesh gamit ang Neural Radiance Fields (NeRF) na diskarte.
| Inirerekomenda: Prompt Engineering Ultimate Guide 2023: |
Ang mga bentahe ng makabagong diskarte na ito sa kasalukuyang usong DreamFusion at CLIMesh ay, pangunahin, ang user-friendly na output. Sa halip na gamitin ang mapaghamong NeRF na format, ang TextMesh ay nagbibigay ng 3D mesh na may mga texture, kaya ginagawa itong mas naaangkop sa mga real-world na paggamit. Bukod pa rito, iniiwasan ng diskarte ang madalas na nakakaharap na mataas na saturation na epekto ng iba pang mga modelo at namamahala upang madagdagan ang mga detalye.
Ang gumagana ang modelo sa pamamagitan ng unang pagbuo ng isang 3D mesh mula sa isang input na imahe sa tulong ng NeRF. Ang mga resulta ay dumaan sa framework ng SDF (Signed Distance Fields) upang higit na pinuhin ang texture, na pagpapabuti ng pangkalahatang kalinawan ng output mesh. Hindi pa banggitin, nakakatulong ang SDF framework sa pag-iwas sa oversaturation effect na katulad ng ibang 3D modelo kadalasang nagdurusa sa.
Ang mga 3D mesh ay ginawa bilang isang halimbawa
Sinasamantala ng diskarteng ito ang tagumpay ng mga modelo ng DiG at pinalawak ang mga network ng NeRF na nakabatay sa isang backbone ng SDF. Gumagawa ito ng mga pinahusay na kakayahan sa pagkuha ng 3D mesh at mas mukhang makatotohanang mga 3D mesh kumpara sa mga naunang tinalakay na pamamaraan.
Ang mga resulta mula sa paggamit ng TextMesh ay lubhang nakakumbinsi. Ang mga may-akda ay nagbibigay pa nga ng isang link sa isang larawan ng isang ardilya na nilikha gamit ang kanilang modelo, na hindi gaanong kahanga-hanga.
Pinatutunayan ng TextMesh ang sarili bilang isang rebolusyonaryong bagong 3D na modelo na nag-aalok ng napakaraming mga pakinabang at maaaring makabuo ng lubhang makatotohanang 3D meshes. Ang paggamit nito ay tiyak na magiging mas at mas popular sa malapit na hinaharap.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
