Text-to-3D: Google matn tavsiflaridan 3D modellarni yaratuvchi neyron tarmoqni ishlab chiqdi
Qisqacha
Matndan 3Dga neyron tarmoq matndan 3D modellarni yaratishi mumkin
DreamFusion Imagen matndan tasvirga asoslangan 3D sahnalarni optimallashtiradi
2D diffuziya modeli matndan tasvirga sintez qilish uchun ishlatilishi mumkin
Google yaratdi neyron tarmoq matn tavsiflaridan 3D modellarni yaratishga qodir. Eng yaxshi tomoni shundaki, eng qiyin jihatni o'rgatish ham shart emas edi. Imagen Text-to-3D uchun asos sifatida ishlatilgan.
Nima haqida bilishingiz kerak DreamFusion?
Milliardlab tasvir-matn juftliklarida o'qitilgan diffuziya modellari matndan tasvirga sintez qilishda so'nggi yutuqlarga olib keldi. Ushbu yondashuvni 3D sinteziga moslashtirish yorliqli 3D aktivlarining katta miqyosdagi maʼlumotlar toʻplamini hamda hozirda mavjud boʻlmagan 3D maʼlumotlar arxitekturasini samarali ravishda yoʻq qilishni talab qiladi. Ushbu maqolada biz oldindan tayyorlangan 3D yordamida matndan 2Dga sintez qilish orqali ushbu cheklovlarni engib o'tamiz. matndan tasvirga tarqalishi model. Biz ehtimollik zichligi distilatsiyasiga asoslangan yo'qotishni taqdim etamiz, bu 2D diffuziya modelini parametrikni optimallashtirish uchun oldingi sifatida foydalanishga imkon beradi. rasm generatori. Ushbu yo'qotishdan foydalanib, biz tasodifiy ishga tushirilgan 3D modelni (Neural Radiance Field yoki NeRF) optimallashtirish uchun gradient tushishidan foydalanamiz, shunda uning tasodifiy burchaklardagi 2D renderlari minimal yo'qotishlarga ega bo'ladi.
Belgilangan matnning yaratilgan 3D modeli har qanday burchakdan ko'rib chiqilishi, o'zgaruvchan yorug'lik bilan yoritilishi va har qanday 3D muhitiga birlashtirilishi mumkin. Uning usuli 3D ta'lim ma'lumotlarini va o'zgartirishni talab qilmaydi tasvir diffuziya modeli, oldindan tayyorlangan tasvir diffuziya modellaridan oldingidek foydalanish samaradorligini ko'rsatadi.
Matndan yaratilgan 3D misollar
Sahna yaratish uchun ob'ektlarni birlashtirish
Bu qanday ishlaydi?
DreamFusion Imagen matndan tasvirga generativ modelidan foydalangan holda sarlavha asosida 3D sahnani optimallashtiradi. Bu diffuziya modelidan namunalar ishlab chiqarish uchun yo'qotish funktsiyasini optimallashtirishni o'z ichiga olgan Score Distillation Sampling (SDS) ni taklif qiladi. Tasvirlarni boshqacha ko'rsatishimiz mumkin ekan, SDS bizga 3D maydoni kabi har qanday parametr maydonida namunalarni optimallashtirish imkonini beradi. Kimga defiUshbu differentsial xaritalashda u Neyron Radiance Fields yoki NeRF-ga o'xshash 3D sahna parametrlarini qo'llaydi. Faqatgina SDS o'tish mumkin bo'lgan sahna ko'rinishini yaratadi, ammo DreamFusion qo'shimcha tartibga soluvchilar va optimallashtirish usullari bilan geometriyani yaxshilaydi. Ishlab chiqarilgan o'qitilgan NeRFlar izchil, mukammal normallarga, sirt geometriyasiga va chuqurlikka ega va Lambert soyali modeli yordamida qayta yoritilishi mumkin.
Tegishli maqolalarni o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
