Text-to-3D: Google mətn təsvirlərindən 3D modellər yaradan neyron şəbəkəsi inkişaf etdirdi
Qısaca
Mətndən 3D-yə neyron şəbəkəsi mətndən 3D modellər yarada bilər
DreamFusion 3D səhnələri Imagen mətndən-şəklə əsaslanaraq optimallaşdırır
2D diffuziya modeli mətndən görüntüyə sintez üçün istifadə edilə bilər
Google yaratdı neyron şəbəkə mətn təsvirlərindən 3D modellər yaratmağa qadirdir. Ən yaxşı tərəfi odur ki, ən çətin tərəfi öyrətməyə belə ehtiyac yox idi. Imagen Text-to-3D üçün əsas kimi istifadə edilmişdir.
Nə haqqında bilməlisiniz DreamFusion?
Milyardlarla şəkil-mətn cütləri üzərində öyrədilmiş diffuziya modelləri mətndən-şəklə sintezində son irəliləyişlərə səbəb olmuşdur. Bu yanaşmanın 3D sintezinə uyğunlaşdırılması etiketli 3D aktivlərin geniş miqyaslı məlumat dəstlərini, eləcə də heç biri hazırda mövcud olmayan effektiv denoising 3D məlumat arxitekturasını tələb edəcək. Bu yazıda biz əvvəlcədən hazırlanmış 3D ilə mətndən 2D sintezini həyata keçirməklə bu məhdudiyyətləri aradan qaldırırıq. mətndən şəkilə diffuziya model. Biz 2D diffuziya modelinin parametrik parametri optimallaşdırmaq üçün istifadə etməyə imkan verən ehtimal sıxlığı distilləsinə əsaslanan itkini təqdim edirik. şəkil generatoru. Bu itkidən istifadə edərək, təsadüfi olaraq başlatılmış 3D modeli (Neural Radiance Field və ya NeRF) optimallaşdırmaq üçün gradient enişindən istifadə edirik ki, onun təsadüfi bucaqlardan 2D təsvirləri minimal itkiyə malik olsun.
Göstərilən mətnin yaradılan 3D modeli istənilən bucaqdan baxıla, dəyişən işıqlandırma ilə işıqlandırıla və istənilən 3D mühitinə birləşdirilə bilər. Onun metodu heç bir 3D təlim məlumatı tələb etmir və heç bir dəyişiklik tələb etmir Şəkil diffuziya modeli, əvvəllər olduğu kimi əvvəlcədən hazırlanmış görüntü diffuziya modellərindən istifadənin effektivliyini göstərir.
Mətndən yaradılan 3D nümunələri
Səhnə yaratmaq üçün obyektləri bir araya gətirmək
Necə işləyir?
DreamFusion Imagen mətndən-şəklə generativ modelindən istifadə edərək başlıq əsasında 3D səhnəni optimallaşdırır. Bu, diffuziya modelindən nümunələr istehsal etmək üçün itki funksiyasının optimallaşdırılmasını nəzərdə tutan Score Distillation Sampling (SDS) təklif edir. Nə qədər ki, biz şəkilləri fərqli şəkildə xəritələşdirə bilsək, SDS bizə 3D məkanı kimi istənilən parametr məkanında nümunələri optimallaşdırmağa imkan verir. Kimə defiBu diferensiallaşan xəritələşdirmədən başqa, Neyral Radiance Fields və ya NeRF-lərə yaxın olan 3D səhnə parametrlərindən istifadə edir. Təkcə SDS keçilən səhnə görünüşünü yaradır, lakin DreamFusion əlavə nizamlayıcılar və optimallaşdırma üsulları ilə həndəsəni təkmilləşdirir. İstehsal olunan təlim keçmiş NeRF-lər əlaqəlidir, əla normallara, səth həndəsəsinə və dərinliyə malikdir və Lambertian kölgə modelindən istifadə edərək yenidən işıqlandırıla bilər.
Əlaqədar məqalələri oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
