Text-to-3D: Google telah mengembangkan jaringan saraf yang menghasilkan model 3D dari deskripsi teks
Singkatnya
Teks-ke-3D jaringan saraf dapat menghasilkan model 3D dari teks
DreamFusion mengoptimalkan adegan 3D berdasarkan Imagen text-to-image
Model difusi 2D dapat digunakan untuk sintesis teks-ke-gambar
Google membuat a saraf jaringan mampu membuat model 3D dari deskripsi teks. Bagian terbaiknya adalah aspek yang paling sulit bahkan tidak perlu diajarkan. Imagen digunakan sebagai dasar untuk Text-to-3D.
Apa yang harus Anda ketahui tentang Penggabungan Mimpi?
Model difusi yang dilatih pada miliaran pasangan gambar-teks telah menghasilkan kemajuan terbaru dalam sintesis teks-ke-gambar. Mengadaptasi pendekatan ini ke sintesis 3D akan memerlukan kumpulan data berskala besar dari aset 3D berlabel serta arsitektur data 3D denoising yang efisien, yang keduanya tidak tersedia saat ini. Dalam makalah ini, kami mengatasi batasan ini dengan melakukan sintesis teks-ke-3D dengan 2D yang telah dilatih sebelumnya difusi teks-ke-gambar model. Kami menyajikan kerugian berdasarkan distilasi kepadatan probabilitas yang memungkinkan model difusi 2D digunakan sebagai prioritas untuk mengoptimalkan parameter parametrik. pembuat gambar. Dengan menggunakan kerugian ini, kami menggunakan penurunan gradien untuk mengoptimalkan model 3D yang diinisialisasi secara acak (Neural Radiance Field atau NeRF) sehingga rendering 2D dari sudut acak memiliki kerugian minimal.
Model 3D yang dihasilkan dari teks yang ditentukan dapat dilihat dari sudut mana pun, diterangi dengan pencahayaan variabel, dan digabungkan menjadi lingkungan 3D apa pun. Metodenya tidak memerlukan data pelatihan 3D dan tidak ada perubahan pada model difusi gambar, menggambarkan kemanjuran menggunakan model difusi gambar yang telah dilatih sebelumnya seperti sebelumnya.
Contoh 3D yang Dihasilkan Dari Teks
Menyatukan objek untuk membuat heboh
Bagaimana cara kerjanya?
DreamFusion mengoptimalkan adegan 3D berdasarkan keterangan menggunakan model generatif teks-ke-gambar Imagen. Ini menyarankan Score Distillation Sampling (SDS), yang melibatkan pengoptimalan fungsi kerugian untuk menghasilkan sampel dari model difusi. Selama kita dapat memetakan kembali ke gambar secara berbeda, SDS memungkinkan kita mengoptimalkan sampel di ruang parameter apa pun, seperti ruang 3D. Ke defiDalam pemetaan yang dapat dibedakan ini, ia menggunakan parameterisasi pemandangan 3D yang mirip dengan Neural Radiance Fields atau NeRFs. SDS sendiri menciptakan tampilan pemandangan yang lumayan, namun DreamFusion menyempurnakan geometri dengan pengatur tambahan dan teknik pengoptimalan. NeRF terlatih yang dihasilkan bersifat koheren, memiliki normal, geometri permukaan, dan kedalaman yang sangat baik, serta dapat ditampilkan kembali menggunakan model bayangan Lambertian.
Baca artikel terkait:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
