Text-to-3D: Google telah membangunkan rangkaian saraf yang menjana model 3D daripada penerangan teks
Secara ringkas
Teks-ke-3D rangkaian saraf boleh menjana model 3D daripada teks
DreamFusion mengoptimumkan pemandangan 3D berdasarkan teks-ke-imej Imagen
Model resapan 2D boleh digunakan untuk sintesis teks ke imej
Google mencipta a rangkaian neural mampu mencipta model 3D daripada penerangan teks. Bahagian yang terbaik ialah aspek yang paling sukar tidak perlu diajar. Imagen digunakan sebagai asas untuk Text-to-3D.
Apa yang mesti anda ketahui DreamFusion?
Model resapan yang dilatih pada berbilion pasangan teks imej telah membawa kepada kemajuan terkini dalam sintesis teks ke imej. Menyesuaikan pendekatan ini kepada sintesis 3D akan memerlukan set data berskala besar bagi aset 3D berlabel serta seni bina data 3D yang cekap, kedua-duanya tidak tersedia pada masa ini. Dalam kertas kerja ini, kami mengatasi sekatan ini dengan melakukan sintesis teks-ke-3D dengan 2D terlatih penyebaran teks ke imej model. Kami membentangkan kerugian berdasarkan penyulingan ketumpatan kebarangkalian yang membolehkan model resapan 2D digunakan sebagai pendahuluan untuk mengoptimumkan parametrik penjana gambar. Menggunakan kehilangan ini, kami menggunakan keturunan kecerunan untuk mengoptimumkan model 3D yang dimulakan secara rawak (Medan Sinaran Neural atau NeRF) supaya pemaparan 2Dnya dari sudut rawak mempunyai kerugian yang minimum.
Model 3D yang dijana bagi teks yang ditentukan boleh dilihat dari mana-mana sudut, diterangi dengan pencahayaan berubah-ubah dan digabungkan ke dalam mana-mana persekitaran 3D. Kaedahnya tidak memerlukan data latihan 3D dan tiada perubahan pada model penyebaran imej, menggambarkan keberkesanan menggunakan model penyebaran imej terlatih seperti sebelum ini.
Contoh 3D Dihasilkan Daripada Teks
Menyatukan objek untuk membuat pemandangan
Bagaimana ia berfungsi?
DreamFusion mengoptimumkan pemandangan 3D berdasarkan kapsyen menggunakan model generatif teks-ke-imej Imagen. Ia mencadangkan Pensampelan Penyulingan Skor (SDS), yang melibatkan pengoptimuman fungsi kehilangan untuk menghasilkan sampel daripada model resapan. Selagi kami boleh memetakan kembali kepada imej secara berbeza, SDS membolehkan kami mengoptimumkan sampel dalam mana-mana ruang parameter, seperti ruang 3D. Kepada defiDalam pemetaan yang boleh dibezakan ini, ia menggunakan parameterisasi pemandangan 3D yang serupa dengan Medan Sinaran Neural atau NeRF. SDS sahaja mencipta penampilan pemandangan yang boleh dilalui, tetapi DreamFusion meningkatkan geometri dengan penyelaras tambahan dan teknik pengoptimuman. NeRF terlatih yang dihasilkan adalah koheren, mempunyai normal yang sangat baik, geometri permukaan dan kedalaman, dan boleh dinyalakan semula menggunakan model lorekan Lambertian.
Baca artikel berkaitan:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
