Metinden 3B'ye: Google, metin açıklamalarından 3B modeller oluşturan bir sinir ağı geliştirdi
Kısaca
Metinden 3D'ye sinir ağı metinden 3 boyutlu modeller üretebilir
DreamFusion, Imagen metinden görüntüye dayalı olarak 3B sahneleri optimize eder
Metinden görüntüye sentez için 2D difüzyon modeli kullanılabilir
Google bir oluşturdu sinir ağı metin açıklamalarından 3B modeller oluşturma yeteneğine sahiptir. En iyi yanı, en zor yönün öğretilmesine bile gerek olmamasıdır. Imagen, Text-to-3D için temel olarak kullanıldı.
hakkında ne bilmelisiniz DreamFusion?
Milyarlarca görüntü-metin çifti üzerinde eğitilen difüzyon modelleri, metinden görüntüye sentezinde son gelişmelere yol açmıştır. Bu yaklaşımı 3B senteze uyarlamak, etiketlenmiş 3B varlıklardan oluşan büyük ölçekli veri kümelerinin yanı sıra etkin gürültü giderici 3B veri mimarileri gerektirecek ve bunların hiçbiri şu anda mevcut değil. Bu yazıda, önceden eğitilmiş bir 3B ile metinden 2B'ye sentez yaparak bu kısıtlamaların üstesinden geldik. metinden görüntüye difüzyon modeli. Parametrik bir optimizasyon için önsel olarak 2 boyutlu bir difüzyon modelinin kullanılmasına izin veren olasılık yoğunluk damıtma dayalı bir kayıp sunuyoruz. resim üreteci. Bu kaybı kullanarak, rastgele başlatılan bir 3B modeli (Nöral Parlaklık Alanı veya NeRF) optimize etmek için gradyan inişini kullanıyoruz, böylece rastgele açılardan alınan 2B görselleştirmeler minimum kayba sahip oluyor.
Belirtilen metnin oluşturulan 3B modeli, herhangi bir açıdan görüntülenebilir, değişken aydınlatma ile aydınlatılabilir ve herhangi bir 3B ortamda birleştirilebilir. Yöntemi, hiçbir 3D eğitim verisi gerektirmez ve herhangi bir değişiklik gerektirmez. görüntü difüzyon modeli, önceki gibi önceden eğitilmiş görüntü difüzyon modellerini kullanmanın etkinliğini gösteren.
Metinden Oluşturulan 3D Örnekleri
Bir sahne oluşturmak için nesneleri bir araya getirmek
Nasıl Çalışır?
DreamFusion, Imagen metinden görüntüye oluşturma modelini kullanarak bir 3D sahneyi resim yazısına göre optimize eder. Bir difüzyon modelinden örnekler üretmek için bir kayıp fonksiyonunun optimize edilmesini içeren Puan Damıtma Örneklemesini (SDS) önerir. Görüntüleri farklı şekilde eşleyebildiğimiz sürece SDS, 3 boyutlu alan gibi herhangi bir parametre alanındaki örnekleri optimize etmemizi sağlar. İle defiBu farklılaştırılabilir haritalamada, Nöral Parlaklık Alanlarına veya NeRF'lere benzer bir 3 boyutlu sahne parametrelendirmesi kullanılır. SDS tek başına yeterli bir sahne görünümü yaratır, ancak DreamFusion ekstra düzenleyiciler ve optimizasyon teknikleriyle geometriyi geliştirir. Üretilen eğitilmiş NeRF'ler tutarlıdır, mükemmel normallere, yüzey geometrisine ve derinliğe sahiptir ve Lambert gölgeleme modeli kullanılarak yeniden aydınlatılabilir.
İlgili makaleleri okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
