Ocak 24, 2023

GLIGEN: sınırlayıcı kutulu yeni donmuş metinden görüntüye oluşturma modeli

Yayınlanma: 24 Ocak 2023, 5:00 Güncelleme: 21 Mart 2024, 11:40

Düzenlendi ve doğruluğu kontrol edildi: 24 Ocak 2023, 5:00

Kısaca

GLIGEN veya Grounded-Language-to-Image Generation, mevcut önceden eğitilmiş difüzyon modellerinin kapasitesini geliştiren ve geliştiren yeni bir tekniktir.

Altyazı ve sınırlayıcı kutu koşul girişleriyle, GLIGEN modeli açık dünya temelli text2img oluşturur.

GLIGEN, önceden eğitilmiş bir text2img modelinden elde edilen bilgilerden yararlanarak belirli yerlerde ve stillerde çeşitli nesneler üretebilir.

GLIGEN, metinden görüntüye oluştururken insan anahtar noktalarını da temel alabilir.

Büyük ölçekli metinden görüntüye difüzyon modelleri uzun bir yol kat etti. Bununla birlikte, mevcut uygulama, yalnızca kontrol edilebilirliği sınırlayabilen metin girişine güvenmektir. GLİGENveya Grounded-Language-to-Image Generation, mevcut önceden eğitilmiş metinden görüntüye difüzyon modellerinin topraklama girdilerine göre koşullandırılmalarına izin vererek bu modellerin kapasitesini geliştiren ve genişleten yeni bir tekniktir.

GLIGEN: sınırlayıcı kutulu yeni donmuş metinden görüntüye oluşturma modeli

Önceden eğitilmiş modelin kapsamlı konsept bilgisini korumak için, geliştiriciler modelin tüm ağırlıklarını dondurur ve topraklama bilgilerini kontrollü bir süreç aracılığıyla yeni eğitilebilir katmanlara pompalar. Altyazı ve sınırlayıcı kutu koşulu girişleriyle, GLIGEN modeli açık dünya tabanlı metinden görüntüye oluşturur ve temellendirme yeteneği, yeni uzamsal konfigürasyonlara ve kavramlara etkili bir şekilde genelleşir.

Check out gösteri .

GLIGEN, büyük miktarda önceden eğitilmiş bilgiyi muhafaza etmek için orijinal ağırlıkları dondurulmuş olan mevcut önceden eğitilmiş difüzyon modellerine dayanmaktadır.

GLIGEN, mevcut önceden eğitilmiş difüzyon modelleri, büyük miktarda önceden eğitilmiş bilgiyi korumak için orijinal ağırlıkları donduruldu.
Her trafo bloğunda, ek topraklama girdisini emmek için yeni bir eğitilebilir Kapılı Öz-Dikkat katmanı oluşturulur.
Her bir topraklama jetonunun iki tür bilgisi vardır: topraklanmış şey hakkında anlamsal bilgi (kodlanmış metin veya resim) ve uzamsal konum bilgisi (kodlanmış sınırlayıcı kutu veya anahtar noktalar).

İlgili makale: VToonify: Sanatsal portre videoları oluşturmak için gerçek zamanlı bir AI modeli

Yeni eklenen modüle edilmiş katmanlar, tam model ince ayar gibi önceden eğitilmiş bir difüzyon modeli kullanmanın alternatif yöntemlerinden daha uygun maliyetli olan büyük topraklama verileri (görüntü-metin kutusu) üzerinde sürekli olarak önceden eğitilir. Lego'ya benzer şekilde, çeşitli yeni yeteneklere izin vermek için farklı eğitilmiş katmanlar takılıp çıkarılabilir. — Yeni eklenen modüle edilmiş katmanlar, büyük topraklama verileri (görüntü-metin kutusu) üzerinde sürekli olarak önceden eğitilir. Bu, önceden eğitilmiş bir yazılımı kullanmanın alternatif yöntemlerinden daha uygun maliyetlidir. difüzyon modelitam model ince ayarı gibi. Lego'ya benzer şekilde, çeşitli yeni yeteneklere izin vermek için farklı eğitimli katmanlar takılıp çıkarılabilir.

GLIGEN, çıkarım için difüzyon sürecinde planlanmış örneklemeyi destekler; burada model, temel belirteçleri (yeni katmanı ekleyerek) veya orijinal difüzyon modelini (yeni katmanı atarak) kullanmayı dinamik olarak seçebilir ve böylece üretim kalitesini dengeleyebilir. ve topraklama yeteneği.

GLIGEN, önceden eğitilmiş bir text2img modelinden elde edilen bilgilerden yararlanarak belirli yerlerde ve stillerde çeşitli nesneler üretebilir.

İlgili makale: Microsoft, bir kişinin tek bir fotoğrafından 3D avatar oluşturabilen bir yayılma modeli yayınladı.

GLIGEN, referans resimler kullanılarak da eğitilebilir. En üst sıra, yazılı açıklamalara ek olarak referans fotoğraflarının arabanın stili ve şekli gibi daha ayrıntılı özellikler sağlayabileceğini gösteriyor. İkinci satır, bir referans görselin bir stil görseli olarak da kullanılabileceğini gösterir; bu durumda, onu bir görselin köşesine veya kenarına topraklamanın yeterli olduğunu keşfederiz.

GLIGEN, diğer difüzyon modelleri gibi, sağlanan sınırlayıcı kutularla yakından eşleşen nesneler oluşturabilen topraklanmış görüntü iç boyaması gerçekleştirebilir.

GLIGEN, metinden görüntüye oluştururken insan anahtar noktalarını da temel alabilir. — GLIGEN aynı zamanda insan anahtar noktalarını da topraklayabilir. metinden görüntüye oluşturma.

AI hakkında daha fazlasını okuyun:

Etiketler:

Feragatname

Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.

Yazar hakkında

Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.

Daha fazla haber

Damir Yalalov