Yangi matndan tasvirga modeli GigaGAN 4 soniyada 3.66K tasvirlarni yaratishi mumkin
Qisqacha
Tadqiqotchilar 4 soniyada 3.66K tasvirlarni yarata oladigan GigaGAN nomli yangi matndan tasvirga modelni ishlab chiqdilar.
U bir turi bo'lgan GAN (generativ raqib tarmog'i) ramkasiga asoslangan neyron tarmoq ta'lim ma'lumotlar to'plamiga o'xshash ma'lumotlarni yaratishni o'rganishi mumkin. GigaGAN 512 soniyada 0.13 pikselli tasvirlarni yaratishga qodir, bu avvalgi zamonaviy modelga qaraganda 10 barobar tezroq va ajratilgan, uzluksiz va boshqariladigan yashirin maydonga ega.
Bundan samarali, yuqori sifatli namuna oluvchini tayyorlash uchun ham foydalanish mumkin.
Tadqiqotchilar matndan tasvirga nomli yangi modelni ishlab chiqdilar GigaGAN hosil qilishi mumkin 4K tasvirlar 3.66 soniyada. Bu bitta tasvirni yaratish uchun bir necha daqiqa va hatto soatlar ketishi mumkin bo'lgan mavjud matndan tasvirga modellarga nisbatan katta yaxshilanishdir.
GigaGAN o'quv ma'lumotlar to'plamiga o'xshash ma'lumotlarni yaratishni o'rganishi mumkin bo'lgan neyron tarmoq turi bo'lgan GAN (generativ raqib tarmog'i) tizimiga asoslangan. GANlar yuzlar, landshaftlar va hatto Street View tasvirlarining real tasvirlarini yaratish uchun ishlatilgan.
| Ko'proq o'qing: 5-yilda 2023+ eng kutilgan matndan tasvirga AI modellari |
Yangi model 1 milliard tasvirdan iborat ma'lumotlar to'plamida o'qitilgan, bu avvalgi matndan tasvirga modellarni o'rgatishda foydalanilgan ma'lumotlar to'plamidan kattaroqdir. Natijada, GigaGAN 512 soniyada 0.13 pikselli tasvirlarni yaratishga qodir, bu avvalgi eng zamonaviy matndan tasvirga modelidan 10 barobar tezroqdir.
Bundan tashqari, GigaGAN ajratilgan, uzluksiz va boshqariladigan yashirin makon bilan birga keladi. Bu shuni anglatadiki, GigaGAN turli xil uslublarga ega bo'lgan tasvirlarni yaratishi mumkin va yaratilgan tasvirlar ma'lum darajada nazorat qilinishi mumkin. Masalan, GigaGAN matn kiritish tartibini saqlaydigan tasvirlarni yaratishi mumkin, bu ilovalar uchun, masalan, matn tavsiflaridan mahsulot maketlarining tasvirlarini yaratishda muhim ahamiyatga ega.
GigaGAN samarali, yuqori sifatli namunani o'rgatish uchun ham ishlatilishi mumkin. Bu haqiqiy tasvirlarga yoki boshqa rasmlarga nisbatan qo'llanilishi mumkin matndan tasvirga modellar.
Matnni kodlash tarmog'i, uslublarni xaritalash tarmog'i, ko'p miqyosli sintez tarmog'i va barqaror e'tibor va moslashuvchan yadro tanlash GigaGAN generatorining bir qismidir. Ishlab chiquvchilar matnni kodlash bo'limini oldindan o'rgatilgan CLIP modeli va o'rganilgan diqqat qatlamlari T bilan matn qo'shishlarini ajratib olish orqali boshlaydilar. Xuddi shunday StyleGAN, joylashtirish uslub vektori w ni hosil qiluvchi uslublar xaritalash tarmog'iga M o'tkaziladi. Tasvir piramidasini yaratish uchun sintez tarmog'i endi modulyatsiya sifatida uslub kodini va diqqat sifatida matnni joylashtirishdan foydalanadi. Bundan tashqari, ishlab chiquvchilar kirish matnini konditsioner qilish asosida konvolyutsiya yadrolarini moslashtirish uchun namunaga moslashtirilgan yadro tanlashni joriy qiladilar.
Diskriminator, xuddi generator kabi, tasvirni qayta ishlash va matnni konditsioner qilish uchun ikkita tarmoqqa ega. Matn filiali, xuddi generator kabi, matnni qayta ishlaydi. Tasvir shoxiga tasvir piramidasi beriladi va har bir tasvir shkalasi uchun mustaqil bashorat qilish vazifasi yuklanadi. Bundan tashqari, bashoratlar barcha keyingi quyi namunaviy qatlam shkalalarida amalga oshiriladi. Samarali konvergentsiyani rag'batlantirish uchun qo'shimcha yo'qotishlar ham qo'llaniladi.
Interpolatsiya tarmog'ida ko'rsatilganidek, GigaGAN so'rovlar o'rtasida silliq interpolyatsiya qilish imkonini beradi. To'rt burchak bir xil yashirin z, lekin turli xil matn takliflari yordamida yaratilgan.
GigaGAN ajratilgan yashirin makonni saqlab qolganligi sababli, ishlab chiquvchilar bir namunaning qo'pol uslubini boshqasining nozik uslubi bilan birlashtirishi mumkin. GigaGAN shuningdek, uslubni to'g'ridan-to'g'ri matn takliflari bilan boshqarishi mumkin.
Batafsil tegishli maqolalarni o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
