VToonify: Badiiy portret videolarini yaratish uchun real vaqtda sun'iy intellekt modeli
Qisqacha
VToonify inqilobiy ramkasi ishlab chiquvchilar tomonidan boshqariladigan, yuqori aniqlikdagi portret video uslubini uzatishni ta'minlash uchun ishlab chiqilgan.
Ajoyib badiiy portretlarni yaratish uchun ramka StyleGAN-ning o'rta va yuqori aniqlikdagi qatlamlaridan foydalanadi.
Bu mavjud StyleGAN-ga asoslangan kengaytmani kengaytirish imkonini beradi tasvirni toonifikatsiya qilish modellari videoga.
Nanyang texnologiya universiteti tadqiqotchilari shunday xulosaga kelishdi yangi VToonify ramkasini taqdim etdi boshqariladigan yuqori aniqlikdagi portret video uslubini uzatishni yaratish. VToonify freym tafsilotlarini yaxshiroq saqlash uchun kodlovchi tomonidan ajratilgan ko'p miqyosli kontent xususiyatlariga asoslangan yuqori sifatli badiiy portretlarni yaratish uchun StyleGAN-ning o'rta va yuqori aniqlikdagi qatlamlaridan foydalanadi. Tajriba natijalari shuni ko'rsatadiki, bizning ramkamiz yuzni tekislash yoki ramka o'lchamiga cheklovlarsiz doimiy yuqori sifatli va kerakli yuz ifodalariga ega videolarni yaratishi mumkin.
Natijada, turli o'lchamdagi videolarda tekislanmagan yuzlarni qabul qiladigan to'liq konvolyutsion arxitektura organik harakatlarga ega to'liq yuzlarni hosil qiladi. VToonify ramkasi rang va intensivlikni moslashuvchan uslublarni boshqarish uchun ushbu modellarning jozibali xususiyatlarini meros qilib oladi. U mavjud StyleGAN-ga asoslangan tasvirni toonifikatsiyalash modellari bilan mos keladi va ularni video toonifikatsiyaga kengaytiradi. Bu ish Toonify va DualStyleGAN asosida qurilgan to'plamga asoslangan va namunali portret video uslubini uzatish uchun VToonify-ning ikkita namunasini taqdim etadi.
Keng ko'lamli eksperimental topilmalar shuni ko'rsatadiki, taklif qilingan VToonify ramkasi mukammal sifatga ega va vaqtinchalik barqaror bo'lgan sozlanishi uslub boshqaruvi bilan badiiy portret filmlarini ishlab chiqarishda raqobatdosh yondashuvlardan ustundir. Tekshirish GitHub Qo'shimcha ma'lumot olish uchun.
| O'xshash maqola: OpenAI video uchun AI modelini yaratish ustida ishlamoqda |
Boshqariladigan yuqori aniqlikdagi portret video uslubini uzatishni ta'minlash uchun VToonify tasvirni tarjima qilish tizimi va StyleGAN-ga asoslangan ramkaning afzalliklarini birlashtiradi.
(A) O'zgaruvchan kirish hajmini qo'llab-quvvatlash uchun tasvirni tarjima qilish tizimi to'liq konvolyutsion tarmoqlardan foydalanadi. Shunga qaramay, noldan o'qitishda yuqori aniqlik va boshqariladigan uslubni berish qiyin.
(B) StyleGAN-ga asoslangan ramka, faqat belgilangan rasm o'lchami va tafsilotlarni yo'qotishni qo'llab-quvvatlaydi, yuqori aniqlikdagi va boshqariladigan uslublarni uzatish uchun oldindan o'rgatilgan StyleGAN modelidan foydalanadi.
(C) Tasvirni tarjima qilish tizimiga o'xshash to'liq konvolyutsion kodlovchi-generator arxitekturasini yaratish uchun bizning gibrid tizimimiz StyleGAN-ni o'zgarmas o'lchamdagi kirish xususiyati va past aniqlikdagi qatlamlarni o'chirish orqali kengaytiradi.
Kadr tafsilotlarini saqlab qolish uchun ishlab chiquvchilar qo'shimcha kontent sharti sifatida kirish freymidan ko'p miqyosli kontent xususiyatlarini ajratib olish uchun kodlovchini o'rgatishadi. VToonify StyleGAN modelining uslubini boshqarish moslashuvchanligini uning ma'lumotlarini va modelini distillash uchun generatorga qo'yish orqali meros qilib oladi.
| O'xshash maqola: Lambda Labs beshtagacha tasvirni birlashtira oladigan AI tasvir mikserini e'lon qildi |
VToonify ramkasi zamonaviy StyleGAN-ga asoslangan tasvirni toonifikatsiyalash modellaridan moslashuvchan uslublarni boshqarish uchun jozibali xususiyatlarni meros qilib oladi va ularni kengaytirish uchun ular bilan mos keladi. video toonifikatsiya. Bizning VToonifyimiz DualStyleGAN modelidan StyleGAN asosi sifatida foydalanishni taklif qiladi:
- Uslubni namunali tuzilmalardan o'tkazish;
- Uslub darajasini o'zgartirish;
- Rang uslubini namunalar asosida o'tkazish.
AI haqida ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
