VToonify: Bədii portret videoları yaratmaq üçün real vaxtda AI modeli
Qısaca
İnqilabi VToonify çərçivəsi idarə olunan, yüksək keyfiyyətli portret video stili köçürmələrini təmin etmək üçün tərtibatçılar tərəfindən hazırlanmışdır.
Çarpıcı bədii portretlər yaratmaq üçün çərçivə StyleGAN-ın orta və yüksək keyfiyyətli təbəqələrindən istifadə edir.
Mövcud StyleGAN əsaslı genişləndirilməsinə imkan verir görüntü toonification modelləri videoya.
Nanyang Texnoloji Universitetinin tədqiqatçıları var yeni VToonify çərçivəsini təqdim etdi idarə oluna bilən yüksək rezolyusiyaya malik portret video stilinin ötürülməsi yaratmaq. VToonify, çərçivə təfərrüatlarını daha yaxşı qorumaq üçün kodlayıcı tərəfindən çıxarılan çoxmiqyaslı məzmun xüsusiyyətləri əsasında yüksək keyfiyyətli bədii portretlər göstərmək üçün StyleGAN-ın orta və yüksək ayırdetmə qatlarından istifadə edir. Eksperimental nəticələr göstərir ki, çərçivəmiz üzün düzülməsinə və ya çərçivə ölçüsü məhdudiyyətlərinə ehtiyac olmadan davamlı olaraq yüksək keyfiyyətli və arzu olunan üz ifadələri ilə videolar yarada bilər.
Nəticədə, müxtəlif ölçülü videolarda düzlənməmiş üzləri qəbul edən tam konvolyusiyaya malik arxitektura üzvi hərəkətlərlə tam üzlər yaradır. VToonify çərçivəsi rəng və intensivliyə çevik üslub nəzarəti üçün bu modellərin cəlbedici xüsusiyyətlərini miras alır. O, mövcud StyleGAN əsaslı təsvirin toonizasiya modelləri ilə uyğun gəlir ki, onları video toonizasiyaya qədər genişləndirsin. Bu iş Toonify və DualStyleGAN əsasında qurulmuş kolleksiya əsaslı və nümunəvi portret video üslubunun ötürülməsi üçün VToonify-ın iki nümunəsini təqdim edir.
Geniş eksperimental tapıntılar göstərir ki, təklif olunan VToonify çərçivəsi əla keyfiyyətə və müvəqqəti uyğunluğa malik, tənzimlənən üslub nəzarəti ilə bədii portret filmlərinin istehsalında rəqabət aparan yanaşmalardan üstündür. Yoxlayın Github Daha ətraflı məlumat üçün.
| Əlaqədar məqalə: OpenAI video üçün AI modelinin yaradılması üzərində işləyir |
Nəzarət edilə bilən yüksək keyfiyyətli portret video üslubunun ötürülməsini təmin etmək üçün VToonify təsvirin tərcüməsi çərçivəsinin və StyleGAN əsaslı çərçivənin üstünlüklərini birləşdirir.
(A) Dəyişən daxiletmə ölçüsünü dəstəkləmək üçün təsvirin tərcümə sistemi tam konvolyusiya şəbəkələrindən istifadə edir. Bununla belə, sıfırdan öyrədərkən yüksək qətnamə və idarə olunan üslub təqdim etmək çətindir.
(B) Yalnız sabit şəkil ölçüsünü və təfərrüat itkilərini dəstəkləyən StyleGAN əsaslı çərçivə yüksək qətnamə və idarə oluna bilən üslub ötürməsi üçün əvvəlcədən hazırlanmış StyleGAN modelindən istifadə edir.
(C) Şəkil tərcüməsi çərçivəsinə bənzəyən tam konvolyusiyaya malik kodlayıcı-generator arxitekturasını yaratmaq üçün bizim hibrid sistemimiz StyleGAN-ı onun sabit ölçülü giriş funksiyasını və aşağı ayırdetmə qabiliyyətini silməklə genişləndirir.
Çərçivə təfərrüatlarını qorumaq üçün tərtibatçılar əlavə məzmun şərti kimi giriş çərçivəsindən çoxmiqyaslı məzmun xüsusiyyətlərini çıxarmaq üçün kodlayıcı öyrədirlər. VToonify həm məlumatlarını, həm də modelini distillə etmək üçün onu generatora yerləşdirməklə StyleGAN modelinin üsluba nəzarət çevikliyini miras alır.
VToonify çərçivəsi çevik üsluba nəzarət üçün cəlbedici xüsusiyyətləri cari StyleGAN əsaslı təsvirin toonizasiya modellərindən miras alır və onları genişləndirmək üçün onlarla uyğun gəlir. video toonlaşma. VToonifyımız DualStyleGAN modelindən StyleGAN təməli kimi istifadə edərək aşağıdakıları təklif edir:
- Nümunəvi əsaslı strukturlardan üslubun köçürülməsi;
- Üslub dərəcəsinin dəyişdirilməsi;
- Nümunələr əsasında rəng üslubunun köçürülməsi.
AI haqqında daha çox oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
