VToonify: AI model u stvarnom vremenu za generiranje umjetničkih portretnih videa
Ukratko
Razvojni programeri razvili su revolucionarni VToonify okvir za pružanje kontroliranih prijenosa u portretnom video stilu visoke rezolucije.
Za izradu zadivljujućih umjetničkih portreta okvir koristi StyleGAN slojeve srednje i visoke rezolucije.
Omogućuje proširenje postojećeg StyleGAN-a modeli toonifikacije slike na video.
Istraživači s Tehnološkog sveučilišta Nanyang su predstavio novi okvir VToonify za generiranje prijenosa portretnog video stila visoke razlučivosti koji se može kontrolirati. VToonify koristi slojeve srednje i visoke razlučivosti StyleGAN-a za renderiranje visokokvalitetnih umjetničkih portreta temeljenih na značajkama sadržaja u više razmjera koje izdvaja koder za bolje očuvanje detalja okvira. Eksperimentalni rezultati pokazuju da naš okvir može generirati videozapise s dosljedno visokom kvalitetom i željenim izrazima lica bez potrebe za poravnavanjem lica ili ograničenja veličine okvira.
Kao rezultat toga, potpuno konvolucijska arhitektura koja prihvaća neporavnana lica u videozapisima različitih veličina proizvodi potpuna lica s organskim pokretima. Okvir VToonify nasljeđuje privlačne značajke ovih modela za fleksibilnu kontrolu stila boja i intenziteta. Kompatibilan je s postojećim modelima toonifikacije slika temeljenim na StyleGAN-u kako bi ih proširio na video toonification. Ovaj rad predstavlja dvije instance VToonifyja za prijenos portretnog video stila temeljen na kolekciji i uzorku, izgrađen na Toonifyju i DualStyleGAN-u.
Opsežni eksperimentalni nalazi pokazuju da predloženi okvir VToonify nadmašuje konkurentske pristupe u proizvodnji umjetničkih portretnih filmova s podesivim stilskim kontrolama koje su izvrsne kvalitete i vremenski dosljedne. Ček GitHub za više detalja.
| Povezani članak: OpenAI radi na stvaranju AI modela za video |
Kako bi omogućio prijenos portretnog video stila visoke razlučivosti koji se može kontrolirati, VToonify kombinira prednosti okvira za prevođenje slika i okvira temeljenog na StyleGAN-u.
(A) Za podršku varijabilne ulazne veličine, sustav za prevođenje slika koristi potpuno konvolucijske mreže. Ipak, izazovno je prenijeti visoku rezoluciju i kontrolirani stil kada podučavate od nule.
(B) Okvir temeljen na StyleGAN-u, koji podržava samo fiksnu veličinu slike i gubitke detalja, koristi unaprijed obučeni StyleGAN model za prijenos stila visoke razlučivosti koji se može kontrolirati.
(C) Kako bi se stvorila potpuno konvolucijska arhitektura kodera-generatora koja podsjeća na okvir za prevođenje slika, naš hibridni sustav proširuje StyleGAN brisanjem njegove značajke unosa fiksne veličine i slojeva niske rezolucije.
Kako bi se sačuvali detalji okvira, programeri obučavaju koder da izvlači značajke sadržaja u više razmjera iz ulaznog okvira kao dodatni uvjet sadržaja. VToonify nasljeđuje fleksibilnost kontrole stila modela StyleGAN stavljajući ga u generator za destilaciju podataka i modela.
Okvir VToonify nasljeđuje privlačne karakteristike za fleksibilnu kontrolu stila od trenutnih modela toonifikacije slika temeljenih na StyleGAN-u i kompatibilan je s njima kako bi ih proširio na video toonifikacija. Naš VToonify nudi sljedeće koristeći model DualStyleGAN kao temelj StyleGAN-a:
- Prijenos stila sa struktura temeljenih na uzorima;
- Promjena stupnja stila;
- Prijenos kolorita na temelju egzemplara.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
