VToonify: Un model AI în timp real pentru generarea de videoclipuri cu portrete artistice
Pe scurt
Un cadru revoluționar VToonify a fost dezvoltat de dezvoltatori pentru a oferi transferuri controlate, de înaltă rezoluție, în stil video portret.
Pentru a produce portrete artistice uimitoare, cadrul folosește straturile de rezoluție medie și înaltă ale StyleGAN.
Acesta permite extinderea existentă bazată pe StyleGAN modele de toonificare a imaginii la video.
Cercetătorii de la Universitatea Tehnologică Nanyang au a introdus un nou cadru VToonify pentru a genera un transfer controlabil de înaltă rezoluție în stil video portret. VToonify folosește straturile de rezoluție medie și înaltă ale StyleGAN pentru a reda portrete artistice de înaltă calitate bazate pe caracteristicile de conținut multi-scale extrase de un codificator pentru a păstra mai bine detaliile cadrului. Rezultatele experimentale arată că cadrul nostru poate genera videoclipuri cu o calitate constantă și expresii faciale dorite, fără a fi nevoie de alinierea feței sau de restricții de dimensiune a cadrului.
Ca rezultat, o arhitectură complet convoluțională care acceptă fețe nealiniate în videoclipuri de diferite dimensiuni produce fețe complete cu mișcări organice. Cadrul VToonify moștenește caracteristicile atrăgătoare ale acestor modele pentru un control flexibil al stilului asupra culorii și intensității. Este compatibil cu modelele existente de tonificare a imaginilor bazate pe StyleGAN pentru a le extinde la tonificarea video. Această lucrare introduce două instanțieri ale VToonify pentru transferul stilului video portret bazat pe colecție și, respectiv, bazat pe exemplare, construite pe Toonify și DualStyleGAN.
Descoperirile experimentale ample arată că cadrul propus VToonify depășește abordările concurente în producerea de filme de portret artistic cu controale de stil reglabile, care sunt de calitate excelentă și consecvente temporal. Verifica GitHub pentru mai multe detalii.
| Articol asociat: OpenAI lucrează la crearea unui model AI pentru video |
Pentru a oferi un transfer controlabil de stil video portret de înaltă rezoluție, VToonify combină avantajele cadrului de traducere a imaginii și cadrul bazat pe StyleGAN.
(A) Pentru a suporta dimensiunea de intrare variabilă, un sistem de traducere a imaginii utilizează rețele complet convoluționale. Cu toate acestea, este dificil să oferiți un stil de înaltă rezoluție și controlat atunci când predați de la zero.
(B) Cadrul bazat pe StyleGAN, care acceptă numai dimensiuni fixe de imagine și pierderi de detalii, utilizează modelul StyleGAN pre-antrenat pentru transfer de stil de înaltă rezoluție și controlabil.
(C) Pentru a crea o arhitectură generatoare de codificatoare complet convoluțională, asemănătoare cu cea a cadrului de traducere a imaginii, sistemul nostru hibrid extinde StyleGAN prin ștergerea caracteristicii de intrare de dimensiuni fixe și a straturilor de rezoluție scăzută.
Pentru a păstra detaliile cadrului, dezvoltatorii antrenează un codificator pentru a extrage caracteristici de conținut multi-scală din cadrul de intrare ca o condiție suplimentară de conținut. VToonify moștenește flexibilitatea de control al stilului modelului StyleGAN prin introducerea acestuia în generator pentru a distila atât datele, cât și modelul.
| Articol asociat: Lambda Labs a anunțat un mixer de imagini AI care poate combina până la cinci imagini |
Cadrul VToonify moștenește caracteristicile atractive pentru controlul flexibil al stilului de la modelele actuale de tonificare a imaginii bazate pe StyleGAN și este compatibil cu acestea pentru a le extinde la video toonificarea. VToonify oferă următoarele utilizând modelul DualStyleGAN ca fundație StyleGAN:
- Transfer de stil din structuri bazate pe exemplare;
- Modificarea gradului de stil;
- Transferul stilului de culoare bazat pe exemplare.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
