VToonify: reaalajas tehisintellekti mudel kunstiliste portreevideote loomiseks
Põgusalt
Arendajad töötasid välja revolutsioonilise VToonify raamistiku, et pakkuda kontrollitud kõrge eraldusvõimega portreevideo stiilis ülekandeid.
Vapustavate kunstiliste portreede loomiseks kasutab raamistik StyleGANi keskmise ja kõrge eraldusvõimega kihte.
See võimaldab laiendada olemasolevat StyleGAN-põhist pildi toonisatsiooni mudelid videole.
Nanyangi tehnikaülikooli teadlased on seda teinud tutvustas uudset VToonify raamistikku juhitava kõrge eraldusvõimega portreevideo stiilis ülekande genereerimiseks. VToonify kasutab StyleGANi keskmise ja kõrge eraldusvõimega kihte, et renderdada kvaliteetseid kunstilisi portreesid, mis põhinevad kodeerija eraldatud mitmeskaalulistel sisufunktsioonidel, et kaadri detaile paremini säilitada. Katsetulemused näitavad, et meie raamistik suudab genereerida püsivalt kõrge kvaliteediga ja soovitud näoilmetega videoid ilma näo joondamise või kaadri suuruse piiranguteta.
Selle tulemusel loob täielikult konvolutsiooniline arhitektuur, mis aktsepteerib erineva suurusega videotes joondamata nägusid, terviklikke orgaaniliste liikumistega nägusid. VToonify raamistik pärib nende mudelite ahvatlevad omadused värvide ja intensiivsuse paindlikuks stiilijuhtimiseks. See ühildub olemasolevate StyleGAN-põhiste kujutise tooniseerimismudelitega, et laiendada neid video tooniseerimisele. See töö tutvustab kahte VToonify eksemplari vastavalt kollektsioonipõhiseks ja näidispõhiseks portreevideo stiilis edastamiseks, mis on üles ehitatud Toonifyle ja DualStyleGANile.
Ulatuslikud katsetulemused näitavad, et väljapakutud VToonify raamistik ületab konkureerivaid lähenemisviise reguleeritava stiili juhtnuppudega kunstiliste portreefilmide tootmisel, mis on suurepärase kvaliteediga ja ajaliselt ühtsed. Kontrollima GitHub rohkem üksikasju.
| Seotud artikkel: OpenAI tegeleb videote jaoks tehisintellekti mudeli loomisega |
Kontrollitava kõrge eraldusvõimega portreevideo stiiliülekande pakkumiseks ühendab VToonify pilditõlkeraamistiku ja StyleGAN-põhise raamistiku eelised.
(A) Muutuva sisendsuuruse toetamiseks kasutab piltide tõlkimise süsteem täielikult konvolutsioonivõrke. Sellegipoolest on nullist õpetades keeruline edasi anda kõrget eraldusvõimet ja kontrollitud stiili.
(B) StyleGAN-il põhinev raamistik, mis toetab ainult fikseeritud pildi suurust ja detailide kadu, kasutab kõrge eraldusvõimega ja juhitava stiili edastamiseks eelkoolitatud StyleGAN-mudelit.
(C) Piltide tõlkimise raamistikuga sarnaneva täiesti konvolutsioonilise kodeerija-generaatori arhitektuuri loomiseks laiendab meie hübriidsüsteem StyleGAN-i, kustutades selle fikseeritud suurusega sisendfunktsiooni ja madala eraldusvõimega kihid.
Kaadri üksikasjade säilitamiseks koolitavad arendajad kodeerijat välja võtma sisendraamist täiendava sisutingimusena mitmemõõtmelisi sisufunktsioone. VToonify pärib StyleGAN-i mudeli stiilijuhtimise paindlikkuse, pannes selle generaatorisse nii andmete kui ka mudeli destilleerimiseks.
VToonify raamistik pärib praegustelt StyleGAN-põhistelt kujutiste tooniseerimismudelitelt paindliku stiilijuhtimise ahvatlevad omadused ja ühildub nendega, et neid laiendada. video toonimine. Meie VToonify pakub DualStyleGAN-i mudelit StyleGAN-i alusena järgmist:
- Stiili ülekandmine eeskujupõhistest struktuuridest;
- Stiiliastme muutmine;
- Värvistiili ülekandmine näidiste põhjal.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
