VToonify: model AI v realnem času za ustvarjanje umetniških portretnih videoposnetkov
Na kratko
Razvijalci so razvili revolucionarno ogrodje VToonify za zagotavljanje nadzorovanih prenosov v portretnem video slogu visoke ločljivosti.
Za ustvarjanje osupljivih umetniških portretov okvir uporablja sloje srednje in visoke ločljivosti StyleGAN.
Omogoča razširitev obstoječega, ki temelji na StyleGAN modeli toonifikacije slike na video.
Raziskovalci s tehnološke univerze Nanyang so predstavil novo ogrodje VToonify za ustvarjanje prenosa portretnega video sloga visoke ločljivosti, ki ga je mogoče nadzorovati. VToonify izkorišča sloje srednje in visoke ločljivosti StyleGAN za upodabljanje visokokakovostnih umetniških portretov, ki temeljijo na funkcijah vsebine v več merilih, ki jih ekstrahira kodirnik za boljše ohranjanje podrobnosti okvirja. Eksperimentalni rezultati kažejo, da lahko naše ogrodje ustvarja videoposnetke z dosledno visoko kakovostjo in želenimi obraznimi izrazi brez potrebe po poravnavi obraza ali omejitvah glede velikosti okvirja.
Kot rezultat, popolnoma konvolucijska arhitektura, ki sprejema neporavnane obraze v videoposnetkih različnih velikosti, ustvari popolne obraze z organskimi gibi. Ogrodje VToonify podeduje privlačne značilnosti teh modelov za prilagodljiv stilski nadzor nad barvo in intenzivnostjo. Združljiv je z obstoječimi modeli toonifikacije slik, ki temeljijo na StyleGAN, da jih razširi na video toonification. To delo uvaja dve različici VToonifyja za prenos portretnega video sloga, ki temelji na zbirkah, oziroma na vzorcih, zgrajenih na Toonify in DualStyleGAN.
Obsežne eksperimentalne ugotovitve kažejo, da predlagani okvir VToonify prekaša konkurenčne pristope pri izdelavi umetniških portretnih filmov s prilagodljivimi slogovnimi kontrolami, ki so odlične kakovosti in časovno dosledni. Preverite GitHub Za več podrobnosti.
| Povezani članek: OpenAI dela na ustvarjanju modela AI za video |
VToonify združuje prednosti ogrodja za prevajanje slik in ogrodja, ki temelji na StyleGAN, da bi zagotovil prenos portretnega video sloga visoke ločljivosti, ki ga je mogoče nadzorovati.
(A) Za podporo spremenljive velikosti vnosa sistem za prevajanje slik uporablja popolnoma konvolucijska omrežja. Pri poučevanju iz nič je kljub temu težko posredovati visoko ločljivost in nadzorovan slog.
(B) Ogrodje, ki temelji na StyleGAN, ki podpira samo fiksno velikost slike in izgube podrobnosti, uporablja vnaprej usposobljen model StyleGAN za prenos sloga visoke ločljivosti in nadzorovanega.
(C) Da bi ustvarili popolnoma konvolucijsko arhitekturo kodirnika-generatorja, ki je podobna arhitekturi ogrodja za prevajanje slik, naš hibridni sistem razširi StyleGAN tako, da izbriše njegovo vhodno funkcijo fiksne velikosti in plasti nizke ločljivosti.
Da bi ohranili podrobnosti okvirja, razvijalci usposobijo kodirnik, da kot dodaten pogoj vsebine iz vhodnega okvirja izvleče značilnosti vsebine v več merilih. VToonify podeduje prilagodljivost nadzora sloga modela StyleGAN, tako da ga postavi v generator za destilacijo njegovih podatkov in modela.
Ogrodje VToonify podeduje privlačne značilnosti za prilagodljiv nadzor sloga od trenutnih modelov toonifikacije slik, ki temeljijo na StyleGAN, in je združljiv z njimi, da jih razširi na video toonifikacija. Naš VToonify ponuja naslednje z uporabo modela DualStyleGAN kot osnove StyleGAN:
- Prenos sloga iz struktur, ki temeljijo na vzorcih;
- Sprememba slogovne stopnje;
- Prenos barvnega sloga na podlagi primerkov.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
