VToonify: Reaaliaikainen tekoälymalli taiteellisten muotokuvavideoiden luomiseen
Lyhyesti
Kehittäjät ovat kehittäneet vallankumouksellisen VToonify-kehyksen tarjoamaan ohjattuja, korkearesoluutioisia muotokuvavideotyylisiä siirtoja.
Kehys hyödyntää StyleGANin keski- ja korkearesoluutioisia tasoja upeiden taiteellisten muotokuvien tuottamiseksi.
Se mahdollistaa olemassa olevan StyleGAN-pohjaisen laajentamisen kuvan toonisointimallit videolle.
Nanyangin teknillisen yliopiston tutkijat ovat esitteli uuden VToonify-kehyksen ohjattavan korkearesoluutioisen muotokuvavideotyylisen siirron luomiseen. VToonify hyödyntää StyleGANin keski- ja korkearesoluutioisia kerroksia tuottaakseen korkealaatuisia taiteellisia muotokuvia, jotka perustuvat kooderin poimimiin monimuotoisiin sisältöominaisuuksiin, jotta kehyksen yksityiskohdat säilyvät paremmin. Kokeilutulokset osoittavat, että kehyksellämme voidaan luoda jatkuvasti korkealaatuisia videoita ja haluttuja ilmeitä ilman kasvojen kohdistusta tai kehyskokorajoituksia.
Tämän seurauksena täysin konvoluutioarkkitehtuuri, joka hyväksyy erikokoisissa videoissa kohdistamattomat kasvot, tuottaa täydelliset kasvot orgaanisilla liikkeillä. VToonify-kehys perii näiden mallien houkuttelevat ominaisuudet, jotka mahdollistavat joustavan värin ja intensiteetin tyylin hallinnan. Se on yhteensopiva olemassa olevien StyleGAN-pohjaisten kuvan toonisointimallien kanssa laajentaakseen ne videon toonisointiin. Tämä teos esittelee kaksi VToonifyn ilmentymää kokoelmapohjaiseen ja esimerkkipohjaiseen muotokuvatyylien siirtoon, vastaavasti Toonifyn ja DualStyleGANin pohjalta.
Laajat kokeelliset havainnot osoittavat, että ehdotettu VToonify-kehys ylittää kilpailevat lähestymistavat taiteellisten muotokuvaelokuvien tuottamisessa säädettävillä tyylisäätimillä, jotka ovat erinomaisen laadukkaita ja ajallisesti yhdenmukaisia. Tarkistaa GitHub lisätietoja.
| Aiheeseen liittyvä artikkeli: OpenAI työskentelee tekoälymallin luomiseksi videolle |
Tarjotakseen hallittavan korkearesoluutioisen muotokuvan tyylin siirron VToonifyssa yhdistyvät kuvan käännöskehyksen ja StyleGAN-pohjaisen viitekehyksen edut.
(A) Vaihtuvan syöttökoon tukemiseksi kuvankäännösjärjestelmä käyttää täysin konvoluutioverkkoja. Korkearesoluutioinen ja hallittu tyyli on kuitenkin haastavaa, kun opetetaan tyhjästä.
(B) StyleGAN-pohjainen kehys, joka tukee vain kiinteää kuvakokoa ja yksityiskohtahäviöitä, käyttää esikoulutettua StyleGAN-mallia korkean resoluution ja ohjattavan tyylin siirtoon.
(C) Luodakseen täysin konvoluutiota kuvaavan enkooderi-generaattori-arkkitehtuurin, joka muistuttaa kuvansiirtokehystä, hybridijärjestelmämme laajentaa StyleGANia poistamalla sen kiinteän kokoisen syöttöominaisuuden ja matalan resoluution kerrokset.
Kehyksen yksityiskohtien säilyttämiseksi kehittäjät kouluttavat kooderin poimimaan monimuotoisia sisältöominaisuuksia syöttökehyksestä lisäsisältöehtona. VToonify perii StyleGAN-mallin tyylinhallinnan joustavuuden asettamalla sen generaattoriin tislaamaan sekä sen tiedot että mallin.
| Aiheeseen liittyvä artikkeli: Lambda Labs julkisti tekoälykuvamikserin, joka voi yhdistää jopa viisi kuvaa |
VToonify-kehys perii houkuttelevat ominaisuudet joustavaan tyylinhallintaan nykyisistä StyleGAN-pohjaisista kuvan toonisointimalleista ja on yhteensopiva niiden kanssa laajentaakseen niitä video- toonisointi. VToonifymme tarjoaa seuraavat käyttämällä DualStyleGAN-mallia StyleGAN-perustana:
- Tyylin siirto esimerkillisistä rakenteista;
- Tyyliasteen muuttaminen;
- Värityylin siirto esimerkkien perusteella.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
