VToonify: Isang real-time na modelo ng AI para sa pagbuo ng mga artistikong portrait na video
Sa madaling sabi
Ang isang rebolusyonaryong VToonify framework ay binuo ng mga developer upang magbigay ng kontrolado, mataas na resolution ng portrait video na paglipat ng istilo.
Upang makagawa ng mga nakamamanghang artistikong portrait, ginagamit ng framework ang mga mid- at high-res na layer ng StyleGAN.
Pinapayagan nito ang extension ng umiiral na StyleGAN-based mga modelo ng toonification ng imahe sa video.
Ang mga mananaliksik mula sa Nanyang Technological University ay may nagpakilala ng isang nobelang VToonify framework para makabuo ng nakokontrol na high-resolution na portrait na paglipat ng istilo ng video. Ginagamit ng VToonify ang mid- at high-resolution na mga layer ng StyleGAN upang mag-render ng mga de-kalidad na artistikong portrait batay sa mga multi-scale na feature ng content na kinuha ng isang encoder para mas mapanatili ang mga detalye ng frame. Ipinapakita ng mga pang-eksperimentong resulta na ang aming framework ay makakabuo ng mga video na may pare-parehong mataas na kalidad at gustong mga ekspresyon ng mukha nang hindi nangangailangan ng pag-align ng mukha o mga paghihigpit sa laki ng frame.
Bilang resulta, ang isang ganap na convolutional na arkitektura na tumatanggap ng mga hindi nakahanay na mukha sa mga video na may iba't ibang laki ay gumagawa ng mga kumpletong mukha na may mga organic na galaw. Ang VToonify framework ay nagmamana ng mga nakakaakit na feature ng mga modelong ito para sa flexible na kontrol ng estilo sa kulay at intensity. Tugma ito sa mga kasalukuyang modelo ng toonification ng imahe na nakabatay sa StyleGAN upang i-extend ang mga ito sa video toonification. Ang gawaing ito ay nagpapakilala ng dalawang instantiations ng VToonify para sa nakabatay sa koleksyon at nakabatay sa halimbawa ng portrait na video style transfer, ayon sa pagkakabanggit, na binuo sa Toonify at DualStyleGAN.
Ang malawak na mga natuklasang pang-eksperimento ay nagpapakita na ang iminungkahing VToonify framework ay higit na gumaganap sa mga nakikipagkumpitensyang diskarte sa paggawa ng mga artistikong portrait na pelikula na may adjustable na mga kontrol sa istilo na may mahusay na kalidad at temporal na pare-pareho. Suriin GitHub para sa karagdagang detalye.
| Kaugnay na artikulo: OpenAI ay nagtatrabaho sa paglikha ng isang modelo ng AI para sa video |
Upang makapagbigay ng nakokontrol na paglipat ng istilo ng portrait na video na may mataas na resolution, pinagsasama ng VToonify ang mga pakinabang ng balangkas ng pagsasalin ng larawan at ang balangkas na nakabatay sa StyleGAN.
(A) Upang suportahan ang variable na laki ng input, ang isang sistema ng pagsasalin ng imahe ay gumagamit ng ganap na convolutional network. Mahirap magbigay ng high-resolution at kontroladong istilo, gayunpaman, kapag nagtuturo mula sa simula.
(B) StyleGAN-based na framework, na sumusuporta lamang sa nakapirming laki ng larawan at mga pagkawala ng detalye, ay gumagamit ng pre-trained na modelo ng StyleGAN para sa high-resolution at nakokontrol na paglipat ng istilo.
(C) Upang makalikha ng ganap na convolutional encoder-generator architecture na kahawig ng framework ng pagsasalin ng imahe, pinalawak ng aming hybrid system ang StyleGAN sa pamamagitan ng pagtanggal sa feature na fixed-sized na input nito at mga low-resolution na layer.
Upang mapanatili ang mga detalye ng frame, sinasanay ng mga developer ang isang encoder na mag-extract ng mga multi-scale na feature ng content mula sa input frame bilang karagdagang kundisyon ng content. Namanahin ng VToonify ang style control flexibility ng StyleGAN model sa pamamagitan ng paglalagay nito sa generator para distill ang data at modelo nito.
| Kaugnay na artikulo: Inihayag ng Lambda Labs ang isang AI image mixer na maaaring pagsamahin ang hanggang limang larawan |
Namana ng VToonify framework ang mga kaakit-akit na katangian para sa flexible na kontrol ng istilo mula sa kasalukuyang mga modelo ng toonification ng imahe na nakabatay sa StyleGAN at tugma ito sa mga ito upang mapalawak ang mga ito sa video toonification. Ang aming VToonify ay nag-aalok ng sumusunod gamit ang DualStyleGAN na modelo bilang ang pundasyon ng StyleGAN:
- Paglipat ng istilo mula sa mga istrukturang nakabatay sa halimbawa;
- Pagbabago ng antas ng estilo;
- Paglipat ng istilo ng kulay batay sa mga halimbawa.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
