Laporan Berita Teknologi
Januari 24, 2023

VToonify: Model AI masa nyata untuk menjana video potret artistik

Secara ringkas

Rangka kerja VToonify yang revolusioner telah dibangunkan oleh pembangun untuk menyediakan pemindahan gaya video potret resolusi tinggi terkawal.

Untuk menghasilkan potret artistik yang menakjubkan, rangka kerja menggunakan lapisan pertengahan dan resolusi tinggi StyleGAN.

Ia membenarkan lanjutan berasaskan StyleGAN sedia ada model toonifikasi imej kepada video.

Penyelidik dari Universiti Teknologi Nanyang telah memperkenalkan rangka kerja VToonify novel untuk menjana pemindahan gaya video potret resolusi tinggi yang boleh dikawal. VToonify memanfaatkan lapisan pertengahan dan resolusi tinggi StyleGAN untuk menghasilkan potret artistik berkualiti tinggi berdasarkan ciri kandungan berbilang skala yang diekstrak oleh pengekod untuk mengekalkan butiran bingkai dengan lebih baik. Keputusan percubaan menunjukkan bahawa rangka kerja kami boleh menjana video dengan kualiti tinggi yang konsisten dan ekspresi muka yang diingini tanpa memerlukan penjajaran muka atau sekatan saiz bingkai.

Hasilnya, seni bina konvolusi sepenuhnya yang menerima wajah tidak sejajar dalam video pelbagai saiz menghasilkan wajah lengkap dengan gerakan organik. Rangka kerja VToonify mewarisi ciri menarik model ini untuk kawalan gaya fleksibel pada warna dan keamatan. Ia serasi dengan model toonifikasi imej berasaskan StyleGAN sedia ada untuk memanjangkannya kepada toonifikasi video. Kerja ini memperkenalkan dua instantiasi VToonify untuk pemindahan gaya video potret berasaskan koleksi dan berasaskan contoh, yang dibina di atas Toonify dan DualStyleGAN.

Vtoonify: Model AI masa nyata untuk menjana video potret artistik

Penemuan eksperimen yang meluas menunjukkan bahawa rangka kerja VToonify yang dicadangkan mengatasi pendekatan bersaing dalam menghasilkan filem potret artistik dengan kawalan gaya boleh laras yang berkualiti tinggi dan konsisten dari segi masa. Semak GitHub untuk maklumat lanjut.

Artikel berkaitan: OpenAI sedang berusaha untuk mencipta model AI untuk video

Untuk menyediakan pemindahan gaya video potret resolusi tinggi yang boleh dikawal, VToonify menggabungkan kelebihan rangka kerja terjemahan imej dan rangka kerja berasaskan StyleGAN.

(A) Untuk menyokong saiz input berubah, sistem terjemahan imej menggunakan rangkaian konvolusi sepenuhnya. Adalah mencabar untuk menyampaikan gaya resolusi tinggi dan terkawal, walau bagaimanapun, apabila mengajar dari awal.

(B) Rangka kerja berasaskan StyleGAN, yang hanya menyokong saiz gambar tetap dan kehilangan butiran, menggunakan model StyleGAN terlatih untuk pemindahan gaya resolusi tinggi dan boleh dikawal.

(C) Untuk mencipta seni bina penjana pengekod sepenuhnya konvolusi yang menyerupai rangka kerja terjemahan imej, sistem hibrid kami memanjangkan StyleGAN dengan memadamkan ciri input bersaiz tetap dan lapisan resolusi rendahnya.

VToonify: Model AI masa nyata untuk menjana video potret artistik

Untuk mengekalkan butiran bingkai, pembangun melatih pengekod untuk mengekstrak ciri kandungan berbilang skala daripada bingkai input sebagai syarat kandungan tambahan. VToonify mewarisi fleksibiliti kawalan gaya model StyleGAN dengan memasukkannya ke dalam penjana untuk menyaring kedua-dua data dan modelnya.

Vtoonify: Model AI masa nyata untuk menjana video potret artistik
Artikel berkaitan: Lambda Labs mengumumkan pengadun imej AI yang boleh menggabungkan sehingga lima imej

Rangka kerja VToonify mewarisi ciri menarik untuk kawalan gaya fleksibel daripada model toonifikasi imej berasaskan StyleGAN semasa dan serasi dengannya untuk mengembangkannya kepada video toonifikasi. VToonify kami menawarkan yang berikut menggunakan model DualStyleGAN sebagai asas StyleGAN:

  • Pemindahan gaya daripada struktur berasaskan contoh;
  • Pengubahsuaian ijazah gaya;
  • Pemindahan gaya warna berdasarkan contoh.
Vtoonify: Model AI masa nyata untuk menjana video potret artistik
Untuk penyulingan StyleGAN, pembangun membandingkan dua tulang belakang Toonify dan DualStyleGAN, serta garis dasar terjemahan imej-ke-imej resolusi tinggi Pix2pixHD. VToonify-T dan VToonify-D mengatasi prestasi tulang belakang setanding mereka, Toonify dan DualStyleGAN, dari segi penggayaan keseluruhan video sambil mengekalkan kualiti tinggi dan elemen visual yang sama seperti tulang belakang untuk setiap bingkai individu. VToonify-T, sebagai contoh, mengikuti Toonify untuk mengenakan kesan gaya yang kuat, seperti rambut ungu dalam gaya Arcane. Sebaliknya, VToonify-D melakukan kerja yang lebih baik untuk mengekalkan ciri-ciri wajah. Pix2pixHD mempunyai kelipan dan artifak jika dibandingkan dengan VToonify-D.

Baca lebih lanjut mengenai AI:

Penafian

Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.

Tentang Pengarang

Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah. 

lebih banyak artikel
Damir Yalalov
Damir Yalalov

Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah. 

Dari Ripple kepada The Big Green DAO: Bagaimana Projek Mata Wang Kripto Menyumbang kepada Amal

Mari kita terokai inisiatif yang memanfaatkan potensi mata wang digital untuk tujuan amal.

Mengetahui lebih lanjut

AlphaFold 3, Med-Gemini, dan lain-lain: The Way AI Transforms Healthcare in 2024

AI menjelma dalam pelbagai cara dalam penjagaan kesihatan, daripada mendedahkan korelasi genetik baharu kepada memperkasakan sistem pembedahan robotik ...

Mengetahui lebih lanjut
Lebih Lanjut
Maklumat Lanjut
Graviti Sifar Bersepadu Dengan CARV Untuk Menyediakan Infrastruktur Bagi Projek Berprestasi Tinggi
Laporan Berita Teknologi
Graviti Sifar Bersepadu Dengan CARV Untuk Menyediakan Infrastruktur Bagi Projek Berprestasi Tinggi
November 13, 2024
Modal QCP: Bitcoin Memasuki 'Fasa Baharu,' Memperkukuh Kedudukannya Sebagai Aset Perbendaharaan Yang Dipegang Oleh Perbadanan, Kerajaan dan Institusi
Laporan Berita Teknologi
Modal QCP: Bitcoin Memasuki 'Fasa Baharu,' Memperkukuh Kedudukannya Sebagai Aset Perbendaharaan Yang Dipegang Oleh Perbadanan, Kerajaan dan Institusi
November 13, 2024
Linea Memperkenalkan Persatuan untuk Mentadbir Teknologi, Ekosistem dan Rangkaiannya
Laporan Berita Teknologi
Linea Memperkenalkan Persatuan untuk Mentadbir Teknologi, Ekosistem dan Rangkaiannya 
November 13, 2024
Pemimpin Industri Blockchain Berkumpul Di Musim Hack Di Bangkok: Sekilas Tentang Masa Depan DeFi dan Web3
Perniagaan Gaya hidup Laporan Berita Teknologi
Pemimpin Industri Blockchain Berkumpul Di Musim Hack Di Bangkok: Sekilas Tentang Masa Depan DeFi dan Web3
November 13, 2024