VToonify: Model AI real-time untuk menghasilkan video potret artistik
Singkatnya
Kerangka kerja VToonify yang revolusioner dikembangkan oleh pengembang untuk menyediakan transfer gaya video potret beresolusi tinggi yang terkontrol.
Untuk menghasilkan potret artistik yang menakjubkan, kerangka ini menggunakan lapisan beresolusi menengah dan tinggi StyleGAN.
Ini memungkinkan ekstensi berbasis StyleGAN yang ada model toonifikasi gambar untuk video.
Peneliti dari Nanyang Technological University memiliki memperkenalkan kerangka VToonify baru untuk menghasilkan transfer gaya video potret resolusi tinggi yang dapat dikontrol. VToonify memanfaatkan lapisan StyleGAN beresolusi menengah dan tinggi untuk merender potret artistik berkualitas tinggi berdasarkan fitur konten multiskala yang diekstrak oleh pembuat enkode untuk menjaga detail bingkai dengan lebih baik. Hasil eksperimen menunjukkan bahwa kerangka kerja kami dapat menghasilkan video dengan kualitas tinggi secara konsisten dan ekspresi wajah yang diinginkan tanpa perlu penyelarasan wajah atau batasan ukuran bingkai.
Hasilnya, arsitektur konvolusional penuh yang menerima wajah tidak sejajar dalam video dengan berbagai ukuran menghasilkan wajah lengkap dengan gerakan organik. Framework VToonify mewarisi fitur menarik dari model ini untuk kontrol gaya yang fleksibel pada warna dan intensitas. Ini kompatibel dengan model toonifikasi gambar berbasis StyleGAN yang ada untuk memperluasnya ke toonifikasi video. Karya ini memperkenalkan dua contoh VToonify untuk transfer gaya video potret berbasis koleksi dan berbasis contoh, masing-masing, dibangun di atas Toonify dan DualStyleGAN.
Temuan eksperimental yang luas menunjukkan bahwa kerangka kerja VToonify yang diusulkan mengungguli pendekatan pesaing dalam memproduksi film potret artistik dengan kontrol gaya yang dapat disesuaikan dengan kualitas yang sangat baik dan konsisten untuk sementara. Memeriksa GitHub lebih lanjut.
| Artikel terkait: OpenAI sedang mengerjakan pembuatan model AI untuk video |
Untuk memberikan transfer gaya video potret beresolusi tinggi yang dapat dikontrol, VToonify menggabungkan keunggulan kerangka kerja terjemahan gambar dan kerangka kerja berbasis StyleGAN.
(A) Untuk mendukung ukuran input variabel, sistem terjemahan citra menggunakan jaringan konvolusional penuh. Meskipun demikian, memberikan gaya yang terkontrol dan beresolusi tinggi merupakan hal yang menantang saat mengajar dari awal.
(B) Kerangka kerja berbasis StyleGAN, yang hanya mendukung ukuran gambar tetap dan kehilangan detail, menggunakan model StyleGAN terlatih untuk transfer gaya beresolusi tinggi dan terkendali.
(C) Untuk membuat arsitektur pembuat enkode yang sepenuhnya konvolusional yang menyerupai kerangka kerja terjemahan gambar, sistem hibrid kami memperluas StyleGAN dengan menghapus fitur masukan berukuran tetap dan lapisan beresolusi rendah.
Untuk mempertahankan detail bingkai, developer melatih encoder untuk mengekstrak fitur konten multi-skala dari bingkai input sebagai kondisi konten tambahan. VToonify mewarisi fleksibilitas kontrol gaya model StyleGAN dengan memasukkannya ke dalam generator untuk menyaring data dan modelnya.
| Artikel terkait: Lambda Labs mengumumkan mixer gambar AI yang dapat menggabungkan hingga lima gambar |
Kerangka kerja VToonify mewarisi karakteristik menarik untuk kontrol gaya fleksibel dari model toonifikasi gambar berbasis StyleGAN saat ini dan kompatibel dengannya untuk memperluasnya ke video toonifikasi. VToonify kami menawarkan hal berikut menggunakan model DualStyleGAN sebagai fondasi StyleGAN:
- Transfer gaya dari struktur berbasis contoh;
- Modifikasi derajat gaya;
- Transfer gaya warna berdasarkan contoh.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
