VToonify: Sanatsal portre videoları oluşturmak için gerçek zamanlı bir AI modeli
Kısaca
Kontrollü, yüksek çözünürlüklü portre video stili aktarımlar sağlamak için geliştiriciler tarafından devrim niteliğinde bir VToonify çerçevesi geliştirildi.
Çarpıcı sanatsal portreler üretmek için çerçeve, StyleGAN'ın orta ve yüksek çözünürlüklü katmanlarını kullanır.
Mevcut StyleGAN tabanlı yazılımın genişletilmesine izin verir. görüntü toonlaştırma modelleri videoya.
Nanyang Teknoloji Üniversitesi'nden araştırmacılar, yeni bir VToonify çerçevesi tanıttı kontrol edilebilir yüksek çözünürlüklü portre video stili aktarımı oluşturmak için. VToonify, çerçeve ayrıntılarını daha iyi korumak için bir kodlayıcı tarafından çıkarılan çok ölçekli içerik özelliklerine dayalı olarak yüksek kaliteli sanatsal portreler oluşturmak için StyleGAN'ın orta ve yüksek çözünürlüklü katmanlarından yararlanır. Deneysel sonuçlar, çerçevemizin, yüz hizalaması veya çerçeve boyutu kısıtlamalarına ihtiyaç duymadan, sürekli olarak yüksek kalitede ve istenen yüz ifadelerine sahip videolar oluşturabildiğini göstermektedir.
Sonuç olarak, çeşitli boyutlardaki videolarda hizalanmamış yüzleri kabul eden tamamen kıvrımlı bir mimari, organik hareketlere sahip eksiksiz yüzler üretir. VToonify çerçevesi, renk ve yoğunluk üzerinde esnek stil kontrolü için bu modellerin çekici özelliklerini devralır. Video toonifikasyona genişletmek için mevcut StyleGAN tabanlı görüntü toonifikasyon modelleriyle uyumludur. Bu çalışma, Toonify ve DualStyleGAN üzerine inşa edilmiş sırasıyla koleksiyon tabanlı ve örnek tabanlı portre video stili aktarımı için iki VToonify örneğini tanıtıyor.
Kapsamlı deneysel bulgular, önerilen VToonify çerçevesinin, mükemmel kalitede ve geçici olarak tutarlı olan ayarlanabilir stil kontrolleriyle sanatsal portre filmleri üretmede rakip yaklaşımlardan daha iyi performans gösterdiğini göstermektedir. Kontrol etmek GitHub daha fazla ayrıntı için.
Kontrol edilebilir, yüksek çözünürlüklü bir portre video stili aktarımı sağlamak için VToonify, görüntü çeviri çerçevesinin ve StyleGAN tabanlı çerçevenin avantajlarını birleştirir.
(A) Değişken giriş boyutunu desteklemek için bir görüntü çeviri sistemi tamamen evrişimli ağlar kullanır. Yine de sıfırdan öğretirken yüksek çözünürlüklü ve kontrollü stil vermek zordur.
(B) Yalnızca sabit resim boyutunu ve ayrıntı kayıplarını destekleyen StyleGAN tabanlı çerçeve, yüksek çözünürlüklü ve kontrol edilebilir stil aktarımı için önceden eğitilmiş StyleGAN modelini kullanır.
(C) Görüntü çeviri çerçevesine benzeyen tamamen evrişimli bir kodlayıcı-üretici mimarisi oluşturmak için hibrit sistemimiz, sabit boyutlu girdi özelliğini ve düşük çözünürlüklü katmanlarını silerek StyleGAN'ı genişletir.
Çerçeve ayrıntılarını korumak için geliştiriciler, ek bir içerik koşulu olarak giriş çerçevesinden çok ölçekli içerik özelliklerini çıkarmak için bir kodlayıcıyı eğitirler. VToonify, StyleGAN modelinin stil kontrol esnekliğini, onu hem verilerini hem de modelini ayrıştırmak için oluşturucuya koyarak devralır.
| İlgili makale: Lambda Labs, beş adede kadar görüntüyü birleştirebilen bir AI görüntü karıştırıcısını duyurdu |
VToonify çerçevesi, esnek stil kontrolüne yönelik çekici özellikleri mevcut StyleGAN tabanlı görüntü tonlaştırma modellerinden devralır ve bunları genişletmek için onlarla uyumludur. video toonifikasyon. VToonify'ımız, StyleGAN temeli olarak DualStyleGAN modelini kullanarak aşağıdakileri sunar:
- Örnek tabanlı yapılardan stil aktarımı;
- Stil derecesinin değiştirilmesi;
- Örneklere dayalı renk stili aktarımı.
AI hakkında daha fazlasını okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
