VToonify: Ein Echtzeit-KI-Modell zur Erstellung künstlerischer Porträtvideos
In Kürze
Ein revolutionäres VToonify-Framework wurde von Entwicklern entwickelt, um kontrollierte, hochauflösende Übertragungen im Hochformat-Videostil bereitzustellen.
Um atemberaubende künstlerische Porträts zu erstellen, nutzt das Framework die mittel- und hochauflösenden Ebenen von StyleGAN.
Es ermöglicht die Erweiterung bestehender StyleGAN-basierter Image-Toonifizierungsmodelle zum Video.
Forscher der Nanyang Technological University haben führte ein neuartiges VToonify-Framework ein um eine steuerbare hochauflösende Übertragung im Hochformat-Videostil zu erzeugen. VToonify nutzt die mittleren und hohen Auflösungsebenen von StyleGAN, um qualitativ hochwertige künstlerische Porträts zu rendern, die auf den Inhaltsmerkmalen mit mehreren Maßstäben basieren, die von einem Encoder extrahiert wurden, um Framedetails besser zu erhalten. Experimentelle Ergebnisse zeigen, dass unser Framework Videos mit gleichbleibend hoher Qualität und gewünschten Gesichtsausdrücken erzeugen kann, ohne dass eine Gesichtsausrichtung oder Beschränkungen der Framegröße erforderlich sind.
Als Ergebnis erzeugt eine vollständig gefaltete Architektur, die nicht ausgerichtete Gesichter in Videos unterschiedlicher Größe akzeptiert, vollständige Gesichter mit organischen Bewegungen. Das VToonify-Framework erbt ansprechende Eigenschaften dieser Modelle für eine flexible Style-Steuerung von Farbe und Intensität. Es ist mit bestehenden StyleGAN-basierten Bild-Toonifizierungsmodellen kompatibel, um sie auf Video-Toonifizierung zu erweitern. Diese Arbeit stellt zwei Instanziierungen von VToonify für die sammlungsbasierte bzw. exemplarbasierte Hochformat-Videostilübertragung vor, die auf Toonify und DualStyleGAN aufbauen.
Umfangreiche experimentelle Ergebnisse zeigen, dass das vorgeschlagene VToonify-Framework konkurrierende Ansätze bei der Produktion künstlerischer Porträtfilme mit anpassbaren Stilsteuerungen übertrifft, die von ausgezeichneter Qualität und zeitlich konsistent sind. Überprüfen GitHub für weitere Informationen an.
| In Verbindung stehender Artikel: OpenAI arbeitet an der Erstellung eines KI-Modells für Videos |
Um eine kontrollierbare Übertragung des hochauflösenden Hochformat-Videostils bereitzustellen, kombiniert VToonify die Vorteile des Bildübersetzungs-Frameworks und des StyleGAN-basierten Frameworks.
(A) Um eine variable Eingabegröße zu unterstützen, verwendet ein Bildübersetzungssystem vollständig konvolutionelle Netzwerke. Es ist jedoch eine Herausforderung, einen hochauflösenden und kontrollierten Stil zu vermitteln, wenn Sie von Grund auf neu unterrichten.
(B) Das StyleGAN-basierte Framework, das nur feste Bildgröße und Detailverluste unterstützt, verwendet das vortrainierte StyleGAN-Modell für eine hochauflösende und steuerbare Stilübertragung.
(C) Um eine vollständig konvolutionelle Encoder-Generator-Architektur zu erstellen, die der des Bildübersetzungs-Frameworks ähnelt, erweitert unser Hybridsystem StyleGAN, indem es seine Eingabefunktion mit fester Größe und Schichten mit niedriger Auflösung löscht.
Um Framedetails beizubehalten, trainieren Entwickler einen Encoder, Inhaltsmerkmale mit mehreren Maßstäben aus dem Eingabeframe als zusätzliche Inhaltsbedingung zu extrahieren. VToonify erbt die Stilsteuerungsflexibilität des StyleGAN-Modells, indem es in den Generator eingefügt wird, um sowohl seine Daten als auch sein Modell zu destillieren.
| In Verbindung stehender Artikel: Lambda Labs kündigte einen KI-Bildmischer an, der bis zu fünf Bilder kombinieren kann |
Das VToonify-Framework erbt die attraktiven Eigenschaften für eine flexible Stilsteuerung von den aktuellen StyleGAN-basierten Bild-Toonifizierungsmodellen und ist mit diesen kompatibel, um sie zu erweitern Video tonifizierung. Unser VToonify bietet Folgendes unter Verwendung des DualStyleGAN-Modells als StyleGAN-Grundlage:
- Stiltransfer von vorbildgetreuen Strukturen;
- Änderung des Stilgrads;
- Übertragung des Farbstils nach Vorbildern.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
