VToonify: un modello AI in tempo reale per la generazione di video di ritratti artistici
In Breve
Un rivoluzionario framework VToonify è stato sviluppato dagli sviluppatori per fornire trasferimenti in stile video verticale controllati e ad alta risoluzione.
Per produrre splendidi ritratti artistici, il framework utilizza i livelli a media e alta risoluzione di StyleGAN.
Consente l'estensione di StyleGAN esistente modelli di toonificazione dell'immagine al video.
I ricercatori della Nanyang Technological University hanno ha introdotto un nuovo framework VToonify per generare un trasferimento in stile video verticale controllabile ad alta risoluzione. VToonify sfrutta i livelli a media e alta risoluzione di StyleGAN per eseguire il rendering di ritratti artistici di alta qualità basati sulle funzionalità di contenuto multiscala estratte da un codificatore per preservare meglio i dettagli del fotogramma. I risultati sperimentali mostrano che il nostro framework può generare video con una qualità costantemente elevata e le espressioni facciali desiderate senza la necessità di allineare i volti o limitare le dimensioni dei fotogrammi.
Di conseguenza, un'architettura completamente convoluzionale che accetta volti non allineati in video di varie dimensioni produce volti completi con movimenti organici. Il framework VToonify eredita caratteristiche accattivanti di questi modelli per il controllo flessibile dello stile su colore e intensità. È compatibile con i modelli di toonificazione delle immagini basati su StyleGAN esistenti per estenderli alla toonificazione dei video. Questo lavoro introduce due istanze di VToonify per il trasferimento in stile video verticale basato su raccolta ed esemplare, rispettivamente, costruite su Toonify e DualStyleGAN.
Numerosi risultati sperimentali mostrano che il framework VToonify proposto supera gli approcci concorrenti nella produzione di ritratti artistici con controlli di stile regolabili che sono di ottima qualità e temporalmente coerenti. Dai un'occhiata GitHub per ulteriori dettagli.
| Articolo correlato: OpenAI sta lavorando alla creazione di un modello AI per i video |
Al fine di fornire un trasferimento in stile video verticale ad alta risoluzione controllabile, VToonify combina i vantaggi del framework di traduzione delle immagini e del framework basato su StyleGAN.
(A) Per supportare dimensioni di input variabili, un sistema di traduzione di immagini utilizza reti completamente convoluzionali. Tuttavia, è difficile impartire uno stile controllato e ad alta risoluzione quando si insegna da zero.
(B) Il framework basato su StyleGAN, che supporta solo dimensioni fisse dell'immagine e perdite di dettaglio, utilizza il modello StyleGAN pre-addestrato per il trasferimento di stile ad alta risoluzione e controllabile.
(C) Al fine di creare un'architettura encoder-generatore completamente convoluzionale simile a quella del framework di traduzione delle immagini, il nostro sistema ibrido estende StyleGAN eliminando la sua funzione di input di dimensioni fisse e i livelli a bassa risoluzione.
Per preservare i dettagli del frame, gli sviluppatori addestrano un codificatore per estrarre funzionalità di contenuto multiscala dal frame di input come condizione di contenuto aggiuntiva. VToonify eredita la flessibilità di controllo dello stile del modello StyleGAN inserendolo nel generatore per distillare sia i dati che il modello.
| Articolo correlato: Lambda Labs ha annunciato un mixer di immagini AI in grado di combinare fino a cinque immagini |
Il framework VToonify eredita le caratteristiche interessanti per il controllo flessibile dello stile dagli attuali modelli di toonificazione delle immagini basati su StyleGAN ed è compatibile con essi per espanderli a video toonificazione. Il nostro VToonify offre quanto segue utilizzando il modello DualStyleGAN come base StyleGAN:
- Trasferimento di stile da strutture basate sull'esemplare;
- Modifica del grado di stile;
- Trasferimento di stile di colore basato su esemplari.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
