VToonify: Valós idejű AI-modell művészi portrévideók készítéséhez
Röviden
A fejlesztők egy forradalmi VToonify keretrendszert fejlesztettek ki, amely szabályozott, nagy felbontású portrévideó stílusú átvitelt tesz lehetővé.
A lenyűgöző művészi portrék készítéséhez a keret a StyleGAN közepes és nagy felbontású rétegeit használja.
Lehetővé teszi a meglévő StyleGAN alapú kiterjesztését kép toonizációs modellek videózni.
A Nanyang Műszaki Egyetem kutatói megtették új VToonify keretrendszert vezetett be vezérelhető, nagy felbontású portrévideó stílusú átvitel létrehozásához. A VToonify kihasználja a StyleGAN közepes és nagy felbontású rétegeit, hogy kiváló minőségű művészi portrékat készítsen a kódoló által kinyert többléptékű tartalomszolgáltatások alapján, hogy jobban megőrizze a keret részleteit. A kísérleti eredmények azt mutatják, hogy a keretrendszerünk állandóan jó minőségű és kívánt arckifejezésű videókat tud készíteni anélkül, hogy arcigazításra vagy keretméret-korlátozásra lenne szükség.
Ennek eredményeként a teljesen konvolúciós architektúra, amely elfogadja a nem igazított arcokat a különböző méretű videókban, teljes arcokat hoz létre organikus mozgásokkal. A VToonify keretrendszer ezeknek a modelleknek a vonzó tulajdonságait örökli a színek és intenzitás rugalmas stílusszabályozása érdekében. Kompatibilis a meglévő StyleGAN alapú kép tonizálási modellekkel, hogy kiterjessze azokat a videó toonizálására. Ez a munka bemutatja a VToonify két példányát a gyűjtemény-alapú, illetve a példa alapú portré videostílusú átvitelhez, amelyek Toonify és DualStyleGAN alapúak.
Kiterjedt kísérleti eredmények azt mutatják, hogy a javasolt VToonify keretrendszer felülmúlja a versengő megközelítéseket az állítható stílusvezérlőkkel rendelkező művészi portréfilmek előállításában, amelyek kiváló minőségűek és időben konzisztensek. Jelölje be GitHub fül alatt találsz.
| Kapcsolódó cikk: OpenAI egy videós AI-modell létrehozásán dolgozik |
A vezérelhető, nagy felbontású portré videó stílus átvitele érdekében a VToonify egyesíti a képfordítási keretrendszer és a StyleGAN alapú keretrendszer előnyeit.
(A) A változó bemeneti méret támogatására egy képfordító rendszer teljesen konvolúciós hálózatokat használ. Mindazonáltal kihívást jelent a nagy felbontású és ellenőrzött stílus közvetítése, amikor a nulláról tanít.
(B) A StyleGAN-alapú keretrendszer, amely csak a rögzített képméretet és a részletveszteséget támogatja, az előre betanított StyleGAN modellt használja a nagy felbontású és szabályozható stílusátvitelhez.
(C) A képfordító keretrendszeréhez hasonló, teljesen konvolúciós kódoló-generátor architektúra létrehozása érdekében hibrid rendszerünk kiterjeszti a StyleGAN-t a rögzített méretű bemeneti funkció és az alacsony felbontású rétegek törlésével.
A keret részleteinek megőrzése érdekében a fejlesztők egy kódolót képeznek ki, hogy többléptékű tartalomjellemzőket vonjon ki a bemeneti keretből további tartalomfeltételként. A VToonify örökli a StyleGAN modell stílusvezérlési rugalmasságát azáltal, hogy a generátorba helyezi az adatok és a modell desztillálásához.
| Kapcsolódó cikk: A Lambda Labs bejelentett egy mesterséges intelligencia-keverőt, amely akár öt képet is képes kombinálni |
A VToonify keretrendszer a jelenlegi StyleGAN-alapú képhangosítási modellektől örökli a rugalmas stílusvezérlés vonzó jellemzőit, és kompatibilis velük, hogy kibővítse őket videó toonizálás. A VToonify a következőket kínálja a DualStyleGAN modell StyleGAN alapjaként:
- Stílusátadás a példaértékű struktúrákból;
- Stílusfok módosítása;
- Színstílus átvitele minták alapján.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
