ВТоонифи: АИ модел у реалном времену за генерисање уметничких портретних видео записа
Укратко
Програмери су развили револуционарни оквир ВТоонифи да би обезбедили контролисане преносе портретног видео стила високе резолуције.
Да би направио запањујуће уметничке портрете, оквир користи СтилеГАН слојеве средње и високе резолуције.
Омогућава проширење постојећих заснованих на СтилеГАН-у модели тоонификације слике на видео.
Истраживачи са технолошког универзитета Нанианг су представио је нови оквир ВТоонифи за генерисање преноса портретног видео стила високе резолуције који се може контролисати. ВТоонифи користи слојеве средње и високе резолуције СтилеГАН-а да би приказао висококвалитетне уметничке портрете засноване на карактеристикама садржаја у више размера које издваја енкодер како би се боље сачували детаљи оквира. Експериментални резултати показују да наш оквир може да генерише видео записе са константно високим квалитетом и жељеним изразима лица без потребе за поравнањем лица или ограничења величине кадра.
Као резултат тога, потпуно конволуциона архитектура која прихвата непоравнана лица у видео записима различитих величина производи комплетна лица са органским покретима. ВТоонифи фрамеворк наслеђује привлачне карактеристике ових модела за флексибилну контролу стила боје и интензитета. Компатибилан је са постојећим моделима тоонификације слика заснованим на СтилеГАН-у како би их проширио на тоонизацију видеа. Овај рад уводи две инстанције ВТоонифи-а за пренос портретног видео стила заснованог на колекцији и узорку, који је заснован на Тоонифи-у и ДуалСтилеГАН-у.
Опсежни експериментални налази показују да предложени оквир ВТоонифи надмашује конкурентске приступе у производњи уметничких портретних филмова са подесивим контролама стила које су одличног квалитета и временски доследне. Проверавати ГитХуб за више детаља.
| Повезани чланак: OpenAI ради на креирању АИ модела за видео |
Да би обезбедио пренос портретног видео стила високе резолуције који се може контролисати, ВТоонифи комбинује предности оквира за превођење слика и оквира заснованог на СтилеГАН-у.
(А) Да би подржао променљиву величину уноса, систем за превођење слика користи потпуно конволуционе мреже. Ипак, када подучавате од нуле, тешко је пренети стил високе резолуције и контролисан.
(Б) Оквир заснован на СтилеГАН-у, који подржава само фиксну величину слике и губитке детаља, користи унапред обучени СтилеГАН модел за пренос стилова високе резолуције и који се може контролисати.
(Ц) Да би се створила потпуно конволуциона архитектура кодер-генератора која личи на ону оквира за превођење слика, наш хибридни систем проширује СтилеГАН брисањем његове улазне карактеристике фиксне величине и слојева ниске резолуције.
Да би сачували детаље оквира, програмери обучавају енкодер да издвоји карактеристике садржаја више скале из улазног оквира као додатни услов садржаја. ВТоонифи наслеђује флексибилност контроле стила СтилеГАН модела тако што га ставља у генератор да дестилује и своје податке и модел.
Оквир ВТоонифи наслеђује привлачне карактеристике за флексибилну контролу стила од тренутних модела тоонификације слика заснованих на СтилеГАН-у и компатибилан је са њима како би их проширио на видео тоонификација. Наш ВТоонифи нуди следеће користећи ДуалСтилеГАН модел као СтилеГАН основу:
- Пренос стила из структура заснованих на узору;
- Модификација степена стила;
- Пренос стила боја на основу примера.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
