Gen-1: AI генерира нови видеоклипове от съществуващи чрез комбиниране на подкани и изображения
Накратко
Gen-1 е невронна мрежа, която може да генерира нови видеоклипове от съществуващи чрез комбиниране подкани и изображения.
Може да се използва и за създаване на изцяло нови видеоклипове от нулата.
Възможността за генериране на нови видеоклипове от съществуващи има редица потенциални приложения.
RunWayML, стартираща компания с изкуствен интелект, обяви нов продукт, наречен Gen-1, невронна мрежа, която може да генерира нови видеоклипове от съществуващи, като комбинира подкани и изображения. Години наред невронните мрежи са ограничени до задачата за прехвърляне на стилове, което е процес на заснемане на изображение и прилагане на стила на друго изображение към него. Ето как получаваме тези трипови видеоклипове за прехвърляне в стил на задълбочено обучение, където например пейзаж е изобразен в стила на Звездна нощ на Ван Гог.
Сега, с Gen-1, невронните мрежи могат да направят повече от просто прехвърляне на стилове. Той може да генерира нови видеоклипове от нулата, като използва подкани и изображения като вход. Това отваря цяла нова гама от възможности за Видеоклипове, създадени от AI. В момента видеоклиповете, генерирани от Gen-1, са кратки и прости. Но с развитието на технологията можем да очакваме да видим по-сложни и реалистични видеоклипове, генерирани от AI.
| Препоръчителна публикация: Репродуктивното здраве на мъжете се подобрява чрез гледане на видеоклипове за възрастни във виртуална реалност |
Какво е Gen-1?
Мощните инструменти за създаване и редактиране на картини се отключват чрез текстово насочване модели на генеративна дифузия. Въпреки че те са били приложени към създаването на видеоклипове, настоящите методи за редактиране на съдържанието на вече съществуващ материал, като същевременно се поддържа неговата структура, изискват скъпо преобучение за всеки вход или зависят от рисковото разпространение на промени в картината между кадрите.
Разработчиците описват модел за видео дифузия, ръководена от структурата и съдържанието, която променя филмите въз основа на писмени или визуални описания на желания резултат. Поради недостатъчно отделяне възникват конфликти между предоставените от потребителя модификации на съдържанието и структурните представяния. Те демонстрират, че структурата и целостта на съдържанието могат да бъдат контролирани чрез обучение за оценки на монокулярна дълбочина с различни нива на детайлност.
Синтезирайте нови видеоклипове по реалистичен и последователен начин, като приложите композицията и стила на изображение или текстова подкана към структурата на вашето изходно видео. Това е като да снимаш нещо ново, без всъщност да снимаш нищо.
Прехвърлянето на стила на изображение или подкана към всеки кадър от видеоклип може да бъде чудесен начин да обедините проекта си, да му придадете всеобхватна визуална тема и да създадете последователност.
Чрез използването на софтуер и креативен дизайн, макетите могат да бъдат трансформирани в естетически приятни и интерактивни визуализации, които вдъхват живот на визията на потребителя.
С функциите за редактиране на видео е лесно да изолирате части от видеоклип и да ги подобрите с текстови подкани.
Прилагане на входно изображение или бърз към нетекстурирани визуализации могат значително да подобрят техния реализъм, вдъхвайки живот на 3D моделите.
Runway Research е посветен на изграждането на мултимодални AI системи, които позволяват нови форми на творчество. Gen-1 представлява още една от основните ни стъпки напред в тази мисия. Ако сте креативен човек, който иска да експериментира с бъдещето на разказването на истории, поискайте достъп по-долу.
Gen-1 може да се използва и за създаване на изцяло нови видеоклипове от нулата. Може да се използва за редица цели, включително създаване на нови версии на съществуващи филми или създаване на нови филми като цяло. Тази новина със сигурност ще развълнува режисьори и други творци, които винаги търсят нови начини да разширят границите на своето изкуство. С Gen-1 те вече имат нов мощен инструмент на свое разположение.
Способността да генериране на нови видеоклипове от съществуващите има редица потенциални приложения. Например, може да се използва за създаване на нови версии на съществуващо видео съдържание, така че може да се използва за създаване на алтернативни версии на сцени или кадри, които може да са твърде скъпи или логистично трудни за заснемане.
Можете да кандидатствате за използване на модела, докато е в бета тестване тук.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
