Как сгенерировать анимацию морфинга изображения с помощью ControlNet
Из-за предыдущего эксперимента проводитьd, у нас возникла идея использовать ControlNet для морфинга. Только потом мы перешли на использование модели depth2img, которая может создавать изображение из карты глубины, а не из ControlNet. И ControlNet может функционировать не только в глубине. Это сообщение имеет больше информации о технике.
Я дам вам краткое изложение процедуры. Опция силы шумоподавления, влияющая на количество шагов при генерации, доступна нам, если мы сгенерируем изображение в img2img. Например, при шагах = 30 и силе шумоподавления = 0.5 для создания останется только 15 шагов. Это рассуждение можно применить к анимации преобразования. Вы можете трансформировать любое изображение; можно делать не только портреты.
Возьмите исходное изображение. Активируйте ControlNet, оставив поле изображения пустым. Выберите начальное число равным -1, чтобы сгенерировать случайные тесты; количество партий влияет на их количество. Вы можете поэкспериментировать с параметрами навигации, весом полученной карты и режимом ControlNet. Если вам нравится генерация, перетащите ее мышкой на img2img и затем повторите процесс, ища изображение, которым в итоге станет второе изображение. Когда каждое изображение завершено, возникает вопрос о том, как создать анимацию. (Для начала не забудьте установить количество пакетов равным 1, чтобы не создавать лишних фотографий.)
Мы воспользуемся интересным решением прямо сейчас, но о его недостатках я расскажу позже.
Будет использоваться график XYZ; вы должны выбрать его из списка сценариев. Это позволит нам создать не только финальное изображение, но и переход от исходного изображения.
Значения X мы помещаем в строку, которая гласит:
0.0.296.0.39.0.459.0.515.0.563.0.606.0.644.0.68.0.713.0.743.0.772.0.799.0.825.0.85.0.874.0.897.0.919.0.94.0.961.
Это означает, что когда начнется генерация, мы получим 21 картинку вместо одной (количество значений, разделенных запятыми). Почему там эта строка? Например, он может выглядеть по-разному.
Этот формат упрощает понимание: вы запрашиваете 20 изображений у автоматизированного и просите его продемонстрировать, как шумоподавление повлияет на результат для значений в диапазоне от 0 до 1. Недостаток второго варианта заключается в том, что он приводит к линейному изменению значений. , из-за характеристик шумоподавления это не кажется реалистичным преобразованием. Околонулевые числа почти не влияют на результат. а при уровнях больше 0.5, начинает очень заметно влиять.
В результате первая линия представляет собой кривую типа х,4 или х, увеличенный на 0.4. На изображении противопоставлены прямая линейная функция и криволинейная функция, обеспечивающая более точный вывод. Вы можете использовать блендер для создания такой строки.
Вы должны выбрать количество кадров для перехода перед созданием линии. Редактируется в настройках проекта.
Вы должны выполнить несколько шагов, чтобы получить строку. Во-первых, поэкспериментируйте с формой кривой. Для этого выберите «Удалить ключевые кадры» в контекстном меню параметра анимации.
Вот формула получения кривой; параметр стал синим, указывая на то, что в нем работает драйвер.
Здесь можно поиграться со значением. 4. Но не опускайтесь слишком низко. frame/21 обозначает сдвиг значения от 0 до 1 в кадре 0 и кадре 21. Остаются только значения между кадрами 1 и 20.
Тем не менее, ключи не являются драйвером. Их нужно предварительно подготовить. Для этого нажмите «Объект» > «Анимация» > «Выпечка» в 3D-окне, а затем нажмите «ОК».
Однако это повлияет на все возможные ключи объекта, и их следует удалить. Выделите все, кроме первой строки, и нажмите X на клавиатуре (мышь должна располагаться под списком).
А теперь, чтобы получить строку в левой части экрана, нажмите на play и откройте окно консоли.
Получил строку, которую можно скопировать.
Теперь, чтобы сделать анимацию, вам нужно сделать этот процесс отдельно для каждой позиции изображения, которая была сделана в начале, а затем собрать ее в анимацию в каком-либо видеоредакторе.
Да, процесс пока не автоматизирован, но вы можете полностью все настроить под себя. Вы можете изменить модель генерации, а также модель и режим ControlNet, включить или отключить предварительную обработку или что-то еще, что вам нравится. Главное не потерять хорошие результаты и затем повторить все правильно для создания анимации.
Недостатки технологии — не стоит закладывать много фундамента для перехода. Выше мы писали, что denoise влияет на количество шагов. Может оказаться, что на выходе будут дублироваться картинки, так как несколько значений шумоподавления будут находиться в пределах одного и того же количества шагов. Их количество можно наблюдать в автоматической консоли.
Эту технологию можно использовать в связке с интерполяторами-ретардерами, то есть посылая анимацию на завершение недостающих кадров; это даст более плавные изменения.
Читайте больше статей по теме:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
