Jak wygenerować animację morfingu obrazu za pomocą ControlNet
Ze względu na wcześniejszy eksperyment prowadzićd, wpadliśmy na pomysł wykorzystania ControlNet do morfingu. Dopiero wtedy przestawiliśmy się na korzystanie z modelu deep2img, który może tworzyć obraz z mapy głębi, a nie z sieci ControlNet. A ControlNet może funkcjonować nie tylko dogłębnie. Ten post ma więcej informacji o technice.
Dam ci szybki przegląd procedury. Opcja siły odszumiania, która wpływa na liczbę kroków podczas generowania, jest dla nas dostępna, jeśli wygenerujemy obraz w img2img. Na przykład przy liczbie kroków = 30 i sile odszumiania = 0.5 do utworzenia pozostało tylko 15 kroków. To rozumowanie można zastosować do animowania przemiany. Możesz przekształcić dowolny obraz; portrety nie są jedynymi, które można zrobić.
Zrób oryginalne zdjęcie. Aktywuj ControlNet, pozostawiając pole graficzne puste. Wybierz ziarno na -1, aby wygenerować losowe testy; liczba partii wpływa na ich ilość. Możesz eksperymentować z parametrami naprowadzania, wagą otrzymanej karty i trybem ControlNet. Jeśli podoba ci się generacja, przeciągnij ją myszką do img2img, a następnie powtórz proces, szukając obrazu, którym ostatecznie stanie się drugi obraz. Po ukończeniu każdego obrazu pojawia się pytanie, jak stworzyć animację. (Na początek pamiętaj, aby ustawić liczbę partii na 1, aby uniknąć tworzenia dodatkowych zdjęć.)
Od razu zastosujemy intrygujące rozwiązanie, ale o jego wadach opowiem później.
Zostanie użyty wykres XYZ; musisz wybrać go z listy Skrypt. Umożliwi nam to stworzenie nie tylko ostatecznego obrazu, ale także przejścia z obrazu źródłowego.
Wartości X wstawiamy w wierszu o treści:
0.0.296.0.39.0.459.0.515.0.563.0.606.0.644.0.68.0.713.0.743.0.772.0.799.0.825.0.85.0.874.0.897.0.919.0.94.0.961.
Oznacza to, że gdy rozpocznie się generowanie, otrzymamy 21 zdjęć zamiast jednego (liczba wartości oddzielonych przecinkami). Dlaczego jest tam ta linia? Na przykład może wyglądać inaczej.
Ten format ułatwia zrozumienie: żądasz 20 obrazów od automatu i prosisz go o zademonstrowanie, w jaki sposób odszumienie wpłynie na wynik dla wartości z zakresu od 0 do 1. Wadą drugiej opcji jest to, że powoduje ona liniową zmianę wartości , ze względu na charakterystykę denoise, nie wydaje się to być realistycznym morfingiem. Liczby bliskie zeru prawie nie mają wpływu na wynik. a przy poziomach większych niż 0.5, zaczyna wpływać bardzo zauważalnie.
W rezultacie pierwsza linia jest krzywą typu x.4, czyli x podniesiona o 0.4. Na obrazie skontrastowane są prosta, liniowa funkcja i zakrzywiona, która zapewni dokładniejszy wynik. Do stworzenia takiego sznurka możesz użyć blendera.
Musisz wybrać liczbę klatek przejścia przed utworzeniem linii. Można go edytować w ustawieniach projektu.
Aby uzyskać linię, musisz wykonać wiele czynności. Najpierw poeksperymentuj z kształtem krzywej. Aby to osiągnąć, wybierz „Usuń klatki kluczowe” z menu kontekstowego parametru animacji.
Oto wzór na uzyskanie krzywej; parametr zmienił kolor na niebieski, wskazując, że sterownik w nim działa.
Tutaj możesz pokombinować z wartością. 4. Ale unikaj schodzenia zbyt nisko. frame/21 oznacza przesunięcie wartości od 0 do 1 w klatce od 0 do klatki 21. Pozostały tylko wartości między 1 a 20 ramkami.
Niemniej jednak kluczyki nie są kierowcą. Trzeba je najpierw przygotować. Aby to osiągnąć, kliknij Obiekt > Animacja > Bake Action w oknie 3D, a następnie kliknij OK.
Wpłynie to jednak na wszystkie możliwe klucze obiektu i należy je usunąć. Zaznacz wszystko poza pierwszą linią i naciśnij X na klawiaturze (mysz powinna znajdować się pod listą).
A teraz, aby uzyskać linię po lewej stronie ekranu, kliknij odtwarzanie i otwórz okno konsoli.
Mam ciąg znaków, który można skopiować.
Teraz, aby wykonać animację, musisz wykonać ten proces osobno dla każdej pozycji obrazu, która została utworzona na początku, a następnie złożyć ją w animację w jakimś edytorze wideo.
Tak, proces nie jest jeszcze zautomatyzowany, ale możesz w pełni dostosować wszystko dla siebie. Możesz zmienić model generowania oraz model i tryb ControlNet, włączyć lub wyłączyć przetwarzanie wstępne lub cokolwiek innego. Najważniejsze, aby nie stracić dobrych wyników, a następnie powtórzyć wszystko poprawnie, aby stworzyć animację.
Wady technologii — nie należy kłaść wielu podstaw pod przejście. Powyżej pisaliśmy, że odszumianie wpływa na liczbę kroków. Może się okazać, że wynik powieli obrazy, ponieważ kilka wartości odszumu będzie mieściło się w tej samej liczbie kroków. Ich liczbę można zaobserwować w automatycznej konsoli.
Technologię tę można wykorzystać w połączeniu z retarderami interpolatorowymi, czyli wysyłaniem animacji w celu uzupełnienia brakujących klatek; zapewni to płynniejsze zmiany.
Przeczytaj więcej powiązanych artykułów:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
Więcej artykułów
Damir jest liderem zespołu, menedżerem produktu i redaktorem w Metaverse Post, obejmujący takie tematy, jak AI/ML, AGI, LLM, Metaverse i Web3-pokrewne pola. Jego artykuły przyciągają każdego miesiąca ogromną publiczność, liczącą ponad milion użytkowników. Wydaje się być ekspertem z 10-letnim doświadczeniem w SEO i marketingu cyfrowym. Damir został wspomniany w Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i inne publikacje. Jako cyfrowy koczownik podróżuje między ZEA, Turcją, Rosją i WNP. Damir uzyskał tytuł licencjata z fizyki, co jego zdaniem dało mu umiejętności krytycznego myślenia potrzebne do odniesienia sukcesu w ciągle zmieniającym się środowisku internetowym.
