Kaip sugeneruoti vaizdo keitimo animaciją naudojant ControlNet
Dėl ankstesnio eksperimento diriguotid, turėjome mintį naudoti „ControlNet“ morfavimui. Tik tada pradėjome naudoti deep2img modelį, kuris gali sukurti vaizdą iš gylio žemėlapio, o ne „ControlNet“. Ir „ControlNet“ gali veikti ne tik giliai. Ši žinutė turi daugiau informacijos apie techniką.
Greitai aprašysiu procedūrą. Triukšmo mažinimo stiprumo parinktis, kuri turi įtakos žingsnių skaičiui generuojant, yra prieinama, jei sugeneruojame vaizdą img2img. Pavyzdžiui, kai žingsnių skaičius = 30 ir triukšmo slopinimo stiprumas = 0.5, sukurti liks tik 15 žingsnių. Šis samprotavimas gali būti pritaikytas morfo animacijai. Galite pakeisti bet kokį vaizdą; portretus galima daryti ne tik.
Paimkite originalią nuotrauką. Suaktyvinkite ControlNet palikdami paveikslėlio laukelį tuščią. Pasirinkite sėklą kaip -1, kad generuotumėte atsitiktinius testus; partijų skaičius turi įtakos jų kiekiui. Galite eksperimentuoti su valdymo parametrais, gautos kortelės svoriu ir ControlNet režimu. Jei jums patinka generavimas, vilkite jį pele į img2img ir pakartokite procesą, ieškodami vaizdo, kuriuo galiausiai taps antrasis vaizdas. Kiekvienam vaizdui užbaigus, iškyla klausimas, kaip sukurti animaciją. (Pradžioje nepamirškite nustatyti partijų skaičiaus 1, kad nekurtumėte papildomų nuotraukų.)
Šiuo metu panaudosime intriguojantį sprendimą, bet apie jo trūkumus pakalbėsiu vėliau.
Bus naudojamas XYZ sklypas; turite pasirinkti jį iš scenarijaus sąrašo. Tai leis mums sukurti ne tik galutinį vaizdą, bet ir perėjimą nuo šaltinio vaizdo.
X reikšmes įdedame į eilutę, kuri skamba:
0.0.296.0.39.0.459.0.515.0.563.0.606.0.644.0.68.0.713.0.743.0.772.0.799.0.825.0.85.0.874.0.897.0.919.0.94.0.961.
Tai reiškia, kad prasidėjus generavimui gausime 21 paveikslėlį, o ne vieną (reikšmių skaičius atskirtas kableliais). Kodėl ten yra ši linija? Pavyzdžiui, jis gali pasirodyti kitaip.
Šis formatas palengvina supratimą: paprašote 20 vaizdų iš automatizuoto ir paprašote parodyti, kaip triukšmo slopinimas paveiks rezultatus, kai reikšmės svyruoja nuo 0 iki 1. Antrosios parinkties trūkumas yra tas, kad dėl to reikšmių pokytis yra tiesinis. , dėl triukšmo ypatybių jis neatrodo tikroviškas. Beveik nuliniai skaičiai rezultatui beveik neturi įtakos. ir esant didesniam nei 0.5 lygiui, jis pradeda labai pastebimai paveikti.
Dėl to pirmoji eilutė yra x.4 tipo kreivė, arba x, padidinta 0.4. Tiesi, linijinė ir lenkta funkcija, kuri leis gauti tikslesnę išvestį, vaizde kontrastuoja. Norėdami sukurti tokią eilutę, galite naudoti maišytuvą.
Prieš kurdami eilutę turite pasirinkti perėjimo kadrų skaičių. Jį galima redaguoti projekto nustatymuose.
Norėdami gauti eilutę, turite atlikti kelis veiksmus. Pirma, eksperimentuokite su kreivės forma. Norėdami tai padaryti, animacijos parametro kontekstiniame meniu pasirinkite „Ištrinti pagrindinius kadrus“.
Čia yra kreivės gavimo formulė; parametras tapo mėlynas, o tai rodo, kad vairuotojas jame veikia.
Čia galite susimąstyti apie vertę. 4. Tačiau venkite nusileisti per žemai. frame/21 reiškia reikšmės poslinkį nuo 0 iki 1, kai kadras 0, į 21 kadrą. Liko tik reikšmės nuo 1 iki 20 kadrų.
Nepaisant to, raktai nėra vairuotojas. Pirmiausia jie turi būti paruošti. Norėdami tai padaryti, 3D lange spustelėkite Objektas > Animacija > Bake Action, tada spustelėkite Gerai.
Tačiau tai turės įtakos visiems galimiems objekto raktams, todėl juos reikia ištrinti. Pasirinkite viską, išskyrus pirmąją eilutę, ir klaviatūroje paspauskite X (pelė turi būti po sąrašu).
O dabar, norėdami gauti eilutę kairėje ekrano pusėje, spustelėkite žaisti ir atidarykite konsolės langą.
Turiu eilutę, kurią galima nukopijuoti.
Dabar, norėdami sukurti animaciją, turite atlikti šį procesą atskirai kiekvienai nuotraukos vietai, kuri buvo sukurta pradžioje, o tada surinkti ją į animaciją tam tikrame vaizdo įrašų rengyklėje.
Taip, procesas dar nėra automatizuotas, tačiau viską galite visiškai pritaikyti sau. Galite pakeisti kartos modelį ir „ControlNet“ modelį bei režimą, įjungti arba išjungti išankstinį apdorojimą arba bet ką kitą, kas jums patinka. Svarbiausia neprarasti gerų rezultatų ir tada viską teisingai pakartoti, kad sukurtumėte animaciją.
Technologijos trūkumai – perėjimui nereikėtų dėti daug pagrindų. Aukščiau rašėme, kad triukšmas turi įtakos žingsnių skaičiui. Gali pasirodyti, kad išvestis dubliuoja nuotraukas, nes kelios triukšmo reikšmės bus vienodo žingsnių skaičiaus ribose. Jų skaičių galima stebėti automatinėje konsolėje.
Šią technologiją galima naudoti kartu su interpoliatoriaus lėtikliais, tai yra siunčiant animaciją, kad užbaigtų trūkstamus kadrus; tai suteiks sklandesnių pokyčių.
Skaitykite daugiau susijusių straipsnių:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
