Rujna 19, 2023

Google predstavlja inovativnu generativnu dinamiku slike koja simulira dinamične scene u statičnim slikama

Objavljeno: 19. rujna 2023. u 4:21 Ažurirano: 19. rujna 2023. u 9:02

Uređeno i provjereno: 19. rujna 2023. u 4:21

Google je predstavio a Generativna dinamika slike, novi pristup omogućuje transformaciju a jednu statičnu sliku u bešavni video koji se ponavlja ili interaktivna dinamična scena koja nudi široku lepezu praktičnih primjena.

Google predstavlja inovativnu generativnu dinamiku slike koja simulira dinamične scene u statičnim slikama

Srž ove pionirske tehnologije je modeliranje prostora slike prije dinamike scene. Cilj je stvoriti sveobuhvatno razumijevanje kako se objekti i elementi unutar slike mogu ponašati kada su podvrgnuti različitim dinamičkim interakcijama. Ovo se razumijevanje zatim može koristiti za učinkovitu simulaciju reakcije dinamike objekta na interakcije korisnika.

Ključna značajka ove tehnologije je mogućnost generiranja videozapisa bez prekida. Iskorištavanjem prostora slike prije dinamike scene, Googleov sustav može ekstrapolirati i proširiti kretanje elemenata unutar slike, pretvarajući je u zadivljujuću i kontinuiranu video petlju. Ova funkcionalnost otvara brojne kreativne mogućnosti za kreatore i dizajnere sadržaja.

Rad predstavlja pristup modeliranju prethodnog prostora slike na temelju dinamike scene, koja se uči iz zbirke trajektorija kretanja izdvojenih iz stvarnih video sekvenci koje sadrže prirodno, oscilirajuće kretanje poput drveća, cvijeća, svijeća i odjeće koja puše na vjetru . Uvježbani model koristi frekvencijski koordinirani proces uzorkovanja difuzije za predviđanje dugoročne reprezentacije gibanja po pikselu u Fourierovoj domeni, koju nazivaju neuralna stohastička tekstura gibanja. Taj se prikaz može pretvoriti u putanje gustog kretanja koje obuhvaćaju cijeli video.

Tehnologija korisnicima omogućuje realističnu interakciju s objektima unutar statičnih slika. Googleov sustav omogućuje simuliranjem reakcije dinamike objekta na uzbuđenje korisnika imerzivna i interaktivna iskustva unutar slika. Ovo ima potencijal za revoluciju prostori metaverzuma i kako korisnici stupaju u interakciju s vizualnim sadržajem.

Studija istražuje modeliranje generativnog apriora za kretanje scene u prostoru slike, tj. kretanje svih piksela u jednoj slici. Model je uvježban na automatski ekstrahiranim putanjama kretanja iz velike zbirke stvarnih video sekvenci. Uvjetovan na ulaznoj slici, uvježbani model predviđa neuronsku stohastičku teksturu kretanja: skup koeficijenata osnove kretanja koji karakteriziraju putanju svakog piksela u budućnost.

Temelj ove inovacije leži u pomno uvježbanom modelu. Googleov model uči iz ogromnog skupa podataka putanja kretanja izdvojenih iz stvarnih video sekvenci koje prikazuju prirodno, oscilirajuće kretanje. Ove sekvence uključuju scene s elementima kao što su stabla koja se njišu, cvijeće koje se kreće, svijeće koje trepere i odjeća koja se vije na vjetru. Ovaj raznolik skup podataka omogućuje modelu razumijevanje širokog raspona dinamičkih ponašanja.

Opseg studije ograničen je na prizore iz stvarnog svijeta s prirodnom, oscilirajućom dinamikom, poput drveća i cvijeća koji se kreću na vjetru. Kao bazne funkcije odabran je Fourierov red. Rezultirajuće teksture frekvencijskog prostora mogu se zatim transformirati u guste putanje kretanja piksela velikog dometa, koje se mogu koristiti za sintetiziranje budućih okvira, pretvarajući fotografije u realistične animacije.

Kada se prezentira s a jedna slika, uvježbani model koristi frekvencijski koordinirani proces uzorkovanja difuzije. Ovaj proces predviđa dugoročnu reprezentaciju gibanja po pikselu u Fourierovoj domeni, koja se naziva neuralna stohastička tekstura gibanja. Taj se prikaz zatim transformira u guste putanje kretanja koje se protežu kroz cijeli video. U kombinaciji s modulom za renderiranje temeljenom na slici, te se putanje mogu iskoristiti za razne praktične primjene.

U usporedbi s prioritetima u odnosu na neobrađene RGB piksele, prioriteti u odnosu na snimanje hvataju temeljniju, nižedimenzionalnu poddimenzionalnu strukturu koja učinkovito objašnjava varijacije u vrijednostima piksela. To dovodi do koherentnijeg dugoročnog generiranja i preciznije kontrole nad animacijama u usporedbi s prethodnim metodama koje izvode slikovna animacija putem sirove video sinteze.

Prikaz generiranog pokreta prikladan je za brojne nizvodne aplikacije, kao što je stvaranje videozapisa bez prekida, uređivanje generiranog pokreta i omogućavanje interaktivnih dinamične slike, simulirajući odgovor dinamike objekta na sile koje primjenjuje korisnik.

Pročitajte još povezanih tema:

Oznake:

Izjava o odricanju od odgovornosti

U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.

O autoru

Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.

Više članaka

Damir Yalalov