Naujienų ataskaita Technologija
Rugsėjis 19, 2023

„Google“ pristato novatorišką generuojamą vaizdo dinamiką, kuri imituoja dinamines scenas statiniuose vaizduose

Google pristatė a Generacinė vaizdo dinamika, naujas požiūris įgalina transformuoti a vieną statinį vaizdą į vientisą vaizdo įrašą arba interaktyvi dinamiška scena, siūlanti platų praktinių pritaikymų spektrą.

„Google“ pristato novatorišką generuojamą vaizdo dinamiką, kuri imituoja dinamines scenas statiniuose vaizduose

Šios novatoriškos technologijos pagrindas yra vaizdo erdvės modeliavimas prieš scenos dinamiką. Tikslas yra sukurti visapusišką supratimą apie tai, kaip vaizde esantys objektai ir elementai gali elgtis, kai juos veikia įvairios dinaminės sąveikos. Šis supratimas gali būti panaudotas norint efektyviai modeliuoti objekto dinamikos reakciją į vartotojo sąveiką.

Pagrindinis šios technologijos bruožas yra galimybė kurti vientisus vaizdo įrašus. Išnaudodama vaizdo erdvę prieš scenos dinamiką, „Google“ sistema gali ekstrapoliuoti ir išplėsti elementų judėjimą vaizde, paversdama jį patrauklia ir nenutrūkstama vaizdo įrašo kilpa. Ši funkcija atveria daugybę kūrybinių galimybių turinio kūrėjams ir dizaineriams.

Straipsnyje pristatomas vaizdas-erdvės modeliavimo metodas, pagrįstas scenos dinamika, kuri išmokta iš judesių trajektorijų, išgautų iš tikrų vaizdo sekų, kuriose yra natūralus, svyruojantis judesys, pavyzdžiui, medžiai, gėlės, žvakės ir vėjo pučiantys drabužiai, rinkinio. . Apmokytas modelis naudoja dažnio koordinuotą difuzijos mėginių ėmimo procesą, kad būtų galima numatyti ilgalaikį judesio vaizdą per pikselį Furjė srityje, kurį jie vadina nervinio stochastinio judesio tekstūra. Šį vaizdą galima konvertuoti į tankias judesio trajektorijas, apimančias visą vaizdo įrašą.

Ši technologija leidžia vartotojams realiai sąveikauti su objektais statiniuose vaizduose. Imituojant objekto dinamikos reakciją į vartotojo sužadinimą, „Google“ sistema leidžia įtraukiančios ir interaktyvios patirties vaizdų viduje. Tai gali sukelti revoliuciją metaversines erdves ir kaip vartotojai sąveikauja su vaizdiniu turiniu.

Tyrime nagrinėjamas vaizdo erdvės scenos judėjimo generatyvinio prioro modeliavimas, ty visų vieno vaizdo pikselių judėjimas. Modelis mokomas pagal automatiškai išgaunamas judesio trajektorijas iš didelės realių vaizdo sekų kolekcijos. Apmokytas modelis, sudarytas iš įvesties vaizdo, numato nervinio stochastinės judesio tekstūrą: judėjimo pagrindo koeficientų rinkinį, apibūdinantį kiekvieno pikselio trajektoriją į ateitį.

Šios naujovės pagrindas yra kruopščiai paruoštas modelis. „Google“ modelis mokosi iš didžiulio judėjimo trajektorijų duomenų rinkinio, gauto iš tikrų vaizdo įrašų sekų, kuriose yra natūralus, svyruojantis judesys. Šiose sekose yra scenų su tokiais elementais kaip siūbuojantys medžiai, judančios gėlės, mirgančios žvakės ir vėjyje pučiantys drabužiai. Šis įvairus duomenų rinkinys leidžia modeliui suprasti platų dinaminio elgesio spektrą.

Tyrimo apimtis apsiriboja realaus pasaulio scenomis su natūralia, svyruojančia dinamika, pavyzdžiui, medžiais ir gėlėmis, judančiomis vėjyje. Furjė serija pasirenkama kaip pagrindinės funkcijos. Gautos dažnių erdvės tekstūros gali būti transformuojamos į tankias, ilgo nuotolio pikselių judėjimo trajektorijas, kurias galima panaudoti būsimiems kadrams sintezuoti, nejudančius vaizdus paverčiant tikroviškomis animacijomis.

Pateikus a vienas vaizdas, apmokytas modelis naudoja dažnio koordinuotą difuzijos mėginių ėmimo procesą. Šis procesas numato ilgalaikį vieno pikselio judesio atvaizdavimą Furjė srityje, vadinamą nervinio stochastinio judesio tekstūra. Tada šis vaizdas paverčiamas tankiomis judesio trajektorijomis, apimančiomis visą vaizdo įrašą. Kartu su vaizdu pagrįstu atvaizdavimo moduliu šios trajektorijos gali būti pritaikytos įvairiems praktiniams pritaikymams.

Palyginti su pirminiais, palyginti su neapdorotais RGB pikseliais, pirmenybė prieš judesį fiksuoja fundamentalesnę, žemesnio matmens mažo matmens struktūrą, kuri efektyviai paaiškina pikselių verčių pokyčius. Tai leidžia sukurti nuoseklesnę ilgalaikę animaciją ir tiksliau valdyti animacijas, palyginti su ankstesniais metodais, vaizdo animacija per neapdorotą vaizdo sintezę.

Sugeneruotas judesio atvaizdavimas yra patogus daugeliui paskesnių programų, pvz., kurti vientisus vaizdo įrašus, redaguoti sukurtą judesį ir įgalinti interaktyvų dinamiški vaizdai, imituojant objekto dinamikos reakciją į vartotojo taikomas jėgas.

Skaityti daugiau susijusių temų:

Atsakomybės neigimas

Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.

Apie autorių

Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže. 

Daugiau straipsnių
Damiras Jalalovas
Damiras Jalalovas

Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže. 

Hot Stories
Prisijunkite prie mūsų naujienlaiškio.
Paskutinės naujienos

Nuo Ripple iki Big Green DAO: kaip kriptovaliutų projektai prisideda prie labdaros

Išnagrinėkime iniciatyvas, kurios panaudoja skaitmeninių valiutų potencialą labdaros tikslais.

Žinoti daugiau

„AlphaFold 3“, „Med-Gemini“ ir kiti: „The Way AI Transforms Healthcare 2024“

DI pasireiškia įvairiais būdais sveikatos priežiūros srityje: nuo naujų genetinių koreliacijų atskleidimo iki robotų chirurginių sistemų įgalinimo...

Žinoti daugiau
Prisijunkite prie mūsų naujoviškų technologijų bendruomenės
Skaityti daugiau
Skaityti daugiau
Nuo Ripple iki Big Green DAO: kaip kriptovaliutų projektai prisideda prie labdaros
Analizė Kripto Wiki Atsakingas verslas Išsilavinimas Gyvenimo būdas rinkos programinė įranga Technologija
Nuo Ripple iki Big Green DAO: kaip kriptovaliutų projektai prisideda prie labdaros
Gali 13, 2024
„AlphaFold 3“, „Med-Gemini“ ir kiti: „The Way AI Transforms Healthcare 2024“
AI Wiki Analizė Virškinimas Nuomonė Atsakingas verslas rinkos Naujienų ataskaita programinė įranga Istorijos ir apžvalgos Technologija
„AlphaFold 3“, „Med-Gemini“ ir kiti: „The Way AI Transforms Healthcare 2024“
Gali 13, 2024
„Nim“ tinklas įdiegs dirbtinio intelekto nuosavybės teisių ženklinimo sistemą ir vykdys pajamingumo pardavimą su momentine data, numatyta gegužės mėn.
rinkos Naujienų ataskaita Technologija
„Nim“ tinklas įdiegs dirbtinio intelekto nuosavybės teisių ženklinimo sistemą ir vykdys pajamingumo pardavimą su momentine data, numatyta gegužės mėn.
Gali 13, 2024
„Binance“ bendradarbiauja su Argentina kovojant su elektroniniais nusikaltimais
Nuomonė Atsakingas verslas rinkos Naujienų ataskaita programinė įranga Technologija
„Binance“ bendradarbiauja su Argentina kovojant su elektroniniais nusikaltimais
Gali 13, 2024
CRYPTOMERIA LABS PTE. LTD.