Ziņojums Tehnoloģija
Septembris 19, 2023

Google ievieš novatorisku ģeneratīvo attēlu dinamiku, kas imitē dinamiskas ainas statiskos attēlos

Google ir atklājis a Ģeneratīvā attēla dinamika, jauna pieeja ļauj pārveidot a vienu statisku attēlu viengabalainā cilpas videoklipā vai interaktīva dinamiska aina, kas piedāvā plašu praktisku pielietojumu klāstu.

Google ievieš novatorisku ģeneratīvo attēlu dinamiku, kas imitē dinamiskas ainas statiskos attēlos

Šīs novatoriskās tehnoloģijas pamatā ir attēla telpas modelēšana pirms skatuves dinamikas. Mērķis ir radīt visaptverošu izpratni par to, kā objekti un elementi attēlā var uzvesties, ja tie tiek pakļauti dažādām dinamiskām mijiedarbībām. Pēc tam šo izpratni var izmantot, lai efektīvi modelētu objekta dinamikas reakciju uz lietotāja mijiedarbību.

Šīs tehnoloģijas galvenā iezīme ir iespēja ģenerēt nepārtrauktus cilpas videoklipus. Izmantojot attēla telpu pirms sižeta dinamikas, Google sistēma var ekstrapolēt un paplašināt attēla elementu kustību, pārveidojot to par aizraujošu un nepārtrauktu video ciklu. Šī funkcionalitāte satura veidotājiem un dizaineriem paver daudzas radošas iespējas.

Rakstā ir aprakstīta pieeja attēla telpas iepriekš modelēšanai, pamatojoties uz ainas dinamiku, kas iegūta no kustību trajektoriju kolekcijas, kas iegūta no reālām video sekvencēm, kas satur dabisku, svārstību kustību, piemēram, koki, ziedi, sveces un drēbes, kas pūš vējā. . Apmācītais modelis izmanto frekvences koordinētu difūzijas paraugu ņemšanas procesu, lai prognozētu ilgtermiņa kustības attēlojumu uz vienu pikseļu Furjē domēnā, ko viņi sauc par neironu stohastisko kustību tekstūru. Šo attēlojumu var pārvērst blīvās kustības trajektorijās, kas aptver visu videoklipu.

Šī tehnoloģija ļauj lietotājiem reālistiski mijiedarboties ar objektiem statiskos attēlos. Simulējot objekta dinamikas reakciju uz lietotāja ierosmi, Google sistēma ļauj ieskaujoša un interaktīva pieredze attēlu ietvaros. Tam ir revolūcijas potenciāls metaversu telpas un kā lietotāji mijiedarbojas ar vizuālo saturu.

Pētījums pēta ģeneratīvā priora modelēšanu attēla un telpas ainas kustībai, ti, visu pikseļu kustībai vienā attēlā. Modelis ir apmācīts automātiski iegūt kustības trajektorijas no lielas reālu video secību kolekcijas. Pamatojoties uz ievades attēlu, apmācītais modelis paredz neironu stohastisko kustības faktūru: kustības bāzes koeficientu kopu, kas raksturo katra pikseļa trajektoriju nākotnē.

Šīs inovācijas pamatā ir rūpīgi apmācīts modelis. Google modelis mācās no plašās kustības trajektoriju datu kopas, kas iegūtas no reālām video sekvencēm, kurās ir dabiska, svārstīga kustība. Šajās secībās ir iekļautas ainas ar tādiem elementiem kā koku šūpošana, puķu kustība, sveču mirgošana un drēbes, kas plīvo vējā. Šī daudzveidīgā datu kopa ļauj modelim izprast plašu dinamisko uzvedību klāstu.

Pētījuma apjoms aprobežojas ar reālās pasaules ainām ar dabisku, svārstīgu dinamiku, piemēram, kokiem un ziediem, kas kustas vējā. Par pamatfunkcijām tiek izvēlēta Furjē sērija. Iegūtās frekvenču telpas faktūras pēc tam var pārveidot par blīvām, liela attāluma pikseļu kustības trajektorijām, kuras var izmantot, lai sintezētu nākotnes kadrus, pārvēršot nekustīgos attēlus reālistiskās animācijās.

Kad uzrāda a viens attēls, apmācītajā modelī tiek izmantots frekvences koordinēts difūzijas paraugu ņemšanas process. Šis process paredz ilgtermiņa kustības attēlojumu uz vienu pikseļu Furjē domēnā, ko sauc par neironu stohastisko kustību tekstūru. Pēc tam šis attēlojums tiek pārveidots par blīvām kustības trajektorijām, kas aptver visu videoklipu. Apvienojumā ar uz attēlu balstītu renderēšanas moduli šīs trajektorijas var izmantot dažādiem praktiskiem lietojumiem.

Salīdzinot ar prioritātēm, salīdzinot ar neapstrādātiem RGB pikseļiem, prioritārie pāri kustībām uztver fundamentālāku, zemāku dimensiju mazdimensiju struktūru, kas efektīvi izskaidro pikseļu vērtību izmaiņas. Tas nodrošina saskaņotāku ilgtermiņa ģenerēšanu un precīzāku kontroli pār animācijām, salīdzinot ar iepriekšējām metodēm, kas veic attēlu animācija izmantojot neapstrādātu video sintēzi.

Ģenerētais kustības attēlojums ir ērts vairākām pakārtotām lietojumprogrammām, piemēram, nevainojamu cilpas videoklipu izveidei, ģenerētās kustības rediģēšanai un interaktīvu iespējošanai. dinamiski attēli, simulējot objekta dinamikas reakciju uz lietotāja pielietotajiem spēkiem.

Lasiet vairāk saistītās tēmas:

Atbildības noraidīšana

Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.

Par Autors

Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē. 

Vairāk rakstus
Damirs Jalalovs
Damirs Jalalovs

Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē. 

Hot Stories
Pievienojieties mūsu informatīvajam izdevumam.
Jaunākās ziņas

Binance sadarbojas ar Argentīnu, lai apkarotu kibernoziegumus

by Žauhazins Šadens
13. gada 2024. maijs

No Ripple līdz Big Green DAO: kā kriptovalūtas projekti veicina labdarību

Izpētīsim iniciatīvas, kas izmanto digitālo valūtu potenciālu labdarības mērķiem.

Uzziniet vairāk

AlphaFold 3, Med-Gemini un citi: veids, kā AI pārveido veselības aprūpi 2024. gadā

AI izpaužas dažādos veidos veselības aprūpē, sākot no jaunu ģenētisku korelāciju atklāšanas līdz robotu ķirurģisko sistēmu pilnvarošanai ...

Uzziniet vairāk
Pievienojieties mūsu novatoriskajai tehnoloģiju kopienai
Lasīt vairāk
Vairāk
No Ripple līdz Big Green DAO: kā kriptovalūtas projekti veicina labdarību
Analīze Kriptogrāfijas Wiki bizness izglītība Dzīvesveids Markets programmatūra Tehnoloģija
No Ripple līdz Big Green DAO: kā kriptovalūtas projekti veicina labdarību
13. gada 2024. maijs
AlphaFold 3, Med-Gemini un citi: veids, kā AI pārveido veselības aprūpi 2024. gadā
AI Wiki Analīze Sagremot Domas bizness Markets Ziņojums programmatūra Stāsti un atsauksmes Tehnoloģija
AlphaFold 3, Med-Gemini un citi: veids, kā AI pārveido veselības aprūpi 2024. gadā
13. gada 2024. maijs
Nim tīkls ieviesīs AI īpašumtiesību marķieru sistēmu un veiks ienesīguma izpārdošanu ar momentuzņēmuma datumu, kas paredzēts maijā
Markets Ziņojums Tehnoloģija
Nim tīkls ieviesīs AI īpašumtiesību marķieru sistēmu un veiks ienesīguma izpārdošanu ar momentuzņēmuma datumu, kas paredzēts maijā
13. gada 2024. maijs
Binance sadarbojas ar Argentīnu, lai apkarotu kibernoziegumus
Domas bizness Markets Ziņojums programmatūra Tehnoloģija
Binance sadarbojas ar Argentīnu, lai apkarotu kibernoziegumus
13. gada 2024. maijs
CRYPTOMERIA LABS PTE. LTD.