Buletin de stiri Tehnologia
19 Septembrie, 2023

Google introduce dinamica generativă inovatoare a imaginilor care simulează scene dinamice în imagini statice

Google a dezvăluit un Dinamica imaginii generative, o abordare nouă permite transformarea unui o singură imagine statică într-un videoclip fără întreruperi sau o scenă dinamică interactivă, oferind o gamă largă de aplicații practice.

Google introduce dinamica generativă inovatoare a imaginilor care simulează scene dinamice în imagini statice

La baza acestei tehnologii de pionierat se află modelarea unui spațiu-imagine înainte de dinamica scenei. Obiectivul este de a crea o înțelegere cuprinzătoare a modului în care obiectele și elementele dintr-o imagine se pot comporta atunci când sunt supuse la diferite interacțiuni dinamice. Această înțelegere poate fi apoi utilizată pentru a simula răspunsul dinamicii obiectelor la interacțiunile utilizatorului în mod eficient.

Caracteristica cheie a acestei tehnologii este capacitatea de a genera videoclipuri în buclă fără întreruperi. Prin valorificarea spațiului imaginii dinaintea dinamicii scenei, sistemul Google poate extrapola și extinde mișcarea elementelor dintr-o imagine, transformând-o într-o buclă video captivantă și continuă. Această funcționalitate deschide numeroase posibilități creative pentru creatorii și designerii de conținut.

Lucrarea prezintă o abordare a modelării unui spațiu imagine anterior bazată pe dinamica scenei, care este învățată dintr-o colecție de traiectorii de mișcare extrase din secvențe video reale care conțin mișcare naturală, oscilantă, cum ar fi copaci, flori, lumânări și haine care suflă în vânt. . Modelul antrenat utilizează un proces de eșantionare a difuziei coordonate în funcție de frecvență pentru a prezice o reprezentare a mișcării pe termen lung pe pixel în domeniul Fourier, pe care o numesc o textură de mișcare stohastică neurală. Această reprezentare poate fi convertită în traiectorii de mișcare densă care acoperă un întreg videoclip.

Tehnologia permite utilizatorilor să interacționeze realist cu obiectele din imagini statice. Simulând răspunsul dinamicii obiectelor la excitația utilizatorului, sistemul Google permite acest lucru experiențe captivante și interactive în cadrul imaginilor. Acest lucru are potențialul de a revoluționa spații metaverse și modul în care utilizatorii interacționează cu conținutul vizual.

Studiul explorează modelarea unui antecedent generativ pentru mișcarea scenei imagine-spațiu, adică mișcarea tuturor pixelilor dintr-o singură imagine. Modelul este antrenat pe traiectorii de mișcare extrase automat dintr-o colecție mare de secvențe video reale. Condiționat de o imagine de intrare, modelul antrenat prezice o textură de mișcare stohastică neuronală: un set de coeficienți ai unei baze de mișcare care caracterizează traiectoria fiecărui pixel în viitor.

Fundamentul acestei inovații stă într-un model meticulos antrenat. Modelul Google învață dintr-un set vast de date de traiectorii de mișcare extrase din secvențe video reale care prezintă mișcare naturală, oscilantă. Aceste secvențe includ scene cu elemente precum copaci care se leagănă, flori care se mișcă, lumânări care pâlpâie și haine care se umfla în vânt. Acest set de date divers permite modelului să înțeleagă o gamă largă de comportamente dinamice.

Scopul studiului este limitat la scene din lumea reală cu dinamică naturală, oscilantă, cum ar fi copacii și florile care se mișcă în vânt. Ca funcții de bază este aleasă seria Fourier. Texturile rezultate din spațiul de frecvență pot fi apoi transformate în traiectorii de mișcare a pixelilor dense, pe distanță lungă, care pot fi folosite pentru a sintetiza cadre viitoare, transformând imaginile statice în animații realiste.

Când este prezentat cu a o singură imagine, modelul antrenat folosește un proces de eșantionare de difuzie coordonat în funcție de frecvență. Acest proces prezice o reprezentare a mișcării pe termen lung per pixel în domeniul Fourier, numită o textură de mișcare stohastică neuronală. Această reprezentare este apoi transformată în traiectorii de mișcare densă care acoperă un întreg videoclip. Cuplate cu un modul de randare bazat pe imagini, aceste traiectorii pot fi valorificate pentru diverse aplicații practice.

În comparație cu prioritățile peste pixelii RGB bruti, prioritățile peste mișcare captează o structură subdimensională mai fundamentală, de dimensiuni inferioare, care explică eficient variațiile valorilor pixelilor. Acest lucru duce la o generare mai coerentă pe termen lung și un control mai fin asupra animațiilor în comparație cu metodele anterioare care funcționează animație de imagine prin sinteză video brută.

Reprezentarea mișcării generate este convenabilă pentru o serie de aplicații din aval, cum ar fi crearea de videoclipuri în bucle fără întreruperi, editarea mișcării generate și activarea interactivă. imagini dinamice, simulând răspunsul dinamicii obiectelor la forțele aplicate de utilizator.

Citiți mai multe subiecte conexe:

Declinare a responsabilităţii

În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.

Despre autor

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

Mai multe articole
Damir Yalalov
Damir Yalalov

Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului. 

Hot Stories
Alăturați-vă Newsletter-ului nostru.
Ultimele ştiri

Apetitul instituțional crește față de ETF-urile Bitcoin pe fondul volatilității

Dezvăluirile prin dosarele 13F dezvăluie investitori instituționali de seamă care se amestecă în ETF-uri Bitcoin, subliniind o acceptare tot mai mare a...

Aflați mai multe

Sosește ziua sentinței: soarta lui CZ este în echilibru, în timp ce tribunalul american ia în considerare pledoaria DOJ

Changpeng Zhao este pe cale de a fi condamnat astăzi într-un tribunal american din Seattle.

Aflați mai multe
Alăturați-vă comunității noastre tehnologice inovatoare
Citeste mai mult
Află mai multe
Valorificarea inovației blockchain: Germania face un pas îndrăzneț spre transformarea asistenței medicale și îngrijirea îmbunătățită a pacienților
Stil de viață pieţe Software Povești și recenzii Tehnologia
Valorificarea inovației blockchain: Germania face un pas îndrăzneț spre transformarea asistenței medicale și îngrijirea îmbunătățită a pacienților
13 Mai, 2024
Platforma de restaking Bitcoin BounceBit lansează rețeaua principală și anunță alocarea de token BB
Buletin de stiri Tehnologia
Platforma de restaking Bitcoin BounceBit lansează rețeaua principală și anunță alocarea de token BB
13 Mai, 2024
L3 Blockchain Degen Chain se asociază cu platforma de infrastructură Conduit pentru a rezolva problema cu timpul de nefuncţionare
Buletin de stiri Tehnologia
L3 Blockchain Degen Chain se asociază cu platforma de infrastructură Conduit pentru a rezolva problema cu timpul de nefuncţionare
13 Mai, 2024
3,050 de ETH spălate astăzi din portofelul cu semnături multiple Parity, iar 83,017 de ETH rămân sub controlul hackerilor, detectează alertele Cyvers
pieţe Buletin de stiri Tehnologia
3,050 de ETH spălate astăzi din portofelul cu semnături multiple Parity, iar 83,017 de ETH rămân sub controlul hackerilor, detectează alertele Cyvers
13 Mai, 2024
CRYPTOMERIA LABS PTE. LTD.