Gen-1: AI generează videoclipuri noi de la cele existente combinând solicitări și imagini
Pe scurt
Gen-1 este o rețea neuronală care poate genera videoclipuri noi din cele existente prin combinare solicitări și imagini.
De asemenea, ar putea fi folosit pentru a crea videoclipuri complet noi de la zero.
Capacitatea de a genera videoclipuri noi din cele existente are o serie de aplicații potențiale.
RunWayML, un startup de inteligență artificială, a anunțat un produs nou numit Gen-1, o rețea neuronală care poate genera videoclipuri noi din cele existente, combinând instrucțiuni și imagini. De ani de zile, rețelele neuronale au fost limitate la sarcina de a transfera stilul, care este procesul de preluare a unei imagini și aplicarea stilului unei alte imagini. Acesta este modul în care obținem acele clipuri video de transfer în stil de deep-learning, în care, de exemplu, un peisaj este redat în stilul Nopții înstelate a lui Van Gogh.
Acum, cu Gen-1, rețelele neuronale pot face mai mult decât un simplu transfer de stil. Poate genera videoclipuri noi de la zero, folosind solicitări și imagini ca intrare. Acest lucru deschide o gamă complet nouă de posibilități pentru Videoclipuri create de AI. În acest moment, videoclipurile generate de Gen-1 sunt scurte și simple. Dar, pe măsură ce tehnologia se dezvoltă, ne putem aștepta să vedem mai complexe și videoclipuri realiste generate de AI.
| Postare recomandată: Sănătatea reproductivă a bărbaților este îmbunătățită prin vizionarea videoclipurilor pentru adulți în realitate virtuală |
Ce este Gen-1?
Instrumentele puternice de creare și editare a imaginilor sunt deblocate prin ghidare text modele de difuzie generativă. Deși acestea au fost aplicate la crearea de videoclipuri, metodele prezente de editare a conținutului materialului deja existent, menținând în același timp structura acestuia, necesită o reinstruire costisitoare pentru fiecare intrare sau depind de propagarea riscantă a modificărilor imaginii între cadre.
Dezvoltatorii descriu un model de difuzare video ghidată de structură și conținut, care modifică filmele pe baza descrierilor scrise sau vizuale ale rezultatului dorit. Din cauza decuplării insuficiente, apar conflicte între modificările de conținut furnizate de utilizator și reprezentările structurii. Ei demonstrează că structura și integritatea conținutului pot fi controlate prin instruire privind estimările de adâncime monoculară cu diferite niveluri de detaliu.
Sintetizați videoclipuri noi într-o manieră realistă și consecventă, aplicând compoziția și stilul unei imagini sau mesaj text la structura videoclipului sursă. E ca și cum ai filma ceva nou, fără a filma nimic.
Transferul stilului unei imagini sau al unei solicitări la fiecare cadru al unui videoclip poate fi o modalitate excelentă de a vă unifica proiectul, de a-i oferi o temă vizuală globală și de a crea coerență.
Prin utilizarea software-ului și a designului creativ, machetele pot fi transformate în randări plăcute din punct de vedere estetic și interactive, care dau viață viziunii utilizatorului.
Cu funcțiile de editare video, este ușor să izolați părți ale unui videoclip și să le îmbunătățiți cu solicitări text.
Aplicarea unei imagini de intrare sau prompt randările netexturate le pot îmbunătăți foarte mult realismul, dând viață modelelor 3D.
Runway Research este dedicat construirii de sisteme AI multimodale care permit noi forme de creativitate. Gen-1 reprezintă încă unul dintre pașii noștri esențiali înainte în această misiune. Dacă sunteți un creativ care dorește să experimenteze viitorul povestirii, solicitați accesul mai jos.
Gen-1 poate fi folosit și pentru a crea videoclipuri complet noi de la zero. Poate fi folosit pentru o serie de scopuri, inclusiv crearea de noi versiuni ale filmelor existente sau crearea de filme noi cu totul. Această știre va entuziasma cu siguranță cineaștii și alți creatori care caută mereu noi modalități de a depăși limitele artei lor. Cu Gen-1, au acum la dispoziție un nou instrument puternic.
Abilitatea de a genera videoclipuri noi din cele existente are o serie de aplicații potențiale. De exemplu, ar putea fi folosit pentru a crea versiuni noi ale conținutului video existent, astfel încât ar putea fi folosit pentru a crea versiuni alternative de scene sau cadre care pot fi prea costisitoare sau dificil de filmat din punct de vedere logistic.
Puteți aplica pentru a utiliza modelul în timp ce acesta este în testare beta aici.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
