Gen-1: AI genera nous vídeos a partir dels existents combinant indicacions i imatges
En breu
Gen-1 és una xarxa neuronal que pot generar nous vídeos a partir dels existents mitjançant la combinació instruccions i imatges.
També es podria utilitzar per crear vídeos completament nous des de zero.
La capacitat de generar nous vídeos a partir dels existents té diverses aplicacions potencials.
RunWayML, una startup d'intel·ligència artificial, ha anunciat un nou producte anomenat Gen-1, una xarxa neuronal que pot generar nous vídeos a partir dels existents combinant indicacions i imatges. Durant anys, les xarxes neuronals s'han limitat a la tasca de transferència d'estil, que és el procés de prendre una imatge i aplicar-hi l'estil d'una altra imatge. Així és com obtenim aquests vídeos de transferència d'estil d'aprenentatge profund en què, per exemple, es representa un paisatge a l'estil de la Nit estrellada de Van Gogh.
Ara, amb Gen-1, les xarxes neuronals poden fer més que només transferir estils. Pot generar nous vídeos des de zero, utilitzant indicacions i imatges com a entrada. Això obre un ventall de possibilitats completament nou Vídeos creats per IA. Ara mateix, els vídeos generats per Gen-1 són breus i senzills. Però a mesura que la tecnologia es desenvolupa, podem esperar veure més complexos i vídeos realistes generats per IA.
| Publicació recomanada: La salut reproductiva dels homes es millora mirant vídeos per a adults en realitat virtual |
Què és Gen-1?
Les eines potents de creació i edició d'imatges es desbloquegen mitjançant guia de text models de difusió generativa. Tot i que aquests s'han aplicat a la creació de vídeos, els mètodes actuals per editar el contingut del material ja existent mantenint la seva estructura exigeixen una costosa reciclatge per a cada entrada o depenen de la propagació arriscada de les alteracions de la imatge entre fotogrames.
Els desenvolupadors descriuen un model de difusió de vídeo guiada per estructura i contingut, que altera les pel·lícules basant-se en descripcions escrites o visuals del resultat desitjat. A causa d'un desacoblament insuficient, sorgeixen conflictes entre les modificacions de contingut proporcionades per l'usuari i les representacions de l'estructura. Demostren que l'estructura i la integritat del contingut es poden controlar mitjançant la formació en estimacions de profunditat monocular amb diversos nivells de detall.
Sintetitzeu vídeos nous d'una manera realista i coherent aplicant la composició i l'estil d'una imatge o una indicació de text a l'estructura del vostre vídeo d'origen. És com filmar alguna cosa nova sense filmar res.
Transferir l'estil d'una imatge o una indicació a cada fotograma d'un vídeo pot ser una bona manera d'unificar el vostre projecte, donar-li un tema visual global i crear coherència.
Mitjançant l'ús de programari i disseny creatiu, les maquetes es poden transformar en renders estètics i interactius que donen vida a la visió de l'usuari.
Amb les funcions d'edició de vídeo, és fàcil aïllar parts d'un vídeo i millorar-les amb indicacions de text.
Aplicant una imatge d'entrada o Prompt als renders sense textura poden millorar molt el seu realisme, donant vida als models 3D.
Runway Research es dedica a construir sistemes d'IA multimodals que permetin noves formes de creativitat. Gen-1 representa un altre dels nostres passos fonamentals en aquesta missió. Si sou un creatiu que voleu experimentar amb el futur de la narració de històries, sol·liciteu accés a continuació.
Gen-1 també es pot utilitzar per crear vídeos completament nous des de zero. Es pot utilitzar per a diversos propòsits, com ara crear noves versions de pel·lícules existents o crear pel·lícules noves. Aquesta notícia segur que entusiasmarà els cineastes i altres creatius que sempre busquen noves maneres d'impulsar els límits del seu art. Amb Gen-1, ara tenen una nova eina potent a la seva disposició.
La capacitat de generar nous vídeos dels existents té una sèrie d'aplicacions potencials. Per exemple, es podria utilitzar per crear noves versions de contingut de vídeo existent, de manera que es podria utilitzar per crear versions alternatives d'escenes o plans que poden ser massa cares o logísticament difícils de filmar.
Podeu sol·licitar l'ús del model mentre està en prova beta aquí.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
