Februari 08, 2023

Gen-1: AI genererar nya videor från befintliga genom att kombinera uppmaningar och bilder

Publicerad: 08 februari 2023 kl. 3 Uppdaterad: 13 februari 08 kl. 2023

I korthet

Gen-1 är ett neuralt nätverk som kan generera nya videor från befintliga genom att kombinera uppmaningar och bilder.

Det kan också användas för att skapa helt nya videor från grunden.

Möjligheten att generera nya videor från befintliga har ett antal potentiella tillämpningar.

RunWayML, en artificiell intelligens startup, har meddelat en ny produkt som heter Gen-1, ett neuralt nätverk som kan generera nya videor från befintliga genom att kombinera uppmaningar och bilder. I åratal har neurala nätverk varit begränsade till uppgiften att överföra stil, vilket är processen att ta en bild och tillämpa stilen från en annan bild på den. Så här får vi de där snurriga överföringsvideorna med djupinlärning där till exempel ett landskap renderas i stil med Van Goghs stjärnklar natt.

Gen-1: AI genererar nya videor från befintliga genom att kombinera uppmaningar och bilder — @Midjourney / Det där konstiga spöket

Nu, med Gen-1, kan neurala nätverk göra mer än bara stilöverföring. Det kan generera nya videor från början, med hjälp av uppmaningar och bilder som input. Detta öppnar upp ett helt nytt utbud av möjligheter för AI-skapade videor. Just nu är videorna som genereras av Gen-1 korta och enkla. Men allt eftersom tekniken utvecklas kan vi förvänta oss att se mer komplexa och realistiska videor som genereras av AI.

Rekommenderat inlägg: Mäns reproduktiva hälsa förbättras genom att titta på vuxenvideor i virtuell verklighet

Vad är Gen-1?

Starka bildskapande och redigeringsverktyg låses upp av textstyrda generativa diffusionsmodeller. Även om dessa har tillämpats för att skapa videor, kräver de nuvarande metoderna för att redigera innehållet i redan existerande material samtidigt som dess struktur bibehålls dyr omskolning för varje ingång eller beror på riskfylld spridning av bildförändringar mellan bildrutor.

Utvecklare beskriver en modell för struktur- och innehållsstyrd videodiffusion, som förändrar filmer baserat på antingen skriftliga eller visuella beskrivningar av det önskade resultatet. På grund av otillräcklig frikoppling uppstår konflikter mellan användarförsedda innehållsändringar och strukturrepresentationer. De visar att strukturen och innehållets integritet kan kontrolleras genom träning i monokulära djupuppskattningar med olika detaljnivåer.

Syntetisera nya videor på ett realistiskt och konsekvent sätt genom att tillämpa kompositionen och stilen för en bild eller textuppmaning på strukturen i din källvideo. Det är som att filma något nytt utan att faktiskt filma något.

Att syntetisera en ny video med denna metod gör det möjligt för filmskapare att snabbt producera innehåll på ett kostnadseffektivt sätt

Att överföra stilen på en bild eller uppmaning till varje bildruta i en video kan vara ett bra sätt att förena ditt projekt, ge det ett övergripande visuellt tema och skapa konsekvens.

Genom användning av mjukvara och kreativ design kan mockups omvandlas till estetiskt tilltalande och interaktiva renderingar som ger liv åt användarens vision.

Mockups tillåter designers att visualisera sina idéer och skapa konkreta resultat som kan presenteras för granskning

Med videoredigeringsfunktioner är det enkelt att isolera delar av en video och förbättra dem med textuppmaningar.

Använda en ingångsbild eller snabb otexturerade renderingar kan avsevärt förbättra deras realism, vilket ger liv till 3D-modellerna.

Runway Research är dedikerat till att bygga multimodala AI-system som möjliggör nya former av kreativitet. Gen-1 representerar ännu ett av våra avgörande steg framåt i detta uppdrag. Om du är en kreativ person som vill experimentera med framtidens berättande, begär tillgång nedan.

Gen-1 kan också användas för att skapa helt nya videor från grunden. Den kan användas för ett antal syften, inklusive att skapa nya versioner av befintliga filmer eller skapa nya filmer helt och hållet. Den här nyheten kommer säkerligen att entusiasmera filmskapare och andra kreativa som alltid letar efter nya sätt att tänja på gränserna för sin konst. Med Gen-1 har de nu ett nytt kraftfullt verktyg till sitt förfogande.

Förmågan att skapa nya videor från befintliga har ett antal potentiella tillämpningar. Det kan till exempel användas för att skapa nya versioner av befintligt videoinnehåll, så det kan användas för att skapa alternativa versioner av scener eller bilder som kan vara för dyra eller logistiskt svåra att filma.

Du kan ansöka om att få använda modellen medan den är i betatestning här..

Läs mer om AI:

Taggar:

Villkor

I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.

Om författaren

Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.

fler artiklar

Damir Yalalov