Gen-1: AI genererer nye videoer fra eksisterende ved at kombinere prompter og billeder
Kort sagt
Gen-1 er et neuralt netværk, der kan generere nye videoer fra eksisterende ved at kombinere meddelelser og billeder.
Det kan også bruges til at skabe helt nye videoer fra bunden.
Evnen til at generere nye videoer fra eksisterende har en række potentielle anvendelser.
RunWayML, en kunstig intelligens-startup, har annonceret et nyt produkt kaldet Gen-1, et neuralt netværk, der kan generere nye videoer fra eksisterende ved at kombinere prompter og billeder. I årevis har neurale netværk været begrænset til opgaven med stiloverførsel, som er processen med at tage et billede og anvende stilen fra et andet billede på det. Sådan får vi de trippy deep-learning style transfer videoer, hvor for eksempel et landskab er gengivet i stil med Van Goghs Starry Night.
Nu, med Gen-1, kan neurale netværk mere end blot stiloverførsel. Det kan generere nye videoer fra bunden ved hjælp af prompter og billeder som input. Dette åbner op for en helt ny række af muligheder for AI-skabte videoer. Lige nu er videoerne genereret af Gen-1 korte og enkle. Men efterhånden som teknologien udvikler sig, kan vi forvente at se mere komplekse og realistiske videoer, der genereres af AI.
Hvad er Gen-1?
Stærke billedskabelses- og redigeringsværktøjer låses op af tekststyret generative diffusionsmodeller. Selvom disse er blevet anvendt til fremstilling af videoer, kræver de nuværende metoder til redigering af indholdet af allerede eksisterende materiale og samtidig bevare dets struktur dyr omskoling for hvert input eller afhænger af den risikable udbredelse af billedændringer mellem billeder.
Udviklere beskriver en model for struktur- og indholdsstyret videodiffusion, som ændrer film baseret på enten skriftlige eller visuelle beskrivelser af det ønskede resultat. På grund af utilstrækkelig afkobling opstår der konflikter mellem brugerleverede indholdsændringer og strukturrepræsentationer. De demonstrerer, at strukturen og indholdets integritet kan kontrolleres ved træning i monokulære dybdeestimeringer med forskellige detaljeringsniveauer.
Syntetiser nye videoer på en realistisk og ensartet måde ved at anvende sammensætningen og stilen af et billede eller en tekstprompt på strukturen af din kildevideo. Det er som at filme noget nyt uden egentlig at filme noget.
At overføre stilen for et billede eller prompt til hvert billede i en video kan være en fantastisk måde at forene dit projekt, give det et overordnet visuelt tema og skabe sammenhæng.
Gennem brug af software og kreativt design kan mockups transformeres til æstetisk tiltalende og interaktive gengivelser, der bringer brugerens vision til live.
Med videoredigeringsfunktioner er det nemt at isolere dele af en video og forbedre dem med tekstbeskeder.
Anvendelse af et inputbillede eller prompt til uteksturerede gengivelser kan i høj grad forbedre deres realisme og bringe 3D-modellerne til live.
Runway Research er dedikeret til at bygge multimodale AI-systemer, der muliggør nye former for kreativitet. Gen-1 repræsenterer endnu et af vores afgørende skridt fremad i denne mission. Hvis du er en kreativ person, der ønsker at eksperimentere med fremtidens historiefortælling, kan du anmode om adgang nedenfor.
Gen-1 kan også bruges til at skabe helt nye videoer fra bunden. Den kan bruges til en række formål, herunder oprettelse af nye versioner af eksisterende film eller helt nye film. Denne nyhed vil helt sikkert begejstre filmskabere og andre kreative, som altid leder efter nye måder at flytte grænserne for deres kunst på. Med Gen-1 har de nu et nyt kraftfuldt værktøj til deres rådighed.
Evnen til generere nye videoer fra eksisterende har en række potentielle anvendelsesmuligheder. For eksempel kan det bruges til at skabe nye versioner af eksisterende videoindhold, så det kan bruges til at skabe alternative versioner af scener eller optagelser, der kan være for dyre eller logistisk svære at filme.
Du kan ansøge om at bruge modellen, mens den er i beta-testning link..
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
