Gen-1: AI genereert nieuwe video's van bestaande video's door prompts en afbeeldingen te combineren
In het kort
Gen-1 is een neuraal netwerk dat nieuwe video's kan genereren uit bestaande video's door ze te combineren prompts en afbeeldingen.
Het kan ook worden gebruikt om geheel nieuwe video's vanaf nul te maken.
De mogelijkheid om nieuwe video's te genereren uit bestaande video's heeft een aantal potentiële toepassingen.
RunWayML, een startup op het gebied van kunstmatige intelligentie, heeft aangekondigd een nieuw product genaamd Gen-1, een neuraal netwerk dat nieuwe video's kan genereren uit bestaande door prompts en afbeeldingen te combineren. Jarenlang zijn neurale netwerken beperkt gebleven tot de taak van stijloverdracht, het proces waarbij een afbeelding wordt gemaakt en de stijl van een andere afbeelding erop wordt toegepast. Zo krijgen we die trippy deep learning-stijloverdrachtsvideo's waarin bijvoorbeeld een landschap wordt weergegeven in de stijl van Van Goghs Sterrennacht.
Nu, met Gen-1, kunnen neurale netwerken meer doen dan alleen stijloverdracht. Het kan vanaf het begin nieuwe video's genereren, met behulp van prompts en afbeeldingen als invoer. Dit opent een heel nieuw scala aan mogelijkheden voor Door AI gemaakte video's. Op dit moment zijn de video's die door Gen-1 worden gegenereerd kort en eenvoudig. Maar naarmate de technologie zich ontwikkelt, kunnen we complexere en complexere ontwikkelingen verwachten realistische video's die worden gegenereerd door AI.
| Aanbevolen post: De reproductieve gezondheid van mannen wordt verbeterd door video's voor volwassenen in virtual reality te bekijken |
Wat is Gen-1?
Krachtige tools voor het maken en bewerken van afbeeldingen worden ontgrendeld door tekstgestuurd generatieve diffusiemodellen. Hoewel deze zijn toegepast op het maken van video's, vereisen de huidige methoden voor het bewerken van de inhoud van reeds bestaand materiaal met behoud van de structuur dure herscholing voor elke invoer of zijn ze afhankelijk van de riskante verspreiding van beeldveranderingen tussen frames.
Ontwikkelaars beschrijven een model voor structuur- en inhoudgestuurde videoverspreiding, dat films verandert op basis van geschreven of visuele beschrijvingen van het gewenste resultaat. Door onvoldoende ontkoppeling ontstaan er conflicten tussen door de gebruiker aangeleverde inhoudswijzigingen en structuurrepresentaties. Ze tonen aan dat de structuur en de integriteit van de inhoud kunnen worden gecontroleerd door te trainen op monoculaire diepteschattingen met verschillende detailniveaus.
Synthetiseer nieuwe video's op een realistische en consistente manier door de compositie en stijl van een afbeelding of tekstprompt toe te passen op de structuur van uw bronvideo. Het is alsof je iets nieuws filmt zonder echt iets te filmen.
Het overbrengen van de stijl van een afbeelding of prompt naar elk frame van een video kan een geweldige manier zijn om uw project te verenigen, het een overkoepelend visueel thema te geven en consistentie te creëren.
Door het gebruik van software en creatief ontwerp kunnen mockups worden omgezet in esthetisch aantrekkelijke en interactieve weergaven die de visie van de gebruiker tot leven brengen.
Met videobewerkingsfuncties is het eenvoudig om delen van een video te isoleren en ze te verbeteren met tekstprompts.
Een invoerafbeelding toepassen of prompt aan ongetextureerde renders kan hun realisme aanzienlijk verbeteren, waardoor de 3D-modellen tot leven komen.
Runway Research legt zich toe op het bouwen van multimodale AI-systemen die nieuwe vormen van creativiteit mogelijk maken. Gen-1 vertegenwoordigt weer een van onze cruciale stappen voorwaarts in deze missie. Als je creatief bent en wilt experimenteren met de toekomst van storytelling, vraag dan hieronder om toegang.
Gen-1 kan ook worden gebruikt om geheel nieuwe video's te maken. Het kan voor een aantal doeleinden worden gebruikt, waaronder het maken van nieuwe versies van bestaande films of het maken van nieuwe films. Dit nieuws zal filmmakers en andere creatievelingen zeker aanspreken die altijd op zoek zijn naar nieuwe manieren om de grenzen van hun kunst te verleggen. Met Gen-1 hebben ze nu een nieuwe krachtige tool tot hun beschikking.
De mogelijkheid om nieuwe video's genereren van bestaande heeft een aantal potentiële toepassingen. Het kan bijvoorbeeld worden gebruikt om nieuwe versies van bestaande video-inhoud te maken, dus het kan worden gebruikt voor het maken van alternatieve versies van scènes of opnames die mogelijk te duur of logistiek moeilijk te filmen zijn.
U kunt een aanvraag indienen om het model te gebruiken terwijl het in bètatest is hier.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
