Gen-1: KI generiert neue Videos aus bestehenden, indem sie Eingabeaufforderungen und Bilder kombiniert
In Kürze
Gen-1 ist ein neuronales Netzwerk, das durch Kombination aus bestehenden Videos neue Videos generieren kann Eingabeaufforderungen und Bilder.
Es könnte auch verwendet werden, um völlig neue Videos von Grund auf neu zu erstellen.
Die Fähigkeit, neue Videos aus bestehenden Videos zu generieren, hat eine Reihe potenzieller Anwendungen.
RunWayML, ein Startup für künstliche Intelligenz, hat angekündigt, ein neues Produkt namens Gen-1, ein neuronales Netzwerk, das neue Videos aus bestehenden erstellen kann, indem es Eingabeaufforderungen und Bilder kombiniert. Seit Jahren beschränken sich neuronale Netze auf die Aufgabe des Stiltransfers, d. h. des Vorgangs, ein Bild zu nehmen und ihm den Stil eines anderen Bildes zuzuweisen. So erhalten wir diese abgefahrenen Transfervideos im Deep-Learning-Stil, in denen beispielsweise eine Landschaft im Stil von Van Goghs Sternennacht gerendert wird.
Mit Gen-1 können neuronale Netze jetzt mehr als nur Stilübertragungen leisten. Es kann neue Videos von Grund auf neu erstellen, indem es Eingabeaufforderungen und Bilder als Eingabe verwendet. Das eröffnet ganz neue Möglichkeiten für KI-erstellte Videos. Derzeit sind die von Gen-1 generierten Videos kurz und einfach. Aber mit der Weiterentwicklung der Technologie können wir mit komplexeren und komplexeren Entwicklungen rechnen realistische Videos, die von KI generiert werden.
| Empfohlener Beitrag: Die reproduktive Gesundheit von Männern wird durch das Ansehen von Videos für Erwachsene in der virtuellen Realität verbessert |
Was ist Gen-1?
Starke Bilderstellungs- und Bearbeitungswerkzeuge werden durch Textführung freigeschaltet Generative Diffusionsmodelle. Während diese auf die Erstellung von Videos angewendet wurden, erfordern die derzeitigen Verfahren zum Editieren des Inhalts von bereits vorhandenem Material unter Beibehaltung seiner Struktur ein teures Umlernen für jede Eingabe oder hängen von der riskanten Ausbreitung von Bildänderungen zwischen Einzelbildern ab.
Entwickler beschreiben ein Modell für struktur- und inhaltsgesteuerte Videoverbreitung, das Filme basierend auf entweder schriftlichen oder visuellen Beschreibungen des gewünschten Ergebnisses verändert. Aufgrund unzureichender Entkopplung entstehen Konflikte zwischen vom Benutzer bereitgestellten Inhaltsänderungen und Strukturdarstellungen. Sie demonstrieren, dass die Struktur und Inhaltsintegrität durch Training an monokularen Tiefenschätzungen mit verschiedenen Detaillierungsgraden kontrolliert werden können.
Synthetisieren Sie neue Videos auf realistische und konsistente Weise, indem Sie die Komposition und den Stil einer Bild- oder Textaufforderung auf die Struktur Ihres Quellvideos anwenden. Es ist, als würde man etwas Neues filmen, ohne tatsächlich etwas zu filmen.
Das Übertragen des Stils eines Bildes oder einer Aufforderung auf jeden Frame eines Videos kann eine großartige Möglichkeit sein, Ihr Projekt zu vereinheitlichen, ihm ein übergreifendes visuelles Thema zu geben und Konsistenz zu schaffen.
Durch den Einsatz von Software und kreativem Design können Mockups in ästhetisch ansprechende und interaktive Renderings umgewandelt werden, die die Vision des Benutzers zum Leben erwecken.
Mit den Videobearbeitungsfunktionen ist es einfach, Teile eines Videos zu isolieren und sie mit Textansagen zu verbessern.
Anwenden eines Eingabebildes oder Eingabeaufforderung Untexturierte Renderings können ihren Realismus erheblich verbessern und die 3D-Modelle zum Leben erwecken.
Runway Research widmet sich dem Aufbau multimodaler KI-Systeme, die neue Formen der Kreativität ermöglichen. Gen-1 stellt einen weiteren unserer entscheidenden Schritte in dieser Mission dar. Wenn Sie ein Kreativer sind, der mit der Zukunft des Geschichtenerzählens experimentieren möchte, fordern Sie unten Zugriff an.
Gen-1 kann auch verwendet werden, um völlig neue Videos von Grund auf neu zu erstellen. Es kann für eine Reihe von Zwecken verwendet werden, einschließlich der Erstellung neuer Versionen vorhandener Filme oder der Erstellung ganz neuer Filme. Diese Neuigkeiten werden Filmemacher und andere Kreative begeistern, die immer nach neuen Wegen suchen, die Grenzen ihrer Kunst zu erweitern. Mit Gen-1 steht ihnen nun ein neues mächtiges Werkzeug zur Verfügung.
Die Fähigkeit zu neue Videos generieren von bestehenden hat eine Reihe von potenziellen Anwendungen. Beispielsweise könnte es verwendet werden, um neue Versionen bestehender Videoinhalte zu erstellen, sodass es zum Erstellen alternativer Versionen von Szenen oder Einstellungen verwendet werden könnte, die möglicherweise zu teuer oder logistisch schwierig zu filmen sind.
Sie können sich für die Nutzung des Modells bewerben, während es sich im Betatest befindet hier.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
