Gen-1 : l'IA génère de nouvelles vidéos à partir de vidéos existantes en combinant des invites et des images
En bref
Gen-1 est un réseau de neurones qui peut générer de nouvelles vidéos à partir de vidéos existantes en combinant invites et images.
Il pourrait également être utilisé pour créer des vidéos entièrement nouvelles à partir de zéro.
La possibilité de générer de nouvelles vidéos à partir de vidéos existantes a un certain nombre d'applications potentielles.
RunWayML, une startup d'intelligence artificielle, a annoncé un nouveau produit appelé Gen-1, un réseau de neurones capable de générer de nouvelles vidéos à partir de vidéos existantes en combinant des invites et des images. Pendant des années, les réseaux de neurones se sont limités à la tâche de transfert de style, qui consiste à prendre une image et à lui appliquer le style d'une autre image. C'est ainsi que nous obtenons ces vidéos de transfert de style d'apprentissage en profondeur où, par exemple, un paysage est rendu dans le style de la nuit étoilée de Van Gogh.
Désormais, avec Gen-1, les réseaux de neurones peuvent faire plus que simplement transférer des styles. Il peut générer de nouvelles vidéos à partir de zéro, en utilisant des invites et des images comme entrée. Cela ouvre une toute nouvelle gamme de possibilités pour Vidéos créées par l'IA. À l'heure actuelle, les vidéos générées par Gen-1 sont courtes et simples. Mais à mesure que la technologie se développe, nous pouvons nous attendre à voir des vidéos réalistes générées par l'IA.
| Poste recommandé: La santé reproductive des hommes est améliorée en regardant des vidéos pour adultes en réalité virtuelle |
Qu'est-ce que la Génération 1 ?
Des outils puissants de création et d'édition d'images sont déverrouillés par guidage textuel modèles de diffusion génératifs. Alors que ceux-ci ont été appliqués à la création de vidéos, les méthodes actuelles pour éditer le contenu d'un matériel déjà existant tout en conservant sa structure exigent un recyclage coûteux pour chaque entrée ou dépendent de la propagation risquée d'altérations d'image entre les images.
Les développeurs décrivent un modèle de diffusion vidéo guidée par la structure et le contenu, qui modifie les films en fonction de descriptions écrites ou visuelles du résultat souhaité. En raison d'un découplage insuffisant, des conflits entre les modifications de contenu fournies par l'utilisateur et les représentations de structure surviennent. Ils démontrent que la structure et l'intégrité du contenu peuvent être contrôlées par un entraînement sur des estimations de profondeur monoculaire avec différents niveaux de détail.
Synthétisez de nouvelles vidéos de manière réaliste et cohérente en appliquant la composition et le style d'une image ou d'un message texte à la structure de votre vidéo source. C'est comme filmer quelque chose de nouveau sans rien filmer.
Transférer le style d'une image ou d'une invite à chaque image d'une vidéo peut être un excellent moyen d'unifier votre projet, de lui donner un thème visuel global et de créer de la cohérence.
Grâce à l'utilisation de logiciels et d'une conception créative, les maquettes peuvent être transformées en rendus esthétiques et interactifs qui donnent vie à la vision de l'utilisateur.
Grâce aux fonctionnalités de montage vidéo, il est facile d'isoler des parties d'une vidéo et de les améliorer avec des invites textuelles.
Application d'une image d'entrée ou rapide aux rendus non texturés peuvent grandement améliorer leur réalisme, donnant vie aux modèles 3D.
Runway Research se consacre à la construction de systèmes d'IA multimodaux qui permettent de nouvelles formes de créativité. Gen-1 représente encore une autre de nos étapes cruciales dans cette mission. Si vous êtes un créatif cherchant à expérimenter l'avenir de la narration, demandez l'accès ci-dessous.
Gen-1 peut également être utilisé pour créer des vidéos entièrement nouvelles à partir de zéro. Il peut être utilisé à plusieurs fins, notamment la création de nouvelles versions de films existants ou la création de nouveaux films. Cette nouvelle ne manquera pas d'exciter les cinéastes et autres créatifs qui sont toujours à la recherche de nouvelles façons de repousser les limites de leur art. Avec Gen-1, ils disposent désormais d'un nouvel outil puissant.
La capacité à générer de nouvelles vidéos à partir de ceux existants a un certain nombre d'applications potentielles. Par exemple, il pourrait être utilisé pour créer de nouvelles versions de contenu vidéo existant, de sorte qu'il pourrait être utilisé pour créer des versions alternatives de scènes ou de plans qui peuvent être trop coûteux ou logistiquement difficiles à filmer.
Vous pouvez demander à utiliser le modèle pendant qu'il est en phase de test bêta ici.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
