Google présente une dynamique d'image générative innovante qui simule des scènes dynamiques dans des images statiques
Google a dévoilé un Dynamique d'image générative, une approche inédite permet de transformer un une seule image statique dans une vidéo en boucle transparente ou une scène dynamique interactive, offrant un large éventail d'applications pratiques.
Au cœur de cette technologie pionnière se trouve la modélisation d’une dynamique d’espace-image préalable à la scène. L'objectif est de créer une compréhension globale de la façon dont les objets et les éléments d'une image peuvent se comporter lorsqu'ils sont soumis à diverses interactions dynamiques. Cette compréhension peut ensuite être utilisée pour simuler efficacement la réponse de la dynamique des objets aux interactions des utilisateurs.
La principale caractéristique de cette technologie est la capacité de générer des vidéos en boucle transparente. En exploitant la dynamique de l'espace image avant la scène, le système de Google peut extrapoler et étendre le mouvement des éléments au sein d'une image, la transformant en une boucle vidéo captivante et continue. Cette fonctionnalité ouvre de nombreuses possibilités créatives aux créateurs et concepteurs de contenu.
La technologie permet aux utilisateurs d’interagir de manière réaliste avec des objets dans des images statiques. En simulant la réponse de la dynamique des objets à l'excitation de l'utilisateur, le système de Google permet expériences immersives et interactives au sein des images. Cela a le potentiel de révolutionner espaces métavers et comment les utilisateurs interagissent avec le contenu visuel.
Le fondement de cette innovation réside dans un modèle méticuleusement formé. Le modèle de Google apprend à partir d'un vaste ensemble de données de trajectoires de mouvement extraites de séquences vidéo réelles présentant un mouvement naturel et oscillant. Ces séquences incluent des scènes avec des éléments tels que des arbres qui se balancent, des fleurs qui bougent, des bougies vacillantes et des vêtements flottants au vent. Cet ensemble de données diversifié permet au modèle de comprendre un large éventail de comportements dynamiques.
Lorsqu'il est présenté avec un Image unique, le modèle entraîné utilise un processus d'échantillonnage par diffusion coordonné en fréquence. Ce processus prédit une représentation de mouvement à long terme par pixel dans le domaine de Fourier, appelée texture de mouvement neuronal stochastique. Cette représentation est ensuite transformée en trajectoires de mouvement denses qui couvrent toute une vidéo. Couplées à un module de rendu basé sur l’image, ces trajectoires peuvent être exploitées pour diverses applications pratiques.
Par rapport aux priors sur les pixels RVB bruts, les priors sur le mouvement capturent une structure sous-dimensionnelle plus fondamentale et de dimension inférieure qui explique efficacement les variations des valeurs des pixels. Cela conduit à une génération à long terme plus cohérente et à un contrôle plus fin des animations par rapport aux méthodes précédentes qui effectuaient animation d'images via une synthèse vidéo brute.
La représentation de mouvement générée est pratique pour un certain nombre d'applications en aval, telles que la création de vidéos en boucle transparente, l'édition du mouvement généré et l'activation d'activités interactives. images dynamiques, simulant la réponse de la dynamique des objets aux forces appliquées par l'utilisateur.
Lire d'autres sujets connexes :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
