Microsoft a publié un modèle de diffusion capable de créer un avatar 3D à partir d'une seule photo d'une personne
En bref
Une seule image 2D du visage d'une personne peut être utilisée pour générer un avatar 3D à l'aide de la technique d'apprentissage automatique 3D Avatar Diffusion.
Il peut être utilisé pour fournir une vue 3D réaliste de la personne pour le jeu ou d'autres utilisations, ou pour fournir une expérience de réalité virtuelle (VR) ou de réalité augmentée (AR).
3D Avatar Diffusion est un algorithme d'apprentissage automatique qui peut prendre une seule image 2D d'un visage humain et créer un avatar en trois dimensions (3D). L'avatar peut ensuite être utilisé pour créer une expérience de réalité virtuelle (VR) ou de réalité augmentée (AR) ou simplement pour fournir une vue 3D réaliste de la personne à des fins de jeu ou à d'autres fins.
Le modèle de diffusion était développé par une équipe de chercheurs de Microsoft Research et est décrit dans un article publié dans la revue arXiv.
La diffusion d'avatars 3D est basée sur un type d'algorithme d'apprentissage automatique appelé modèle de diffusion. Les modèles de diffusion sont des modèles génératifs, ce qui signifie qu'ils peuvent générer de nouvelles données similaires aux données d'apprentissage. Modèles de diffusion ont été utilisés auparavant pour générer des images 3D à partir d'images 2D, mais l'ADM est le premier modèle de diffusion capable de générer un avatar 3D réaliste à partir d'une seule image 2D.
Pour former le modèle, les chercheurs ont utilisé un ensemble de données de plus de 200,000 3 modèles de visage 2D. L'ensemble de données comprenait une grande variété de visages avec différents tons de peau, coiffures et traits du visage. L'ADM a ensuite pu apprendre la relation entre l'image 3D et le modèle de visage 3D et générer un avatar 2D réaliste à partir d'une seule image XNUMXD.
Le modèle peut également être utilisé pour générer un avatar à partir d'une photo prise sous un angle différent
Cette étude propose un modèle génératif 3D qui crée automatiquement des avatars numériques 3D qui sont représentés comme des champs de rayonnement neuronal à l'aide de modèles de diffusion. En raison des exigences de mémoire et de traitement prohibitives associées à la 3D, la création des fonctionnalités riches nécessaires aux avatars de haute qualité est un énorme problème. Les développeurs suggèrent que le réseau de diffusion de déploiement (Rodin) résolve ce problème.
Ce réseau déploie de nombreuses cartes de caractéristiques 2D d'un champ de rayonnement neuronal dans un seul plan de caractéristiques 2D, où le modèle exécute ensuite une diffusion sensible à la 3D. Le modèle Rodin utilise la convolution sensible à la 3D, qui s'occupe des caractéristiques projetées dans le plan des caractéristiques 2D en fonction de leur relation d'origine en 3D, pour fournir l'efficacité de calcul indispensable tout en maintenant l'intégrité de la diffusion en 3D.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
