TextMesh : un nouveau Stable Diffusion-Modèle de texte en 3D basé sur Google
En bref
TextMesh est un nouveau travail de texte en 3D de Google qui améliore l'approche désormais à la mode consistant à utiliser Stable Diffusion pour générer différents angles de la même invite de base (image 2D), puis un maillage 3D est assemblé à partir de cela à l'aide de NeRF.
Récemment, la possibilité de générer des images 2D à partir d'invites de texte a connu un grand succès grâce au travail des modèles de génération d'images diffusives. Ces modèles sont très capables de produire des échantillons d'images de haute qualité à partir d'une invite de texte, permettant une interface texte-image simple. S'appuyant sur ces avancées dans le domaine de la génération d'images 2D, la grande question dans cette industrie est de savoir s'il est possible d'appliquer des modèles de diffusion similaires pour générer des modèles 3D à partir de texte.
Et maintenant, Google a introduit une nouvelle méthode de texte en 3D avec le nom élégant TextMesh. Cette méthode promet d'améliorer l'approche désormais à la mode de Stable Diffusion-Base modèle de texte en 3D génération. À la base, plusieurs angles sont générés en alimentant une entrée 2D de base dans le modèle. Ensuite, les résultats sont traités et assimilés dans un maillage 3D en utilisant l'approche Neural Radiance Fields (NeRF).
| Recommandée: Guide ultime d'ingénierie rapide 2023 : |
Les avantages de cette approche innovante par rapport à DreamFusion et CLIPMesh actuellement à la mode sont, avant tout, la sortie conviviale. Plutôt que d'utiliser le format NeRF difficile, TextMesh fournit un maillage 3D avec des textures, le rendant ainsi beaucoup plus applicable aux utilisations du monde réel. De plus, l'approche évite l'effet de saturation élevée souvent rencontré d'autres modèles et parvient à augmenter les détails.
Les le modèle fonctionne en formant d'abord un maillage 3D à partir d'une image d'entrée à l'aide de NeRF. Les résultats passent ensuite par le cadre SDF (Signed Distance Fields) pour affiner davantage la texture, améliorant ainsi la clarté globale du maillage de sortie. Sans oublier que le cadre SDF aide à éviter l'effet de sursaturation que d'autres 3D numériques jumeaux (digital twin models) souffrent généralement.
Maillages 3D créés à titre d'exemple
Cette approche tire parti du succès des modèles DiG et étend les réseaux NeRF pour qu'ils soient basés sur une dorsale SDF. Cela produit des capacités d'extraction de maillage 3D améliorées et des maillages 3D beaucoup plus réalistes par rapport aux méthodes décrites précédemment.
Les résultats de l'utilisation de TextMesh sont extrêmement convaincants. Les auteurs fournissent même un lien vers une photo d'un écureuil créé à l'aide de leur modèle, ce qui est tout simplement impressionnant.
TextMesh s'avère être un nouveau modèle 3D révolutionnaire qui offre une pléthore d'avantages et peut produire des maillages 3D extrêmement réalistes. Son utilisation est appelée à devenir de plus en plus populaire dans un proche avenir.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
