TextMesh: جديد Stable Diffusion-نموذج مستند إلى نص إلى ثلاثي الأبعاد من Google
في سطور
TextMesh هو عمل نصي إلى ثلاثي الأبعاد جديد من Google يعمل على تحسين أسلوب الاستخدام المألوف الآن Stable Diffusion لتوليد زوايا مختلفة لنفس الموجه الأساسي (صورة ثنائية الأبعاد) ثم يتم تجميع شبكة ثلاثية الأبعاد من هذا باستخدام NeRF.
في الآونة الأخيرة ، حققت القدرة على إنشاء صور ثنائية الأبعاد من المطالبات النصية نجاحًا كبيرًا بسبب عمل نماذج إنشاء الصور المنتشرة. تتميز هذه النماذج بقدرتها العالية على إنتاج عينات صور عالية الجودة عند توجيه النص ، مما يسمح بواجهة بسيطة لتحويل النص إلى صورة. بناءً على هذه التطورات في مجال توليد الصور ثنائية الأبعاد ، فإن السؤال الكبير في هذه الصناعة هو ما إذا كان من الممكن تطبيق نماذج انتشار مماثلة لإنشاء نماذج ثلاثية الأبعاد من النص.
والآن قدمت Google طريقة جديدة لتحويل النص إلى ثلاثي الأبعاد باسم أنيق TextMesh. تعد هذه الطريقة بتحسين النهج المألوف الآن لـ Stable Diffusionومقرها نموذج نص إلى ثلاثي الأبعاد جيل. في جوهرها ، يتم إنشاء زوايا متعددة عن طريق تغذية إدخال أساسي ثنائي الأبعاد في النموذج. ثم تتم معالجة النتائج واستيعابها في شبكة ثلاثية الأبعاد باستخدام نهج Neural Radiance Fields (NeRF).
مزايا هذا النهج المبتكر على DreamFusion و CLIPMesh الرائدين حاليًا هي ، في المقام الأول ، الناتج سهل الاستخدام. بدلاً من استخدام تنسيق NeRF الصعب ، يوفر TextMesh شبكة ثلاثية الأبعاد مع مواد ، مما يجعلها أكثر قابلية للتطبيق على الاستخدامات الواقعية. بالإضافة إلى ذلك ، يتجنب النهج تأثير التشبع العالي الذي غالبًا ما يصادف من النماذج الأخرى ويدير لزيادة التفاصيل.
• يعمل النموذج من خلال تشكيل شبكة ثلاثية الأبعاد أولاً من صورة إدخال بمساعدة NeRF. تمر النتائج بعد ذلك عبر إطار SDF (حقول المسافة الموقّعة) لتحسين النسيج ، وتحسين الوضوح العام لشبكة الإخراج. ناهيك عن أن إطار عمل SDF يساعد في تجنب التأثير المفرط للتشبع ثلاثي الأبعاد عارضات ازياء يعاني عادة من.
تم إنشاء شبكات ثلاثية الأبعاد كمثال
يستفيد هذا النهج من نجاح نماذج DiG ويوسع شبكات NeRF لتكون قائمة على العمود الفقري لقوات الدفاع الذاتي. ينتج عن ذلك إمكانات محسنة لاستخراج الشبكات ثلاثية الأبعاد وشبكات ثلاثية الأبعاد تبدو أكثر واقعية مقارنة بالطرق التي تمت مناقشتها سابقًا.
نتائج استخدام TextMesh مقنعة للغاية. حتى أن المؤلفين يوفرون رابطًا لصورة لسنجاب تم إنشاؤها باستخدام نموذجهم ، وهو أمر مثير للإعجاب.
أثبت TextMesh أنه نموذج ثلاثي الأبعاد جديد ثوري يوفر عددًا كبيرًا من المزايا ويمكنه إنتاج شبكات ثلاثية الأبعاد واقعية للغاية. لا بد أن يصبح استخدامه أكثر شيوعًا في المستقبل القريب.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
