Text-to-3D: طورت Google شبكة عصبية تنشئ نماذج ثلاثية الأبعاد من أوصاف النص
في سطور
نص إلى ثلاثي الأبعاد يمكن للشبكة العصبية إنشاء نماذج ثلاثية الأبعاد من النص
يقوم DreamFusion بتحسين المشاهد ثلاثية الأبعاد بناءً على تحويل النص إلى صورة من Imagen
يمكن استخدام نموذج الانتشار ثنائي الأبعاد لتركيب نص إلى صورة
أنشأت Google ملف الشبكة العصبية قادر على إنشاء نماذج ثلاثية الأبعاد من أوصاف النص. أفضل جزء هو أن الجانب الأكثر صعوبة لم يكن بحاجة إلى تعليمه. تم استخدام Imagen كأساس لـ Text-to-3D.
ما الذي يجب أن تعرفه عنه دريم فيوجن?
أدت نماذج الانتشار المدربة على المليارات من أزواج الصور والنصوص إلى تطورات حديثة في تركيب النص إلى الصورة. سيتطلب تكييف هذا النهج مع التوليف ثلاثي الأبعاد مجموعات بيانات واسعة النطاق للأصول ثلاثية الأبعاد ذات العلامات بالإضافة إلى هياكل بيانات ثلاثية الأبعاد فعالة لتقليل الضوضاء ، وكلاهما غير متاح حاليًا. في هذه الورقة ، تغلبنا على هذه القيود عن طريق إجراء توليف نص إلى ثلاثي الأبعاد باستخدام ثنائي الأبعاد تم اختباره مسبقًا نشر النص إلى الصورة نموذج. نقدم خسارة بناءً على تقطير كثافة الاحتمالية الذي يسمح باستخدام نموذج نشر ثنائي الأبعاد كسابق لتحسين المعلمة مولد الصورة. باستخدام هذه الخسارة، نستخدم النسب المتدرج لتحسين نموذج ثلاثي الأبعاد تمت تهيئته عشوائيًا (مجال الإشعاع العصبي أو NeRF) بحيث تكون عروضه ثنائية الأبعاد من زوايا عشوائية أقل خسارة.
يمكن عرض النموذج ثلاثي الأبعاد الذي تم إنشاؤه للنص المحدد من أي زاوية ، وإضاءته بإضاءة متغيرة ، وتركيبه في أي بيئة ثلاثية الأبعاد. طريقته لا تتطلب بيانات تدريب ثلاثية الأبعاد ولا تغييرات في نموذج نشر الصورة، مما يوضح فعالية استخدام نماذج نشر الصور سابقة الاختبار كما هو الحال مسبقًا.
أمثلة على النماذج ثلاثية الأبعاد التي تم إنشاؤها من النص
تجميع الأشياء معًا لعمل مشهد
كيف تعمل؟
يعمل DreamFusion على تحسين المشهد ثلاثي الأبعاد استنادًا إلى التسمية التوضيحية باستخدام النموذج التوليدي Imagen لتحويل النص إلى صورة. يقترح أخذ عينات التقطير (SDS)، والذي يتضمن تحسين دالة الخسارة لإنتاج عينات من نموذج الانتشار. وطالما أنه يمكننا الرجوع إلى الصور بشكل مختلف، فإن SDS يتيح لنا تحسين العينات في أي مساحة معلمة، مثل مساحة ثلاثية الأبعاد. ل defiفي هذا التعيين التفاضلي، فإنه يستخدم معلمات مشهد ثلاثي الأبعاد تشبه حقول الإشعاع العصبي أو NeRFs. يعمل نظام SDS وحده على إنشاء مظهر مشهد مقبول، لكن DreamFusion يعمل على تحسين الشكل الهندسي من خلال أدوات التنظيم الإضافية وتقنيات التحسين. إن NeRFs المدربة التي يتم إنتاجها متماسكة، ولها معايير طبيعية ممتازة، وهندسة سطحية، وعمق، ويمكن إعادة إشعالها باستخدام نموذج تظليل لامبرت.
اقرأ المقالات ذات الصلة:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
