تبدیل متن به سه بعدی: گوگل یک شبکه عصبی ایجاد کرده است که مدل های سه بعدی را از توضیحات متن تولید می کند
به طور خلاصه
تبدیل متن به سه بعدی شبکه عصبی می تواند مدل های سه بعدی را از متن تولید کند
DreamFusion صحنه های سه بعدی را بر اساس Imagen text-to-image بهینه می کند
مدل انتشار دو بعدی را می توان برای سنتز متن به تصویر استفاده کرد
گوگل یک شبکه های عصبی قادر به ایجاد مدل های سه بعدی از توضیحات متنی است. بهترین بخش این است که سخت ترین جنبه حتی نیازی به آموزش نداشت. Imagen به عنوان پایه ای برای Text-to-3D استفاده شد.
درباره چه چیزی باید بدانید DreamFusion?
مدل های انتشار آموزش داده شده بر روی میلیاردها جفت تصویر-متن منجر به پیشرفت های اخیر در سنتز متن به تصویر شده است. انطباق این رویکرد با سنتز سه بعدی مستلزم مجموعه داده های مقیاس بزرگ از دارایی های سه بعدی برچسب دار و همچنین معماری های داده های سه بعدی حذف نویز کارآمد است که هیچ کدام در حال حاضر در دسترس نیستند. در این مقاله، ما با انجام سنتز متن به سه بعدی با یک دو بعدی از پیش آموزش دیده بر این محدودیت ها غلبه می کنیم. انتشار متن به تصویر مدل. ما تلفاتی را بر اساس تقطیر چگالی احتمالی ارائه می‌کنیم که به یک مدل انتشار دوبعدی اجازه می‌دهد تا به‌عنوان پیشین برای بهینه‌سازی یک پارامتری استفاده شود. تولید کننده تصویر. با استفاده از این افت، از شیب نزول برای بهینه سازی یک مدل سه بعدی به طور تصادفی اولیه (یک میدان تابش عصبی یا NeRF) استفاده می کنیم تا رندرهای دوبعدی آن از زوایای تصادفی حداقل تلفات را داشته باشند.
مدل سه بعدی تولید شده از متن مشخص شده را می توان از هر زاویه ای مشاهده کرد، با نور متغیر روشن کرد و در هر محیط سه بعدی ترکیب کرد. روش آن به داده های آموزشی سه بعدی و هیچ تغییری در آن نیاز ندارد مدل انتشار تصویر، نشان دهنده کارایی استفاده از مدل های انتشار تصویر از پیش آموزش دیده به عنوان قبلی است.
نمونه هایی از سه بعدی تولید شده از متن
کنار هم قرار دادن اشیا برای ساختن یک صحنه
چگونه کار می کند؟
DreamFusion یک صحنه 3 بعدی را بر اساس عنوان با استفاده از مدل تولید متن به تصویر Imagen بهینه می کند. این روش نمونه‌برداری تقطیر امتیازی (SDS) را پیشنهاد می‌کند که شامل بهینه‌سازی یک تابع تلفات برای تولید نمونه‌ها از یک مدل انتشار است. تا زمانی که بتوانیم به صورت متفاوتی به تصاویر برگردیم، SDS ما را قادر می سازد نمونه ها را در هر فضای پارامتر، مانند فضای سه بعدی، بهینه کنیم. به defiبدون این نگاشت قابل تمایز، از پارامترسازی صحنه سه بعدی استفاده می‌کند که شبیه به میدان‌های تابشی عصبی یا NeRF است. SDS به تنهایی ظاهر صحنه قابل قبولی ایجاد می کند، اما DreamFusion هندسه را با تنظیم کننده های اضافی و تکنیک های بهینه سازی بهبود می بخشد. NeRF های آموزش دیده ای که تولید می شوند منسجم هستند، دارای نرمال های عالی، هندسه سطح و عمق هستند و می توانند با استفاده از مدل سایه زنی لامبرتی دوباره روشن شوند.
مقالات مرتبط را بخوانید:
سلب مسئولیت
در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.
درباره نویسنده
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
مقالات بیشتر
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
