Text-to-3D: Google разработи невронна мрежа, която генерира 3D модели от текстови описания
Накратко
Текст към 3D невронната мрежа може да генерира 3D модели от текст
DreamFusion оптимизира 3D сцени въз основа на Imagen текст към изображение
2D модел на дифузия може да се използва за синтез на текст към изображение
Google създаде a невронна мрежа способни да създават 3D модели от текстови описания. Най-хубавото е, че най-трудният аспект дори не трябваше да бъде преподаван. Imagen беше използван като основа за Text-to-3D.
Какво трябва да знаете за DreamFusion?
Дифузионните модели, обучени върху милиарди двойки изображение-текст, доведоха до скорошен напредък в синтеза на текст към изображение. Адаптирането на този подход към 3D синтеза ще наложи широкомащабни набори от данни от етикетирани 3D активи, както и ефективни архитектури за премахване на шума от 3D данни, нито една от които в момента не е налична. В тази статия ние преодоляваме тези ограничения, като извършваме синтез на текст към 3D с предварително обучен 2D дифузия от текст към изображение модел. Представяме загуба въз основа на дестилация на плътност на вероятността, която позволява 2D дифузионен модел да бъде използван като приоритет за оптимизиране на параметричен генератор на картини. Използвайки тази загуба, ние използваме градиентно спускане, за да оптимизираме произволно инициализиран 3D модел (Neural Radiance Field или NeRF), така че неговите 2D изобразявания от произволни ъгли да имат минимална загуба.
Генерираният 3D модел на посочения текст може да се гледа от всякакъв ъгъл, да се осветява с променливо осветление и да се комбинира във всяка 3D среда. Неговият метод не изисква данни за 3D обучение и никакви промени в модел на дифузия на изображението, илюстриращ ефикасността от използването на предварително обучени модели за дифузия на изображението като преди.
Примери за генерирани 3D от текст
Сглобяване на обекти, за да направите сцена
Как работи?
DreamFusion оптимизира 3D сцена въз основа на надпис, използвайки модела за генериране на текст към изображение Imagen. Той предлага Score Destillation Sampling (SDS), което включва оптимизиране на функцията на загуба за получаване на проби от модел на дифузия. Докато можем да картографираме изображенията по различен начин, SDS ни позволява да оптимизираме проби във всяко параметрично пространство, като например 3D пространство. Да се defiпри това диференцируемо картографиране, то използва параметризация на 3D сцена, която е подобна на невронни радиационни полета или NeRFs. Само SDS създава приемлив външен вид на сцената, но DreamFusion подобрява геометрията с допълнителни регулаторни средства и техники за оптимизация. Обучените NeRF, които се произвеждат, са кохерентни, имат отлични нормали, геометрия на повърхността и дълбочина и могат да бъдат осветени отново с помощта на модел на засенчване на Lambertian.
Прочетете свързани статии:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
