TextMesh: Ново Stable Diffusion- Базиран на текст към 3D модел от Google
Накратко
TextMesh е нова работа от Google за преобразуване на текст в 3D, която подобрява модерния сега подход за използване Stable Diffusion за генериране на различни ъгли на една и съща основна подкана (2D картина) и след това от това се сглобява 3D мрежа с помощта на NeRF.
Напоследък способността за генериране на 2D изображения от текстови подкани пожъна голям успех благодарение на работата на моделите за дифузно генериране на изображения. Тези модели са много способни да произвеждат висококачествени образци на изображения при текстова подкана, което позволява прост интерфейс текст към изображение. Въз основа на този напредък в областта на генерирането на 2D изображения, големият въпрос в тази индустрия е дали е възможно да се приложат подобни модели на дифузия за генериране на 3D модели от текст.
И сега Google представи нов метод за преобразуване на текст в 3D с елегантното име TextMesh. Този метод обещава да подобри модерния сега подход на Stable Diffusion-базиран текст към 3D модел поколение. В основата си множество ъгли се генерират чрез подаване на основен 2D вход в модела. След това резултатите се обработват и асимилират в 3D мрежа, като се използва подходът на невронни радиационни полета (NeRF).
| Препоръчва се: Prompt Engineering Ultimate Guide 2023: |
Предимствата на този иновативен подход пред модерните в момента DreamFusion и CLIPMesh са преди всичко удобният за потребителя изход. Вместо да използва предизвикателния NeRF формат, TextMesh предоставя 3D мрежа с текстури, като по този начин го прави много по-приложим за употреба в реалния свят. Освен това подходът избягва често срещания ефект на високо насищане на други модели и успява да увеличи детайлите.
- модел работи като първо формирате 3D мрежа от входно изображение с помощта на NeRF. След това резултатите преминават през SDF (Signed Distance Fields) рамка за допълнително прецизиране на текстурата, подобрявайки цялостната яснота на изходната мрежа. Да не говорим, че рамката на SDF помага за избягване на ефекта на пренасищане от другите 3D модели обикновено страдат от.
3D мрежи, създадени като пример
Този подход се възползва от успеха на моделите DiG и разширява NeRF мрежите, за да бъдат базирани на SDF гръбнак. Това създава подобрени възможности за извличане на 3D мрежи и много по-реалистично изглеждащи 3D мрежи в сравнение с предишните обсъждани методи.
Резултатите от използването на TextMesh са изключително убедителни. Авторите дори предоставят връзка към снимка на катерица, създадена по техен модел, което е не по-малко от впечатляващо.
TextMesh се доказва като нов революционен 3D модел, който предлага множество предимства и може да създаде изключително реалистични 3D мрежи. Използването му ще стане все по-популярно в близко бъдеще.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
