TextMesh: Новинка Stable Diffusion-На основі тексту в 3D модель від Google
Коротко
TextMesh — це нова робота Google із перетворення тексту в 3D, яка покращує модний зараз підхід до використання Stable Diffusion щоб створити різні ракурси однієї базової підказки (2D-зображення), а потім із цього за допомогою NeRF збирається 3D-сітка.
Останнім часом можливість генерувати 2D-зображення з текстових підказок досягла великого успіху завдяки роботі моделей дифузійного генерування зображень. Ці моделі дуже здатні створювати високоякісні зразки зображень за допомогою текстової підказки, що забезпечує простий інтерфейс перетворення тексту в зображення. Спираючись на ці досягнення у сфері створення 2D-зображень, велике питання в цій галузі полягає в тому, чи можливо застосувати подібні моделі дифузії для створення 3D-моделей з тексту.
А тепер Google представив новий метод перетворення тексту в 3D із витонченою назвою TextMesh. Цей метод обіцяє покращити модний зараз підхід Stable DiffusionНа основі модель перетворення тексту в 3D покоління. По суті, кілька кутів генеруються шляхом подачі базових 2D-вхідних даних у модель. Потім результати обробляються та асимілюються в 3D-сітку за допомогою підходу нейронних полів випромінювання (Neural Radiance Fields, NeRF).
| Рекомендується: Prompt Engineering Ultimate Guide 2023: |
Переваги цього інноваційного підходу перед модними на даний момент DreamFusion і CLIPMesh полягають, перш за все, у зручності виведення. Замість того, щоб використовувати складний формат NeRF, TextMesh надає 3D-сітку з текстурами, що робить її більш придатною для використання в реальному світі. Крім того, цей підхід дозволяє уникнути ефекту високої насиченості, який часто зустрічається в інших моделях, і вдається збільшити деталі.
Команда модельні роботи спочатку сформувавши 3D-сітку з вхідного зображення за допомогою NeRF. Потім результати проходять через структуру SDF (Signed Distance Fields) для подальшого вдосконалення текстури, покращуючи загальну чіткість вихідної сітки. Не кажучи вже про те, що структура SDF допомагає уникнути ефекту перенасичення, ніж інші 3D Моделі зазвичай страждають від.
3D-сітки, створені як приклад
Цей підхід використовує переваги успіху моделей DiG і розширює мережі NeRF на базі магістралі SDF. Це створює покращені можливості вилучення 3D-сітки та набагато реалістичніші 3D-сітки порівняно з методами, які обговорювалися раніше.
Результати використання TextMesh надзвичайно переконливі. Автори навіть надають посилання на зображення білки, створене за їх моделлю, що не менш вражає.
TextMesh доводить себе як нова революційна 3D-модель, яка пропонує безліч переваг і може створювати надзвичайно реалістичні 3D-сітки. Його використання в найближчому майбутньому стане все більш популярним.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
