Текстовая сетка: новый Stable Diffusion- Основанная на преобразовании текста в 3D модель от Google
Коротко
TextMesh — это новая работа Google по преобразованию текста в 3D, которая улучшает модный сейчас подход использования Stable Diffusion для создания разных ракурсов одной и той же базовой подсказки (2D-изображения), а затем из нее с помощью NeRF собирается 3D-сетка.
В последнее время возможность генерировать 2D-изображения из текстовых подсказок получила большой успех благодаря работе диффузионных моделей генерации изображений. Эти модели способны создавать высококачественные образцы изображений с помощью текстового приглашения, что позволяет использовать простой интерфейс преобразования текста в изображение. Основываясь на этих достижениях в области создания 2D-изображений, большой вопрос в этой отрасли заключается в том, можно ли применять аналогичные модели распространения для создания 3D-моделей из текста.
А теперь Google представила новый метод преобразования текста в 3D с изящным названием Текстовая сетка. Этот метод обещает улучшить модный сейчас подход Stable DiffusionНа основе преобразование текста в 3D-модель поколение. По своей сути, несколько углов генерируются путем подачи в модель базового 2D-ввода. Затем результаты обрабатываются и ассимилируются в трехмерную сетку с использованием подхода Neural Radiance Fields (NeRF).
| Рекомендуется: Окончательное руководство Prompt Engineering 2023: |
Преимущества этого новаторского подхода по сравнению с модными в настоящее время DreamFusion и CLIPMesh заключаются, прежде всего, в удобном для пользователя выводе. Вместо того, чтобы использовать сложный формат NeRF, TextMesh предоставляет 3D-сетку с текстурами, что делает его гораздо более применимым для реального использования. Кроме того, этот подход позволяет избежать часто встречающегося эффекта высокой насыщенности других моделей и позволяет увеличить детализацию.
Ассоциация модельные работы сначала сформировав 3D-сетку из входного изображения с помощью NeRF. Затем результаты проходят через структуру SDF (Signed Distance Fields) для дальнейшего уточнения текстуры, улучшая общую четкость выходной сетки. Не говоря уже о том, что структура SDF помогает избежать эффекта перенасыщения, который наблюдается в других 3D-графиках. Модели обычно страдают от.
3D-сетки, созданные в качестве примера
Этот подход использует успех моделей DiG и расширяет сети NeRF, чтобы они основывались на магистрали SDF. Это дает улучшенные возможности извлечения 3D-сетки и намного более реалистично выглядящие 3D-сетки по сравнению с ранее обсуждавшимися методами.
Результаты использования TextMesh чрезвычайно убедительны. Авторы даже дают ссылку на изображение белки, созданное с использованием их модели, что не может не впечатлять.
TextMesh зарекомендовал себя как революционная новая 3D-модель, которая предлагает множество преимуществ и может создавать чрезвычайно реалистичные 3D-сетки. Его использование обязательно станет более популярным в ближайшем будущем.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
