Звіт про новини
Вересень 30, 2022

Text-to-3D: Google розробив нейронну мережу, яка створює 3D-моделі з текстових описів

Коротко

Перетворення тексту в 3D нейронна мережа може генерувати 3D-моделі з тексту

DreamFusion оптимізує 3D-сцени на основі перетворення тексту в зображення Imagen

2D дифузійну модель можна використовувати для синтезу тексту в зображення

Google створив a нейронної мережі можливість створювати 3D моделі з текстових описів. Найприємніше те, що найскладнішому аспекту навіть не потрібно було вчити. Imagen використовувався як основа для Text-to-3D.

Text-to-3D: Google розробив нейронну мережу, яка створює 3D-моделі з текстових описів

Про що ви повинні знати DreamFusion?

Моделі дифузії, навчені на мільярдах пар зображення-текст, призвели до нещодавніх досягнень у синтезі тексту в зображення. Адаптація цього підходу до 3D-синтезу вимагатиме великомасштабних наборів даних із позначеними 3D-активами, а також ефективних архітектур 3D-даних із зменшенням шуму, жодна з яких наразі недоступна. У цій статті ми долаємо ці обмеження, виконуючи синтез тексту в 3D за допомогою попередньо підготовленого 2D розповсюдження тексту в зображення модель. Ми представляємо втрати на основі дистиляції щільності ймовірності, що дозволяє використовувати 2D модель дифузії як попередній варіант для оптимізації параметричного генератор картинок. Використовуючи цю втрату, ми використовуємо градієнтний спуск для оптимізації випадково ініціалізованої 3D-моделі (поля нейронного випромінювання або NeRF), щоб її 2D-візуалізація під випадковими кутами мала мінімальні втрати.

Створену 3D-модель зазначеного тексту можна переглядати під будь-яким кутом, підсвічувати змінним освітленням і комбінувати в будь-яке 3D-середовище. Його метод не потребує даних 3D навчання та жодних змін у модель дифузії зображення, що ілюструє ефективність використання попередньо підготовлених моделей дифузії зображення.

DreamFusion створює світлодіодні 3D-моделі з високоякісним виглядом, глибиною та нормалями на основі підпису. Об’єкти представлені у вигляді поля нейронного випромінювання з попередньо підготовленим розповсюдження тексту в зображення до використання Imagen.

Приклади генерації 3D з тексту

Підказка: фотографія білки в середньовічному обладунку, яка грає на саксофоні
Підказка: фотографія білки в елегантній бальній сукні, яка сидить за гончарним кругом і формує глиняну миску
Підказка: високодеталізована металева скульптура білки в фіолетовому худі на мотоциклі
Підказка: складне дерев’яне різьблення білки в середньовічному обладунку з катаною

З’єднання об’єктів для створення сцени

Як це працює?

DreamFusion оптимізує 3D-сцену на основі підпису за допомогою генеративної моделі перетворення тексту в зображення Imagen. У ньому пропонується відбір проб дистиляції (SDS), який передбачає оптимізацію функції втрат для отримання зразків із моделі дифузії. Поки ми можемо по-іншому відображати зображення, SDS дає нам змогу оптимізувати зразки в будь-якому просторі параметрів, наприклад у 3D-простір. до defiУ цьому диференційованому відображенні використовується параметризація 3D-сцени, подібна до полів нейронного випромінювання або NeRF. Лише SDS створює прийнятний вигляд сцени, але DreamFusion покращує геометрію за допомогою додаткових регуляризаторів і методів оптимізації. Створені треновані NeRF є когерентними, мають чудові нормалі, геометрію поверхні та глибину, і їх можна повторно освітлити за допомогою моделі затінення Ламберта.

Читайте відповідні статті:

відмова

Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.

про автора

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

інші статті
Дамір Ялалов
Дамір Ялалов

Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється. 

Hot Stories
Приєднуйтеся до нашої розсилки.
Останні новини

Від Ripple до The Big Green DAO: як криптовалютні проекти сприяють благодійності

Давайте розглянемо ініціативи, які використовують потенціал цифрових валют для благодійних цілей.

Дізнайтеся більше

AlphaFold 3, Med-Gemini та інші: як AI трансформує охорону здоров’я у 2024 році

ШІ проявляється різними способами в охороні здоров’я, від виявлення нових генетичних кореляцій до розширення можливостей роботизованих хірургічних систем...

Дізнайтеся більше
Приєднуйтесь до нашої спільноти інноваційних технологій
Детальніше
Читати далі
StaFi розгортає підтримку токенів Liquid Staking rSEI у мережі Sei V2
Звіт про новини Технологія
StaFi розгортає підтримку токенів Liquid Staking rSEI у мережі Sei V2
Травень 29, 2024
Blocksquare досягає 100 мільйонів доларів у токенізованому RWA та запускає новий DeFi Платформа Oceanpoint v0.5
Business Звіт про новини Технологія
Blocksquare досягає 100 мільйонів доларів у токенізованому RWA та запускає новий DeFi Платформа Oceanpoint v0.5
Травень 29, 2024
Децентралізовані фінанси Солани (DeFi) Проекти: 5 найпопулярніших за 2024 рік
Digest Топ списки Business ринки Софтвер Технологія
Децентралізовані фінанси Солани (DeFi) Проекти: 5 найпопулярніших за 2024 рік
Травень 29, 2024
JOJO Exchange співпрацює з Brevis для впровадження ZK-Proofs для ставок фінансування
Звіт про новини Технологія
JOJO Exchange співпрацює з Brevis для впровадження ZK-Proofs для ставок фінансування
Травень 29, 2024
CRYPTOMERIA LABS PTE. LTD.