Text-to-3D: Google розробив нейронну мережу, яка створює 3D-моделі з текстових описів
Коротко
Перетворення тексту в 3D нейронна мережа може генерувати 3D-моделі з тексту
DreamFusion оптимізує 3D-сцени на основі перетворення тексту в зображення Imagen
2D дифузійну модель можна використовувати для синтезу тексту в зображення
Google створив a нейронної мережі можливість створювати 3D моделі з текстових описів. Найприємніше те, що найскладнішому аспекту навіть не потрібно було вчити. Imagen використовувався як основа для Text-to-3D.
Про що ви повинні знати DreamFusion?
Моделі дифузії, навчені на мільярдах пар зображення-текст, призвели до нещодавніх досягнень у синтезі тексту в зображення. Адаптація цього підходу до 3D-синтезу вимагатиме великомасштабних наборів даних із позначеними 3D-активами, а також ефективних архітектур 3D-даних із зменшенням шуму, жодна з яких наразі недоступна. У цій статті ми долаємо ці обмеження, виконуючи синтез тексту в 3D за допомогою попередньо підготовленого 2D розповсюдження тексту в зображення модель. Ми представляємо втрати на основі дистиляції щільності ймовірності, що дозволяє використовувати 2D модель дифузії як попередній варіант для оптимізації параметричного генератор картинок. Використовуючи цю втрату, ми використовуємо градієнтний спуск для оптимізації випадково ініціалізованої 3D-моделі (поля нейронного випромінювання або NeRF), щоб її 2D-візуалізація під випадковими кутами мала мінімальні втрати.
Створену 3D-модель зазначеного тексту можна переглядати під будь-яким кутом, підсвічувати змінним освітленням і комбінувати в будь-яке 3D-середовище. Його метод не потребує даних 3D навчання та жодних змін у модель дифузії зображення, що ілюструє ефективність використання попередньо підготовлених моделей дифузії зображення.
Приклади генерації 3D з тексту
З’єднання об’єктів для створення сцени
Як це працює?
DreamFusion оптимізує 3D-сцену на основі підпису за допомогою генеративної моделі перетворення тексту в зображення Imagen. У ньому пропонується відбір проб дистиляції (SDS), який передбачає оптимізацію функції втрат для отримання зразків із моделі дифузії. Поки ми можемо по-іншому відображати зображення, SDS дає нам змогу оптимізувати зразки в будь-якому просторі параметрів, наприклад у 3D-простір. до defiУ цьому диференційованому відображенні використовується параметризація 3D-сцени, подібна до полів нейронного випромінювання або NeRF. Лише SDS створює прийнятний вигляд сцени, але DreamFusion покращує геометрію за допомогою додаткових регуляризаторів і методів оптимізації. Створені треновані NeRF є когерентними, мають чудові нормалі, геометрію поверхні та глибину, і їх можна повторно освітлити за допомогою моделі затінення Ламберта.
Читайте відповідні статті:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
