Текст у 3Д: Гоогле је развио неуронску мрежу која генерише 3Д моделе из текстуалних описа
Укратко
Текст у 3Д неуронска мрежа може да генерише 3Д моделе из текста
ДреамФусион оптимизује 3Д сцене засноване на Имаген тексту у слику
2Д модел дифузије се може користити за синтезу текста у слику
Гоогле је направио а неуронска мрежа способан да креира 3Д моделе из текстуалних описа. Најбољи део је то што најтежи аспект није ни морао да се учи. Имаген је коришћен као основа за Тект-то-3Д.
Шта треба да знате о ДреамФусион?
Модели дифузије обучени на милијардама парова слика-текст довели су до недавног напретка у синтези текста у слику. Прилагођавање овог приступа 3Д синтези ће захтевати велике скупове података означених 3Д средстава, као и ефикасне архитектуре 3Д података за смањење шума, од којих ниједна тренутно није доступна. У овом раду превазилазимо ова ограничења извођењем синтезе текста у 3Д са унапред обученим 2Д дифузија текста у слику модел. Представљамо губитак заснован на дестилацији густине вероватноће који омогућава да се 2Д модел дифузије користи као претходни за оптимизацију параметарског генератор слика. Користећи овај губитак, користимо градијентно спуштање да оптимизујемо насумично иницијализовани 3Д модел (Неурал Радианце Фиелд или НеРФ) тако да његови 2Д прикази из насумичних углова имају минималан губитак.
Генерисани 3Д модел наведеног текста може се посматрати из било ког угла, осветљен променљивим осветљењем и укомпоновати у било које 3Д окружење. Његов метод не захтева никакве 3Д податке о обуци и никакве промене у модел дифузије слике, илуструјући ефикасност коришћења претходно обучених модела дифузије слике као раније.
Примери генерисаног 3Д из текста
Састављање објеката да би се направила сцена
Како то функционише?
ДреамФусион оптимизује 3Д сцену на основу натписа користећи Имаген генеративни модел текста у слику. Он предлаже Сцоре Дистиллатион Самплинг (СДС), који укључује оптимизацију функције губитка за производњу узорака из дифузионог модела. Све док можемо другачије да мапирамо слике, СДС нам омогућава да оптимизујемо узорке у било ком простору параметара, као што је 3Д простор. До defiуз ово диференцирано мапирање, он користи 3Д параметризацију сцене која је слична Неурал Радианце Фиелдс или НеРФс. Сам СДС ствара пролазан изглед сцене, али ДреамФусион побољшава геометрију додатним регуларизаторима и техникама оптимизације. Обучени НеРФ-ови који се производе су кохерентни, имају одличне нормале, геометрију површине и дубину и могу се поново осветлити коришћењем Ламбертовог модела сенчења.
Прочитајте повезане чланке:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
