Szöveg 3D-be: A Google kifejlesztett egy neurális hálózatot, amely szöveges leírásokból 3D modelleket generál
Röviden
Szöveg 3D-be A neurális hálózat szövegből 3D modelleket tud generálni
A DreamFusion optimalizálja a 3D jeleneteket az Imagen szöveg-kép alapján
A 2D diffúziós modell szöveg-kép szintézishez használható
A Google létrehozta a neurális hálózat szöveges leírásokból képes 3D-s modelleket készíteni. A legjobb az egészben az, hogy a legnehezebb szempontot nem is kellett tanítani. Az Imagent használták a Text-to-3D alapjaként.
Mit kell tudni róla DreamFusion?
A több milliárd kép-szöveg páron kiképzett diffúziós modellek a közelmúltban a szöveg-kép szintézis fejlődéséhez vezettek. Ennek a megközelítésnek a 3D szintézishez való adaptálása szükségessé teszi a címkézett 3D eszközök nagyméretű adatkészleteit, valamint hatékony zajtalanító 3D adatarchitektúrákat, amelyek közül jelenleg egyik sem áll rendelkezésre. Ebben a cikkben ezeket a korlátozásokat úgy lépjük le, hogy szövegből 3D-be szintézist hajtunk végre egy előképzett 2D-vel. szöveg-kép diffúzió modell. Valószínűségi sűrűségű desztilláción alapuló veszteséget mutatunk be, amely lehetővé teszi egy 2D diffúziós modell használatát előzetesen a parametrikus optimalizáláshoz. képgenerátor. Ennek a veszteségnek a felhasználásával gradiens süllyedést használunk egy véletlenszerűen inicializált 3D modell (neural Radiance Field vagy NeRF) optimalizálására, hogy a véletlenszerű szögekből származó 2D-s megjelenítései minimális veszteséggel járjanak.
A megadott szövegből generált 3D-s modell bármilyen szögből megtekinthető, változó világítással megvilágítható, és bármilyen 3D-s környezetbe összeilleszthető. Módszere nem igényel 3D-s képzési adatokat, és nem módosítja a kép diffúziós modell, amely bemutatja az előképzett képdiffúziós modellek korábbi használatának hatékonyságát.
Példák szövegből generált 3D-re
Tárgyak összerakása jelenet készítéséhez
Hogyan működik?
A DreamFusion a képaláírás alapján optimalizálja a 3D-s jelenetet az Imagen szöveg-kép generatív modell segítségével. Azt javasolja, hogy Score Distillation Sampling (SDS) legyen, amely magában foglalja a veszteségfüggvény optimalizálását a diffúziós modellből származó minták előállításához. Mindaddig, amíg másképpen tudunk visszatérképezni a képeket, az SDS lehetővé teszi számunkra, hogy optimalizáljuk a mintákat bármely paramétertérben, például egy 3D-s térben. Nak nek defiEzen a differenciálható leképezésen kívül olyan 3D-s jelenetparaméterezést alkalmaz, amely hasonlít a neurális sugárzási mezőkre vagy a NeRF-ekre. Az SDS önmagában elfogadható jelenet megjelenést hoz létre, de a DreamFusion extra szabályosítókkal és optimalizálási technikákkal javítja a geometriát. Az előállított betanított NeRF-ek koherensek, kiváló normálértékekkel, felületi geometriával és mélységgel rendelkeznek, és Lamberti-féle árnyékolási modell segítségével újra megvilágíthatók.
Olvassa el a kapcsolódó cikkeket:
Jogi nyilatkozat
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
