TextMesh: Új Stable Diffusion- Szöveg-3D-alapú modell a Google-tól
Röviden
A TextMesh a Google új szöveges 3D-s munkája, amely továbbfejleszti a ma divatos használatot Stable Diffusion ugyanannak az alappromptnak (2D képnek) különböző szögeit generálni, majd ebből NeRF segítségével 3D hálót állítunk össze.
A közelmúltban nagy sikert aratott a szöveges promptokból 2D képek generálása a diffúz képgeneráló modellek munkájának köszönhetően. Ezek a modellek kiváló minőségű képminták előállítására képesek szöveges prompt segítségével, lehetővé téve az egyszerű szöveg-kép interfészt. A 2D-s képgenerálás terén elért előrelépésekre építve ebben az iparágban az a nagy kérdés, hogy lehetséges-e hasonló diffúziós modelleket alkalmazni szövegből 3D-s modellek előállítására.
És most a Google bevezetett egy új szöveg-3D módszert a karcsú névvel TextMesh. Ez a módszer azt ígéri, hogy javítja a most divatos megközelítést Stable DiffusionAlapú szöveg-3D modell generáció. Alapvetően több szöget állítanak elő egy alapvető 2D bemenetnek a modellbe betáplálásával. Ezután az eredményeket feldolgozzák és 3D-s hálóvá asszimilálják a Neural Radiance Fields (NeRF) megközelítéssel.
| Ajánlott: Prompt Engineering Ultimate Guide 2023: |
Ennek az innovatív megközelítésnek az előnyei a jelenleg divatos DreamFusion és CLIPMesh-hez képest mindenekelőtt a felhasználóbarát kimenet. A kihívást jelentő NeRF formátum használata helyett a TextMesh 3D hálót biztosít textúrákkal, így sokkal jobban alkalmazható a valós felhasználásra. Ezenkívül a megközelítés elkerüli a más modellek gyakran tapasztalt magas telítettségi hatását, és képes növelni a részleteket.
A modell működik úgy, hogy egy bemeneti képből először 3D hálót alakítunk ki a NeRF segítségével. Az eredmények ezután áthaladnak az SDF (Signed Distance Fields) keretrendszeren, hogy tovább finomítsák a textúrát, javítva a kimeneti háló általános tisztaságát. Arról nem is beszélve, hogy az SDF keretrendszer segít elkerülni a túltelítettség hatását, mint a többi 3D modellek általában szenvednek.
Példaként létrehozott 3D hálók
Ez a megközelítés kihasználja a DiG modellek sikerét, és kiterjeszti a NeRF hálózatokat SDF gerincre. Ez javított 3D háló kivonási képességeket és sokkal valósághűbb 3D hálókat eredményez a korábban tárgyalt módszerekhez képest.
A TextMesh használatának eredményei rendkívül meggyőzőek. A szerzők még egy linket is adnak egy mókusról készült képhez, amelyet az ő modelljükkel készítettek, ami nem kevesebb, mint lenyűgöző.
A TextMesh egy forradalmian új 3D-s modellnek bizonyult, amely számos előnnyel rendelkezik, és rendkívül valósághű 3D hálókat tud előállítani. Használata a közeljövőben várhatóan egyre népszerűbb lesz.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
