TextMesh: Nový Stable Diffusion– Model založený na převodu textu na 3D od společnosti Google
Stručně
TextMesh je nová práce s převodem textu na 3D od společnosti Google, která vylepšuje nyní módní přístup k používání Stable Diffusion pro generování různých úhlů stejné základní výzvy (2D obrázek) a poté je z toho pomocí NeRF sestavena 3D síť.
V poslední době zaznamenala schopnost generovat 2D obrázky z textových výzev velký úspěch díky práci modelů generování difúzních obrázků. Tyto modely jsou vysoce schopné produkovat vysoce kvalitní obrazové vzorky po zadání textové výzvy, což umožňuje jednoduché rozhraní pro převod textu na obrázek. Na základě těchto pokroků v oblasti generování 2D obrazu je velkou otázkou v tomto odvětví, zda je možné použít podobné difúzní modely pro generování 3D modelů z textu.
A nyní Google představil novou metodu převodu textu na 3D s elegantním názvem TextMesh. Tato metoda slibuje zlepšení nyní módního přístupu Stable Diffusion-na základě převod textu na 3D model generace. V jádru je generováno více úhlů vložením základního 2D vstupu do modelu. Poté jsou výsledky zpracovány a asimilovány do 3D sítě pomocí přístupu Neural Radiance Fields (NeRF).
| Doporučená: Průvodce Prompt Engineering Ultimate 2023: |
Výhodou tohoto inovativního přístupu oproti aktuálně trendy DreamFusion a CLIPMesh je především uživatelsky přívětivý výstup. Namísto použití náročného formátu NeRF poskytuje TextMesh 3D síť s texturami, takže je mnohem lépe použitelný pro použití v reálném světě. Navíc se tento přístup vyhýbá často se vyskytujícímu efektu vysoké saturace jiných modelů a dokáže zvýšit detaily.
Projekt model funguje nejprve vytvořením 3D sítě ze vstupního obrazu pomocí NeRF. Výsledky pak procházejí rámcem SDF (Signed Distance Fields), aby se dále zpřesnila textura a zlepšila se celková jasnost výstupní sítě. Nemluvě o tom, že rámec SDF pomáhá vyhnout se efektu přesycení, který má jiné 3D modely obvykle trpí.
3D sítě vytvořené jako příklad
Tento přístup využívá úspěchu modelů DiG a rozšiřuje sítě NeRF tak, aby byly založeny na páteři SDF. To vytváří vylepšené možnosti extrakce 3D sítě a mnohem realističtěji vypadající 3D sítě ve srovnání s dříve diskutovanými metodami.
Výsledky použití TextMesh jsou mimořádně přesvědčivé. Autoři dokonce poskytují odkaz na obrázek veverky vytvořený pomocí jejich modelu, který je o nic méně působivý.
TextMesh se osvědčil jako nový revoluční 3D model, který nabízí nepřeberné množství výhod a dokáže vytvářet extrémně realistické 3D sítě. Jeho použití se v blízké budoucnosti jistě stane stále populárnějším.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
