TextMesh: Novinka Stable Diffusion– Model založený na prevode textu na 3D od spoločnosti Google
Stručne
TextMesh je nová práca na prevode textu do 3D od spoločnosti Google, ktorá vylepšuje teraz módny prístup používania Stable Diffusion na generovanie rôznych uhlov tej istej základnej výzvy (2D obrázok) a potom sa z toho pomocou NeRF zostaví 3D sieť.
Schopnosť generovať 2D obrázky z textových výziev nedávno zaznamenala veľký úspech vďaka práci modelov na vytváranie difúznych obrázkov. Tieto modely sú vysoko schopné produkovať vysokokvalitné obrazové vzorky na základe textovej výzvy, čo umožňuje jednoduché rozhranie text-to-image. Na základe týchto pokrokov v oblasti generovania 2D obrázkov je v tomto odvetví veľkou otázkou, či je možné použiť podobné modely difúzie na generovanie 3D modelov z textu.
A teraz Google predstavil novú metódu prevodu textu na 3D s elegantným názvom TextMesh. Táto metóda sľubuje zlepšenie v súčasnosti módneho prístupu Stable Diffusion-Na základe text-to-3D model generácie. V jeho jadre sa generuje viacero uhlov vložením základného 2D vstupu do modelu. Potom sa výsledky spracujú a asimilujú do 3D siete pomocou prístupu Neural Radiance Fields (NeRF).
| Odporúčaná: Prompt Engineering Ultimate Guide 2023: |
Výhodou tohto inovatívneho prístupu oproti aktuálne trendovým DreamFusion a CLIPMesh je predovšetkým užívateľsky prívetivý výstup. Namiesto použitia náročného formátu NeRF poskytuje TextMesh 3D sieť s textúrami, vďaka čomu je oveľa vhodnejší na použitie v reálnom svete. Okrem toho sa tento prístup vyhýba často sa vyskytujúcemu efektu vysokej saturácie iných modelov a dokáže zvýšiť detaily.
modelové práce najskôr vytvorením 3D siete zo vstupného obrazu pomocou NeRF. Výsledky potom prechádzajú cez rámec SDF (Signed Distance Fields), aby sa ďalej spresnila textúra, čím sa zlepší celková jasnosť výstupnej siete. Nehovoriac o tom, že rámec SDF pomáha predchádzať efektu presýtenia, ktorý má iné 3D modely zvyčajne trpia.
3D siete vytvorené ako príklad
Tento prístup využíva úspech modelov DiG a rozširuje siete NeRF tak, aby boli založené na chrbtici SDF. To vytvára vylepšené možnosti extrakcie 3D sietí a oveľa realistickejšie vyzerajúce 3D siete v porovnaní s predtým diskutovanými metódami.
Výsledky používania TextMesh sú mimoriadne presvedčivé. Autori dokonca poskytujú odkaz na obrázok veveričky vytvorený pomocou ich modelu, ktorý nie je ničím menším než pôsobivým.
TextMesh sa ukázal ako nový revolučný 3D model, ktorý ponúka množstvo výhod a dokáže vytvárať mimoriadne realistické 3D siete. Jeho používanie sa v blízkej budúcnosti určite stane čoraz obľúbenejším.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
