Microsoft vydal difúzny model, ktorý dokáže postaviť 3D avatara z jedinej fotografie osoby
Stručne
Jediný 2D obraz tváre osoby možno použiť na vytvorenie 3D avatara pomocou techniky strojového učenia 3D Avatar Diffusion.
Môže sa použiť na poskytnutie realistického 3D pohľadu na osobu na hranie alebo iné použitie, alebo na poskytnutie zážitku z virtuálnej reality (VR) alebo rozšírenej reality (AR).
3D Avatar Diffusion je algoritmus strojového učenia, ktorý dokáže nasnímať jeden 2D obraz ľudskej tváre a vytvoriť trojrozmerného (3D) avatara. Avatar potom možno použiť na vytvorenie zážitku z virtuálnej reality (VR) alebo rozšírenej reality (AR) alebo jednoducho poskytnúť realistický 3D pohľad na osobu na hranie alebo iné účely.
Difúzny model bol rozvinutý tímom výskumníkov z Microsoft Research a je opísaná v článku publikovanom v časopise arxiv.
3D Avatar Diffusion je založený na type algoritmu strojového učenia, ktorý sa nazýva difúzny model. Difúzne modely sú generatívne modely, čo znamená, že môžu generovať nové údaje, ktoré sú podobné trénovacím údajom. Difúzne modely sa predtým používali na generovanie 3D obrázkov z 2D obrázkov, ale ADM je prvý difúzny model, ktorý dokáže generovať realistický 3D avatar z jedného 2D obrázku.
Na trénovanie modelu výskumníci použili súbor údajov s viac ako 200,000 3 2D modelmi tváre. Súbor údajov zahŕňal širokú škálu tvárí s rôznymi odtieňmi pleti, účesmi a črtami tváre. ADM sa potom dokázalo naučiť vzťah medzi 3D obrázkom a 3D modelom tváre a vygenerovať realistický 2D avatar z jedného XNUMXD obrázku.
Model možno použiť aj na vygenerovanie avatara z fotografie, ktorá bola nasnímaná z iného uhla
Táto štúdia navrhuje 3D generatívny model, ktorý automaticky vytvára 3D digitálne avatary, ktoré sú reprezentované ako polia neurónového žiarenia pomocou modelov difúzie. Vzhľadom na neúmerné požiadavky na pamäť a spracovanie, ktoré sú spojené s 3D, je vytváranie bohatých funkcií potrebných pre vysokokvalitné avatary obrovským problémom. Vývojári navrhujú, aby tento problém riešila zavádzacia difúzna sieť (Rodin).
Táto sieť vytvára početné 2D mapy prvkov poľa neurónového žiarenia do jednej roviny 2D prvkov, kde potom model vykonáva 3D difúziu. Rodinov model využíva 3D-aware konvolúciu, ktorá sa stará o premietnuté prvky v rovine 2D prvkov podľa ich pôvodného vzťahu v 3D, aby poskytla veľmi potrebnú výpočtovú efektivitu pri zachovaní integrity difúzie v 3D.
Prečítajte si viac o AI:
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
