„Microsoft“ išleido difuzijos modelį, kuris gali sukurti 3D avatarą iš vienos asmens nuotraukos
Trumpai
Vienintelis 2D asmens veido vaizdas gali būti naudojamas 3D avatarui sukurti naudojant 3D Avatar Diffusion mašininio mokymosi techniką.
Jis gali būti naudojamas norint pateikti tikrovišką 3D asmens vaizdą žaidimams ar kitiems tikslams arba suteikti virtualiosios realybės (VR) arba papildytos realybės (AR) patirtį.
3D Avatar Diffusion yra mašininio mokymosi algoritmas, galintis nufotografuoti vieną 2D žmogaus veido vaizdą ir sukurti trimatį (3D) avatarą. Tada pseudoportretas gali būti naudojamas kuriant virtualios realybės (VR) arba papildytosios realybės (AR) patirtį arba tiesiog pateikiant tikrovišką 3D asmens vaizdą žaidimams ar kitiems tikslams.
Difuzijos modelis buvo išsivystęs „Microsoft Research“ tyrėjų komanda ir yra aprašyta žurnale paskelbtame dokumente ArXiv.
3D Avatar Diffusion yra pagrįsta tam tikro tipo mašininio mokymosi algoritmu, vadinamu difuzijos modeliu. Difuzijos modeliai yra generatyvūs modeliai, o tai reiškia, kad jie gali generuoti naujus duomenis, panašius į mokymo duomenis. Difuzijos modeliai Anksčiau buvo naudojami 3D vaizdams generuoti iš 2D vaizdų, tačiau ADM yra pirmasis difuzijos modelis, galintis sukurti tikrovišką 3D avatarą iš vieno 2D vaizdo.
Norėdami išmokyti modelį, mokslininkai naudojo daugiau nei 200,000 3 2D veido modelių duomenų rinkinį. Duomenų rinkinyje buvo daug įvairių veidų su skirtingais odos tonais, šukuosenomis ir veido bruožais. Tada ADM sugebėjo sužinoti ryšį tarp 3D vaizdo ir 3D veido modelio ir iš vieno 2D vaizdo sukurti tikrovišką XNUMXD avatarą.
Modelis taip pat gali būti naudojamas avatarui sugeneruoti iš nuotraukos, darytos kitu kampu
Šiame tyrime siūlomas 3D generacinis modelis, kuris automatiškai sukuria 3D skaitmeninius avatarus, kurie vaizduojami kaip nervinio spinduliavimo laukai, naudojant difuzijos modelius. Dėl didelių atminties ir apdorojimo reikalavimų, susijusių su 3D, sukurti turtingas funkcijas, reikalingas aukštos kokybės avatarams, yra didžiulė problema. Kūrėjai siūlo, kad šią problemą išspręstų diegiamas difuzijos tinklas (Rodin).
Šis tinklas išskleidžia daugybę nervinio spinduliavimo lauko 2D funkcijų žemėlapių į vieną 2D savybių plokštumą, kur modelis tada vykdo 3D suvokimą. Rodino modelyje naudojama 3D suvokiama konvoliucija, kuri apžvelgia 2D funkcijų plokštumoje suprojektuotus bruožus pagal jų pradinį ryšį 3D formatu, kad būtų užtikrintas labai reikalingas skaičiavimo efektyvumas, išlaikant 3D sklaidos vientisumą.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
