Microsoft ir izlaidusi difūzijas modeli, kas var izveidot 3D iemiesojumu no viena cilvēka fotoattēla
Īsumā
Vienu cilvēka sejas 2D attēlu var izmantot, lai ģenerētu 3D iemiesojumu, izmantojot 3D Avatar Diffusion mašīnmācīšanās tehniku.
To var izmantot, lai nodrošinātu reālistisku personas 3D skatu spēlēšanai vai citiem mērķiem, vai lai nodrošinātu virtuālās realitātes (VR) vai paplašinātās realitātes (AR) pieredzi.
3D Avatar Diffusion ir mašīnmācīšanās algoritms, kas var uzņemt vienu cilvēka sejas 2D attēlu un izveidot trīsdimensiju (3D) iemiesojumu. Pēc tam iemiesojumu var izmantot, lai izveidotu virtuālās realitātes (VR) vai paplašinātās realitātes (AR) pieredzi vai vienkārši nodrošinātu reālistisku personas 3D skatu spēlēm vai citiem mērķiem.
Difūzijas modelis bija attīstīts Microsoft Research pētnieku komanda, un tas ir aprakstīts žurnālā publicētajā rakstā arXiv.
3D Avatar Diffusion pamatā ir mašīnmācīšanās algoritms, ko sauc par difūzijas modeli. Difūzijas modeļi ir ģeneratīvi modeļi, kas nozīmē, ka tie var ģenerēt jaunus datus, kas ir līdzīgi apmācības datiem. Difūzijas modeļi iepriekš tika izmantoti, lai ģenerētu 3D attēlus no 2D attēliem, taču ADM ir pirmais difūzijas modelis, kas var ģenerēt reālistisku 3D iemiesojumu no viena 2D attēla.
Lai apmācītu modeli, pētnieki izmantoja datu kopu, kurā bija vairāk nekā 200,000 3 2D sejas modeļu. Datu kopa ietvēra plašu seju klāstu ar dažādiem ādas toņiem, frizūrām un sejas vaibstiem. Pēc tam ADM varēja uzzināt attiecības starp 3D attēlu un 3D sejas modeli un no viena 2D attēla ģenerēt reālistisku XNUMXD iemiesojumu.
Modeli var izmantot arī, lai ģenerētu iemiesojumu no fotoattēla, kas uzņemts no cita leņķa
Šis pētījums piedāvā 3D ģeneratīvu modeli, kas automātiski izveido 3D digitālos iemiesojumus, kas tiek attēloti kā neironu starojuma lauki, izmantojot difūzijas modeļus. Ar 3D saistītās pārmērīgās atmiņas un apstrādes prasību dēļ augstas kvalitātes iemiesojumiem nepieciešamo bagātīgo funkciju izveide ir milzīga problēma. Izstrādātāji iesaka šo problēmu risināt izplatāmajā difūzijas tīklā (Rodin).
Šis tīkls izvērš daudzas neironu starojuma lauka 2D iezīmju kartes vienā 2D iezīmju plaknē, kur modelis pēc tam veic 3D izkliedi. Rodina modelī tiek izmantota 3D apzinoša konvolūcija, kas nodrošina projicētos objektus 2D objektu plaknē atbilstoši to sākotnējām attiecībām 3D formātā, lai nodrošinātu tik ļoti nepieciešamo skaitļošanas efektivitāti, vienlaikus saglabājot difūzijas integritāti 3D formātā.
Lasiet vairāk par AI:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
