Microsoft har släppt en diffusionsmodell som kan bygga en 3D-avatar från ett enda foto av en person
I korthet
En enda 2D-bild av en persons ansikte kan användas för att generera en 3D-avatar med hjälp av 3D Avatar Diffusion maskininlärningsteknik.
Den kan användas för att ge en realistisk 3D-vy av personen för spel eller annan användning, eller för att ge en virtuell verklighet (VR) eller förstärkt verklighet (AR) upplevelse.
3D Avatar Diffusion är en maskininlärningsalgoritm som kan ta en enda 2D-bild av ett mänskligt ansikte och skapa en tredimensionell (3D) avatar. Avataren kan sedan användas för att skapa en virtuell verklighet (VR) eller förstärkt verklighet (AR)-upplevelse eller för att helt enkelt ge en realistisk 3D-vy av personen för spel eller andra ändamål.
Diffusionsmodellen var utvecklade av ett team av forskare vid Microsoft Research och beskrivs i en artikel publicerad i tidskriften arXiv.
3D Avatar Diffusion är baserad på en typ av maskininlärningsalgoritm som kallas diffusionsmodell. Diffusionsmodeller är generativa modeller, vilket innebär att de kan generera ny data som liknar träningsdatan. Diffusionsmodeller har använts tidigare för att generera 3D-bilder från 2D-bilder, men ADM är den första diffusionsmodellen som kan generera en realistisk 3D-avatar från en enda 2D-bild.
För att träna modellen använde forskarna en datauppsättning med över 200,000 3 2D-ansiktsmodeller. Datauppsättningen inkluderade en mängd olika ansikten med olika hudtoner, frisyrer och ansiktsdrag. ADM kunde sedan lära sig förhållandet mellan 3D-bilden och 3D-ansiktsmodellen och generera en realistisk 2D-avatar från en enda XNUMXD-bild.
Modellen kan också användas för att generera en avatar från ett foto som har tagits från en annan vinkel
Denna studie föreslår en generativ 3D-modell som automatiskt skapar 3D digitala avatarer som representeras som neurala strålningsfält med hjälp av diffusionsmodeller. På grund av de oöverkomliga minnes- och bearbetningskraven förknippade med 3D, är det ett stort problem att skapa de rika funktioner som krävs för avatarer av hög kvalitet. Utvecklare föreslår att distributionsnätverket (Rodin) löser detta problem.
Detta nätverk rullar ut många 2D-funktionskartor av ett neuralt strålningsfält till ett enda 2D-funktionsplan, där modellen sedan exekverar 3D-medveten diffusion. Rodin-modellen använder 3D-medveten faltning, som tar hand om projicerade funktioner i 2D-funktionsplanet enligt deras ursprungliga förhållande i 3D, för att tillhandahålla den välbehövliga beräkningseffektiviteten samtidigt som diffusionsintegriteten i 3D bibehålls.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
