Microsoft heeft een diffusiemodel uitgebracht dat een 3D-avatar kan bouwen op basis van een enkele foto van een persoon
In het kort
Een enkele 2D-afbeelding van het gezicht van een persoon kan worden gebruikt om een 3D-avatar te genereren met behulp van de machine learning-techniek 3D Avatar Diffusion.
Het kan worden gebruikt om een realistische 3D-weergave van de persoon te bieden voor gaming of ander gebruik, of om een virtual reality- (VR) of augmented reality-ervaring (AR) te bieden.
De 3D Avatar Diffusion is een machine learning-algoritme dat een enkele 2D-afbeelding van een menselijk gezicht kan maken en een driedimensionale (3D) avatar kan maken. De avatar kan vervolgens worden gebruikt om een virtual reality (VR) of augmented reality (AR) ervaring te creëren of om gewoon een realistische 3D-weergave van de persoon te bieden voor gaming of andere doeleinden.
Het diffusiemodel was ontwikkelde door een team van onderzoekers van Microsoft Research en wordt beschreven in een artikel dat in het tijdschrift is gepubliceerd arXiv.
De 3D Avatar Diffusion is gebaseerd op een type machine-learning algoritme dat een diffusiemodel wordt genoemd. Diffusiemodellen zijn generatieve modellen, wat betekent dat ze nieuwe gegevens kunnen genereren die vergelijkbaar zijn met de trainingsgegevens. Verspreidingsmodellen zijn eerder gebruikt om 3D-afbeeldingen te genereren uit 2D-afbeeldingen, maar de ADM is het eerste diffusiemodel dat een realistische 3D-avatar kan genereren uit een enkele 2D-afbeelding.
Om het model te trainen, gebruikten de onderzoekers een dataset van meer dan 200,000 3D-gezichtsmodellen. De dataset omvatte een grote verscheidenheid aan gezichten met verschillende huidtinten, kapsels en gelaatstrekken. De ADM kon vervolgens de relatie leren tussen het 2D-beeld en het 3D-gezichtsmodel en een realistische 3D-avatar genereren uit een enkel 2D-beeld.
Het model kan ook worden gebruikt om een avatar te genereren van een foto die vanuit een andere hoek is genomen
Deze studie stelt een generatief 3D-model voor dat automatisch 3D digitale avatars creëert die worden weergegeven als neurale stralingsvelden met behulp van diffusiemodellen. Vanwege de onbetaalbare geheugen- en verwerkingsvereisten die aan 3D zijn verbonden, is het creëren van de rijke functies die nodig zijn voor avatars van hoge kwaliteit een enorm probleem. Ontwikkelaars suggereren dat het roll-out diffusienetwerk (Rodin) dit probleem aanpakt.
Dit netwerk rolt talloze 2D-kenmerkkaarten van een neuraal stralingsveld uit in een enkel 2D-kenmerkvlak, waar het model vervolgens 3D-bewuste diffusie uitvoert. Het Rodin-model maakt gebruik van 3D-bewuste convolutie, die zorgt voor geprojecteerde kenmerken in het 2D-kenmerkenvlak volgens hun oorspronkelijke relatie in 3D, om de broodnodige rekenefficiëntie te bieden met behoud van de integriteit van diffusie in 3D.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
