Tekst-naar-3D: Google heeft een neuraal netwerk ontwikkeld dat 3D-modellen genereert uit tekstbeschrijvingen
In het kort
Tekst-naar-3D Een neuraal netwerk kan uit tekst 3D-modellen genereren
DreamFusion optimaliseert 3D-scènes op basis van Imagen text-to-image
2D-diffusiemodel kan worden gebruikt voor tekst-naar-beeldsynthese
Google heeft een neuraal netwerk in staat om 3D-modellen te maken van tekstbeschrijvingen. Het mooiste is dat het moeilijkste aspect niet eens hoefde te worden onderwezen. Imagen werd gebruikt als basis voor Text-to-3D.
Wat moet u weten over DroomFusie?
Verspreidingsmodellen die zijn getraind op miljarden beeld-tekstparen hebben geleid tot recente vorderingen in de tekst-naar-beeldsynthese. Om deze benadering aan te passen aan 3D-synthese, zijn grootschalige datasets van gelabelde 3D-assets nodig, evenals efficiënte denoising 3D-dataarchitecturen, die momenteel geen van beide beschikbaar zijn. In dit artikel overwinnen we deze beperkingen door tekst-naar-3D-synthese uit te voeren met een vooraf getrainde 2D verspreiding van tekst naar afbeelding model. We presenteren een verlies gebaseerd op destillatie van waarschijnlijkheidsdichtheid, waardoor een 2D-diffusiemodel als prior kan worden gebruikt voor het optimaliseren van een parametrisch beeldgenerator. Met behulp van dit verlies gebruiken we gradiëntafdaling om een willekeurig geïnitialiseerd 3D-model (een Neural Radiance Field of NeRF) te optimaliseren, zodat de 2D-weergaven vanuit willekeurige hoeken een minimaal verlies hebben.
Het gegenereerde 3D-model van de gespecificeerde tekst kan vanuit elke hoek worden bekeken, verlicht met variabele verlichting en worden samengesteld in elke 3D-omgeving. De methode vereist geen 3D-trainingsgegevens en geen wijzigingen in de beeldverspreidingsmodel, wat de doeltreffendheid illustreert van het gebruik van vooraf getrainde beelddiffusiemodellen zoals eerder.
Voorbeelden van gegenereerde 3D uit tekst
Objecten samenvoegen om een scène te maken
Hoe werkt het?
DreamFusion optimaliseert een 3D-scène op basis van een bijschrift met behulp van het Imagen tekst-naar-afbeelding generatieve model. Het suggereert Score Distillation Sampling (SDS), waarbij een verliesfunctie wordt geoptimaliseerd om monsters te produceren op basis van een diffusiemodel. Zolang we afbeeldingen op een andere manier kunnen weergeven, stelt SDS ons in staat monsters in elke parameterruimte, zoals een 3D-ruimte, te optimaliseren. Naar defiBij deze differentieerbare mapping wordt gebruik gemaakt van een 3D-scèneparameterisering die verwant is aan Neural Radiance Fields of NeRF's. Alleen SDS zorgt voor een redelijk uiterlijk van de scène, maar DreamFusion verbetert de geometrie met extra regularizers en optimalisatietechnieken. De getrainde NeRF's die worden geproduceerd zijn coherent, hebben uitstekende normalen, oppervlaktegeometrie en diepte, en kunnen opnieuw worden belicht met behulp van een Lambertiaans schaduwmodel.
Gerelateerde artikelen lezen:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
