Nieuwsverslag
30 september 2022

Tekst-naar-3D: Google heeft een neuraal netwerk ontwikkeld dat 3D-modellen genereert uit tekstbeschrijvingen

In het kort

Tekst-naar-3D Een neuraal netwerk kan uit tekst 3D-modellen genereren

DreamFusion optimaliseert 3D-scènes op basis van Imagen text-to-image

2D-diffusiemodel kan worden gebruikt voor tekst-naar-beeldsynthese

Google heeft een neuraal netwerk in staat om 3D-modellen te maken van tekstbeschrijvingen. Het mooiste is dat het moeilijkste aspect niet eens hoefde te worden onderwezen. Imagen werd gebruikt als basis voor Text-to-3D.

Tekst-naar-3D: Google heeft een neuraal netwerk ontwikkeld dat 3D-modellen genereert uit tekstbeschrijvingen

Wat moet u weten over DroomFusie?

Verspreidingsmodellen die zijn getraind op miljarden beeld-tekstparen hebben geleid tot recente vorderingen in de tekst-naar-beeldsynthese. Om deze benadering aan te passen aan 3D-synthese, zijn grootschalige datasets van gelabelde 3D-assets nodig, evenals efficiënte denoising 3D-dataarchitecturen, die momenteel geen van beide beschikbaar zijn. In dit artikel overwinnen we deze beperkingen door tekst-naar-3D-synthese uit te voeren met een vooraf getrainde 2D verspreiding van tekst naar afbeelding model. We presenteren een verlies gebaseerd op destillatie van waarschijnlijkheidsdichtheid, waardoor een 2D-diffusiemodel als prior kan worden gebruikt voor het optimaliseren van een parametrisch beeldgenerator. Met behulp van dit verlies gebruiken we gradiëntafdaling om een ​​willekeurig geïnitialiseerd 3D-model (een Neural Radiance Field of NeRF) te optimaliseren, zodat de 2D-weergaven vanuit willekeurige hoeken een minimaal verlies hebben.

Het gegenereerde 3D-model van de gespecificeerde tekst kan vanuit elke hoek worden bekeken, verlicht met variabele verlichting en worden samengesteld in elke 3D-omgeving. De methode vereist geen 3D-trainingsgegevens en geen wijzigingen in de beeldverspreidingsmodel, wat de doeltreffendheid illustreert van het gebruik van vooraf getrainde beelddiffusiemodellen zoals eerder.

DreamFusion maakt relightable 3D-modellen met high-fidelity uiterlijk, diepte en normalen op basis van een bijschrift. Objecten worden weergegeven als een neuraal stralingsveld, met een voorgetraind verspreiding van tekst naar afbeelding voorafgaand zoals Imagen wordt gebruikt.

Voorbeelden van gegenereerde 3D uit tekst

Prompt: foto van een eekhoorn in een middeleeuws harnas die saxofoon speelt
Prompt: foto van een eekhoorn die een elegante baljurk draagt, zittend aan een pottenbakkersschijf die een kom van klei vormgeeft
Prompt: zeer gedetailleerde metalen sculptuur van een eekhoorn met een paarse hoodie die op een motorfiets rijdt
Prompt: ingewikkeld houtsnijwerk van een eekhoorn die een middeleeuws harnas draagt ​​en een katana hanteert

Objecten samenvoegen om een ​​scène te maken

Hoe werkt het?

DreamFusion optimaliseert een 3D-scène op basis van een bijschrift met behulp van het Imagen tekst-naar-afbeelding generatieve model. Het suggereert Score Distillation Sampling (SDS), waarbij een verliesfunctie wordt geoptimaliseerd om monsters te produceren op basis van een diffusiemodel. Zolang we afbeeldingen op een andere manier kunnen weergeven, stelt SDS ons in staat monsters in elke parameterruimte, zoals een 3D-ruimte, te optimaliseren. Naar defiBij deze differentieerbare mapping wordt gebruik gemaakt van een 3D-scèneparameterisering die verwant is aan Neural Radiance Fields of NeRF's. Alleen SDS zorgt voor een redelijk uiterlijk van de scène, maar DreamFusion verbetert de geometrie met extra regularizers en optimalisatietechnieken. De getrainde NeRF's die worden geproduceerd zijn coherent, hebben uitstekende normalen, oppervlaktegeometrie en diepte, en kunnen opnieuw worden belicht met behulp van een Lambertiaans schaduwmodel.

Gerelateerde artikelen lezen:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

De DOGE Frenzy: analyse van de recente waardestijging van Dogecoin (DOGE).

De cryptocurrency-industrie breidt zich snel uit en meme-munten bereiden zich voor op een aanzienlijke opleving. Dogecoin (DOGE), ...

Meer weten

De evolutie van door AI gegenereerde inhoud in de Metaverse

De opkomst van generatieve AI-inhoud is een van de meest fascinerende ontwikkelingen binnen de virtuele omgeving...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
Galxe introduceert GAL Staking met een beloningspool van $5 miljoen, waardoor gebruikers voordelen kunnen ontvangen via Galxe Earn
Markten Nieuwsverslag Technologie
Galxe introduceert GAL Staking met een beloningspool van $5 miljoen, waardoor gebruikers voordelen kunnen ontvangen via Galxe Earn
24 april 2024
Web3 Aanbieder van data-infrastructuur Syntropy verandert van merk naar Synternet en stemt zijn uiterlijk af op technische vooruitgang
Business Nieuwsverslag Technologie
Web3 Aanbieder van data-infrastructuur Syntropy verandert van merk naar Synternet en stemt zijn uiterlijk af op technische vooruitgang
24 april 2024
Dexalot lanceert zijn centrale limietorderboek, gedecentraliseerde uitwisseling op arbitrum
Markten Nieuwsverslag Technologie
Dexalot lanceert zijn centrale limietorderboek, gedecentraliseerde uitwisseling op arbitrum
24 april 2024
Puffverse haalt $3 miljoen op voor de ontwikkeling van zijn PuffGo-partygame en kondigt portfoliomigratie naar Ronin aan
Business Nieuwsverslag Technologie
Puffverse haalt $3 miljoen op voor de ontwikkeling van zijn PuffGo-partygame en kondigt portfoliomigratie naar Ronin aan
24 april 2024