Tekst-til-3D: Google har udviklet et neuralt netværk, der genererer 3D-modeller ud fra tekstbeskrivelser
Kort sagt
Tekst-til-3D neurale netværk kan generere 3D-modeller fra tekst
DreamFusion optimerer 3D-scener baseret på Imagen tekst-til-billede
2D diffusionsmodel kan bruges til tekst-til-billede syntese
Google oprettede en neurale netværk i stand til at skabe 3D-modeller ud fra tekstbeskrivelser. Det bedste er, at det sværeste aspekt ikke engang behøvede at blive undervist. Imagen blev brugt som grundlag for tekst-til-3D.
Hvad skal du vide om DreamFusion?
Diffusionsmodeller trænet på milliarder af billed-tekst-par har ført til de seneste fremskridt inden for tekst-til-billede syntese. Tilpasning af denne tilgang til 3D-syntese vil kræve store datasæt af mærkede 3D-aktiver såvel som effektive 3D-dataarkitekturer, som ingen af dem er tilgængelige i øjeblikket. I dette papir overvinder vi disse begrænsninger ved at udføre tekst-til-3D-syntese med en fortrænet 2D tekst-til-billede spredning model. Vi præsenterer et tab baseret på sandsynlighedsdensitetsdestillation, der gør det muligt at bruge en 2D-diffusionsmodel som forud for optimering af en parametrisk billedgenerator. Ved at bruge dette tab bruger vi gradientnedstigning til at optimere en tilfældigt initialiseret 3D-model (et Neural Radiance Field eller NeRF), så dets 2D-gengivelser fra tilfældige vinkler har et minimalt tab.
Den genererede 3D-model af den specificerede tekst kan ses fra enhver vinkel, belyses med variabel belysning og sammensættes i ethvert 3D-miljø. Dens metode kræver ingen 3D træningsdata og ingen ændringer i billeddiffusionsmodel, der illustrerer effektiviteten af at bruge forudtrænede billeddiffusionsmodeller som tidligere.
Eksempler på genereret 3D fra tekst
At sætte genstande sammen for at lave en scene
Hvordan virker det?
DreamFusion optimerer en 3D-scene baseret på en billedtekst ved hjælp af Imagen tekst-til-billede-generative model. Det foreslår Score Destillation Sampling (SDS), som involverer optimering af en tabsfunktion for at producere prøver fra en diffusionsmodel. Så længe vi kan kortlægge tilbage til billeder anderledes, gør SDS os i stand til at optimere prøver i ethvert parameterrum, såsom et 3D-rum. Til defiUd over denne differentierbare kortlægning anvender den en 3D-sceneparameterisering, der er beslægtet med Neural Radiance Fields eller NeRF'er. SDS alene skaber et acceptabelt sceneudseende, men DreamFusion forbedrer geometrien med ekstra regularizers og optimeringsteknikker. De trænede NeRF'er, der produceres, er sammenhængende, har fremragende normaler, overfladegeometri og dybde og kan genbelyses ved hjælp af en Lambertian skyggemodel.
Læs relaterede artikler:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
