Text-till-3D: Google har utvecklat ett neuralt nätverk som genererar 3D-modeller från textbeskrivningar
I korthet
Text-till-3D neurala nätverk kan generera 3D-modeller från text
DreamFusion optimerar 3D-scener baserat på Imagen text-till-bild
2D-diffusionsmodell kan användas för text-till-bild-syntes
Google skapade en neurala nätverk kan skapa 3D-modeller från textbeskrivningar. Det bästa är att den svåraste aspekten inte ens behövde läras ut. Imagen användes som grunden för Text-to-3D.
Vad ska du veta om DreamFusion?
Diffusionsmodeller som tränats på miljarder bild-text-par har lett till nya framsteg inom text-till-bild-syntes. Att anpassa detta tillvägagångssätt till 3D-syntes kommer att kräva storskaliga datauppsättningar av märkta 3D-tillgångar såväl som effektiva 3D-dataarkitekturer för avböjning, som ingen av dem är tillgänglig för närvarande. I den här artikeln övervinner vi dessa begränsningar genom att utföra text-till-3D-syntes med en förtränad 2D text-till-bild spridning modell. Vi presenterar en förlust baserad på sannolikhetsdensitetsdestillation som gör att en 2D-diffusionsmodell kan användas som en förutsättning för att optimera en parametrisk bildgenerator. Med denna förlust använder vi gradientnedstigning för att optimera en slumpmässigt initierad 3D-modell (ett Neural Radiance Field eller NeRF) så att dess 2D-renderingar från slumpmässiga vinklar har en minimal förlust.
Den genererade 3D-modellen av den specificerade texten kan ses från vilken vinkel som helst, belysas med variabel belysning och sammansättas i vilken 3D-miljö som helst. Dess metod kräver inga 3D-träningsdata och inga ändringar av bildspridningsmodell, som illustrerar effektiviteten av att använda förtränade bilddiffusionsmodeller som tidigare.
Exempel på genererad 3D från text
Att sätta ihop föremål för att skapa en scen
Hur fungerar det?
DreamFusion optimerar en 3D-scen baserat på en bildtext med hjälp av Imagens text-till-bild-generativa modell. Det föreslår Score Destillation Sampling (SDS), vilket innebär att optimera en förlustfunktion för att producera prover från en diffusionsmodell. Så länge vi kan mappa tillbaka till bilder på olika sätt, gör SDS det möjligt för oss att optimera prover i vilket parameterutrymme som helst, till exempel ett 3D-utrymme. Till defiUtöver denna differentierbara mappning använder den en 3D-scenparameterisering som är besläktad med Neural Radiance Fields eller NeRFs. Enbart SDS skapar ett acceptabelt scenutseende, men DreamFusion förbättrar geometrin med extra regularizers och optimeringstekniker. De tränade NeRFs som produceras är koherenta, har utmärkta normaler, ytgeometri och djup och kan tändas på nytt med en Lambertian-skuggningsmodell.
Läs relaterade artiklar:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
