TextMesh: En ny Stable Diffusion-Baserad text-till-3D-modell från Google
I korthet
TextMesh är ett nytt text-till-3D-verk från Google som förbättrar det nu fashionabla sättet att använda Stable Diffusion för att generera olika vinklar av samma grundläggande prompt (2D-bild) och sedan sätts ett 3D-nät samman från detta med hjälp av NeRF.
På senare tid har möjligheten att generera 2D-bilder från textmeddelanden haft stor framgång tack vare arbetet med diffusiva bildgenereringsmodeller. Dessa modeller är mycket kapabla att producera högkvalitativa bildprover med en textuppmaning, vilket möjliggör ett enkelt text-till-bild-gränssnitt. Med utgångspunkt i dessa framsteg inom området 2D-bildgenerering är den stora frågan i den här branschen om det är möjligt att använda liknande diffusionsmodeller för att generera 3D-modeller från text.
Och nu har Google introducerat en ny text-till-3D-metod med det snygga namnet TextMesh. Denna metod lovar att förbättra den nu fashionabla strategin för Stable Diffusion-Baserade text-till-3D-modell generation. I dess kärna genereras flera vinklar genom att mata in en grundläggande 2D-ingång i modellen. Sedan bearbetas resultaten och assimileras till ett 3D-nät med hjälp av Neural Radiance Fields (NeRF) tillvägagångssätt.
| Rekommenderas: Snabb Engineering Ultimate Guide 2023: |
Fördelarna med detta innovativa tillvägagångssätt jämfört med de för närvarande trendiga DreamFusion och CLIPMesh är framför allt det användarvänliga resultatet. Istället för att använda det utmanande NeRF-formatet, tillhandahåller TextMesh 3D-nät med texturer, vilket gör det mycket mer tillämpbart för verkliga användningar. Dessutom undviker metoden den ofta förekommande höga mättnadseffekten av andra modeller och lyckas öka detaljerna.
Smakämnen modellen fungerar genom att först bilda ett 3D-nät från en ingångsbild med hjälp av NeRF. Resultaten passerar sedan genom SDF-ramverket (Signed Distance Fields) för att ytterligare förfina texturen, vilket förbättrar den övergripande klarheten i utmatningsnätet. För att inte nämna, SDF-ramverket hjälper till att undvika övermättnadseffekten som annan 3D modeller brukar lida av.
3D-nät skapade som ett exempel
Detta tillvägagångssätt drar fördel av framgången med DiG-modeller och utökar NeRF-nätverk till att baseras på ett SDF-stamnät. Detta ger förbättrade 3D-nätextraktionsmöjligheter och mycket mer realistiska 3D-nät jämfört med de tidigare diskuterade metoderna.
Resultaten från att använda TextMesh är extremt övertygande. Författarna ger till och med en länk till en bild av en ekorre skapad med deras modell, vilket är inget mindre än imponerande.
TextMesh visar sig vara en revolutionerande ny 3D-modell som erbjuder en uppsjö av fördelar och kan producera extremt realistiska 3D-nät. Dess användning kommer definitivt att bli mer och mer populär inom en snar framtid.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
