TextMesh: En ny Stable Diffusion-Baseret tekst-til-3D-model fra Google
Kort sagt
TextMesh er et nyt tekst-til-3D-værk fra Google, der forbedrer den nu fashionable tilgang til at bruge Stable Diffusion at generere forskellige vinkler af den samme grundlæggende prompt (2D-billede), og derefter samles et 3D-net ud fra dette ved hjælp af NeRF.
For nylig har muligheden for at generere 2D-billeder fra tekstprompter haft stor succes på grund af arbejdet med diffusive billedgenereringsmodeller. Disse modeller er i høj grad i stand til at producere billedeksempler af høj kvalitet givet en tekstprompt, hvilket giver mulighed for en enkel tekst-til-billede grænseflade. Med udgangspunkt i disse fremskridt inden for 2D-billedgenerering er det store spørgsmål i denne branche, om det er muligt at anvende lignende diffusionsmodeller til at generere 3D-modeller ud fra tekst.
Og nu har Google introduceret en ny tekst-til-3D-metode med det slanke navn TextMesh. Denne metode lover at forbedre den nu fashionable tilgang til Stable Diffusion-baseret tekst-til-3D-model generation. I sin kerne genereres flere vinkler ved at føre et grundlæggende 2D-input ind i modellen. Derefter behandles resultaterne og assimileres i et 3D-net ved hjælp af Neural Radiance Fields (NeRF) tilgangen.
| Anbefalet: Prompt Engineering Ultimate Guide 2023: |
Fordelene ved denne innovative tilgang i forhold til de i øjeblikket trendy DreamFusion og CLIPMesh er først og fremmest det brugervenlige output. I stedet for at bruge det udfordrende NeRF-format, giver TextMesh 3D-mesh med teksturer, hvilket gør det meget mere anvendeligt til brug i den virkelige verden. Derudover undgår tilgangen den ofte stødte høje mætningseffekt af andre modeller og formår at øge detaljerne.
modellen virker ved først at danne et 3D-mesh fra et inputbillede ved hjælp af NeRF. Resultaterne passerer derefter gennem SDF-rammen (Signed Distance Fields) for yderligere at forfine teksturen, hvilket forbedrer den overordnede klarhed af output-nettet. For ikke at nævne, SDF-rammen hjælper med at undgå den overmætningseffekt, som anden 3D modeller normalt lider af.
3D-masker oprettet som et eksempel
Denne tilgang drager fordel af DiG-modellernes succes og udvider NeRF-netværk til at være baseret på en SDF-rygrad. Dette giver forbedrede 3D-mesh-ekstraktionsmuligheder og meget mere realistisk udseende 3D-masker sammenlignet med de tidligere diskuterede metoder.
Resultaterne fra brugen af TextMesh er ekstremt overbevisende. Forfatterne giver endda et link til et billede af et egern skabt ved hjælp af deres model, hvilket er intet mindre end imponerende.
TextMesh viser sig at være en revolutionerende ny 3D-model, der byder på et væld af fordele og kan producere ekstremt realistiske 3D-masker. Dens brug er bundet til at blive mere og mere populær i den nærmeste fremtid.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
