TextMesh: um novo Stable DiffusionModelo baseado em texto para 3D do Google
Em Breve
TextMesh é um novo trabalho de conversão de texto em 3D do Google que melhora a abordagem agora na moda de usar Stable Diffusion para gerar diferentes ângulos do mesmo prompt básico (imagem 2D) e, em seguida, uma malha 3D é montada usando o NeRF.
Recentemente, a capacidade de gerar imagens 2D a partir de prompts de texto teve grande sucesso devido ao trabalho de modelos de geração de imagens difusas. Esses modelos são altamente capazes de produzir amostras de imagem de alta qualidade com um prompt de texto, permitindo uma interface simples de texto para imagem. Com base nesses avanços no campo da geração de imagens 2D, a grande questão nesse setor é se é possível aplicar modelos de difusão semelhantes para gerar modelos 3D a partir de texto.
E agora o Google introduziu um novo método de conversão de texto em 3D com o nome elegante TextMeshName. Este método promete melhorar a abordagem agora em voga de Stable DiffusionBaseada modelo de texto para 3D geração. Em sua essência, vários ângulos são gerados alimentando uma entrada 2D básica no modelo. Em seguida, os resultados são processados e assimilados em uma malha 3D usando a abordagem Neural Radiance Fields (NeRF).
| Recomendado: Guia definitivo de engenharia de prompt 2023: |
As vantagens desta abordagem inovadora sobre os atuais DreamFusion e CLIPMesh são, acima de tudo, a saída amigável. Em vez de usar o desafiador formato NeRF, o TextMesh fornece malha 3D com texturas, tornando-o muito mais aplicável a usos do mundo real. Além disso, a abordagem evita o efeito de alta saturação frequentemente encontrado em outros modelos e consegue aumentar os detalhes.
A trabalhos de modelo primeiro formando uma malha 3D a partir de uma imagem de entrada com a ajuda do NeRF. Os resultados então passam pela estrutura SDF (Signed Distance Fields) para refinar ainda mais a textura, melhorando a clareza geral da malha de saída. Sem mencionar que a estrutura SDF ajuda a evitar o efeito de supersaturação que outras imagens 3D modelos costuma sofrer.
Malhas 3D criadas como exemplo
Essa abordagem aproveita o sucesso dos modelos DiG e estende as redes NeRF para serem baseadas em um backbone SDF. Isso produz recursos aprimorados de extração de malha 3D e malhas 3D de aparência muito mais realista em comparação com os métodos discutidos anteriormente.
Os resultados do uso do TextMesh são extremamente convincentes. Os autores ainda fornecem um link para uma foto de um esquilo criada usando seu modelo, que é nada menos que impressionante.
O TextMesh prova ser um novo modelo 3D revolucionário que oferece uma infinidade de vantagens e pode produzir malhas 3D extremamente realistas. Seu uso está fadado a se tornar cada vez mais popular em um futuro próximo.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
