Text-to-3D: Google desenvolveu uma rede neural que gera modelos 3D a partir de descrições de texto
Em Breve
Texto para 3D rede neural pode gerar modelos 3D a partir de texto
O DreamFusion otimiza cenas 3D com base no Imagen text-to-image
O modelo de difusão 2D pode ser usado para síntese de texto em imagem
O Google criou um rede neural capaz de criar modelos 3D a partir de descrições de texto. A melhor parte é que o aspecto mais difícil nem precisou ser ensinado. Imagen foi usado como base para Text-to-3D.
O que você deve saber sobre DreamFusion?
Modelos de difusão treinados em bilhões de pares imagem-texto levaram a avanços recentes na síntese de texto para imagem. A adaptação dessa abordagem à síntese 3D exigirá conjuntos de dados em grande escala de ativos 3D rotulados, bem como arquiteturas de dados 3D eficientes para remoção de ruído, nenhuma das quais está disponível atualmente. Neste artigo, superamos essas restrições realizando a síntese de texto para 3D com um 2D pré-treinado difusão de texto para imagem modelo. Apresentamos uma perda baseada na destilação por densidade de probabilidade que permite que um modelo de difusão 2D seja usado como prior para otimizar um modelo paramétrico gerador de imagens. Usando essa perda, usamos gradiente descendente para otimizar um modelo 3D inicializado aleatoriamente (um Neural Radiance Field ou NeRF) para que suas renderizações 2D de ângulos aleatórios tenham uma perda mínima.
O modelo 3D gerado do texto especificado pode ser visualizado de qualquer ângulo, iluminado com iluminação variável e composto em qualquer ambiente 3D. Seu método não requer dados de treinamento 3D e nenhuma alteração no modelo de difusão de imagem, ilustrando a eficácia do uso de modelos de difusão de imagem pré-treinados como antes.
Exemplos de 3D gerado a partir de texto
Juntar objetos para fazer uma cena
Como funciona?
DreamFusion otimiza uma cena 3D com base em uma legenda usando o modelo gerador de texto para imagem Imagen. Ele sugere Score Distillation Sampling (SDS), que envolve a otimização de uma função de perda para produzir amostras a partir de um modelo de difusão. Contanto que possamos mapear as imagens de maneira diferente, o SDS nos permite otimizar amostras em qualquer espaço de parâmetros, como um espaço 3D. Para defiNeste mapeamento diferenciável, ele emprega uma parametrização de cena 3D semelhante a Campos de Radiância Neural ou NeRFs. O SDS sozinho cria uma aparência de cena aceitável, mas o DreamFusion aprimora a geometria com regularizadores extras e técnicas de otimização. Os NeRFs treinados produzidos são coerentes, possuem excelentes normais, geometria de superfície e profundidade e podem ser reacender usando um modelo de sombreamento Lambertiano.
Leia artigos relacionados:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
