VToonify: um modelo de IA em tempo real para gerar vídeos de retratos artísticos
Em Breve
Uma estrutura revolucionária do VToonify foi desenvolvida por desenvolvedores para fornecer transferências controladas de estilo de vídeo em retrato de alta resolução.
Para produzir retratos artísticos impressionantes, a estrutura faz uso das camadas de média e alta resolução do StyleGAN.
Ele permite a extensão do existente baseado em StyleGAN modelos de toonificação de imagem para vídeo.
Pesquisadores da Universidade Tecnológica de Nanyang desenvolveram introduziu uma nova estrutura VToonify para gerar transferência de estilo de vídeo de retrato de alta resolução controlável. O VToonify aproveita as camadas de média e alta resolução do StyleGAN para renderizar retratos artísticos de alta qualidade com base nos recursos de conteúdo multiescala extraídos por um codificador para melhor preservar os detalhes do quadro. Os resultados experimentais mostram que nossa estrutura pode gerar vídeos com alta qualidade consistente e expressões faciais desejadas sem a necessidade de alinhamento facial ou restrições de tamanho de quadro.
Como resultado, uma arquitetura totalmente convolucional que aceita faces não alinhadas em vídeos de vários tamanhos produz faces completas com movimentos orgânicos. A estrutura VToonify herda recursos atraentes desses modelos para controle de estilo flexível em cor e intensidade. É compatível com os modelos existentes de toonificação de imagem baseados em StyleGAN para estendê-los à toonificação de vídeo. Este trabalho apresenta duas instanciações do VToonify para transferência de estilo de vídeo de retrato baseada em coleção e baseada em exemplar, respectivamente, construídas sobre Toonify e DualStyleGAN.
Extensas descobertas experimentais mostram que a estrutura proposta do VToonify supera as abordagens concorrentes na produção de filmes de retratos artísticos com controles de estilo ajustáveis que são de excelente qualidade e temporalmente consistentes. Verificar GitHub para mais detalhes.
| Artigo relacionado: OpenAI está trabalhando na criação de um modelo de IA para vídeo |
Para fornecer uma transferência de estilo de vídeo retrato de alta resolução controlável, o VToonify combina as vantagens da estrutura de tradução de imagens e a estrutura baseada em StyleGAN.
(A) Para suportar tamanho de entrada variável, um sistema de tradução de imagens usa redes totalmente convolucionais. É difícil transmitir alta resolução e estilo controlado, no entanto, ao ensinar do zero.
(B) A estrutura baseada em StyleGAN, que suporta apenas tamanho fixo de imagem e perdas de detalhes, usa o modelo StyleGAN pré-treinado para transferência de estilo controlável e de alta resolução.
(C) Para criar uma arquitetura codificadora-geradora completamente convolucional semelhante à da estrutura de tradução de imagem, nosso sistema híbrido estende o StyleGAN excluindo seu recurso de entrada de tamanho fixo e camadas de baixa resolução.
Para preservar os detalhes do quadro, os desenvolvedores treinam um codificador para extrair recursos de conteúdo multiescala do quadro de entrada como uma condição de conteúdo adicional. O VToonify herda a flexibilidade de controle de estilo do modelo StyleGAN, colocando-o no gerador para destilar seus dados e modelo.
| Artigo relacionado: Lambda Labs anunciou um misturador de imagem AI que pode combinar até cinco imagens |
A estrutura VToonify herda as características atraentes para controle de estilo flexível dos atuais modelos de toonificação de imagens baseados em StyleGAN e é compatível com eles para expandi-los para vídeo toonificação. Nosso VToonify oferece o seguinte usando o modelo DualStyleGAN como base do StyleGAN:
- Transferência de estilo de estruturas baseadas em exemplares;
- Modificação do grau de estilo;
- Transferência de estilo de cor com base em exemplares.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
