Geração 1: IA gera novos vídeos a partir dos existentes combinando prompts e imagens
Em Breve
Gen-1 é uma rede neural que pode gerar novos vídeos a partir dos existentes, combinando prompts e imagens.
Também pode ser usado para criar vídeos totalmente novos do zero.
A capacidade de gerar novos vídeos a partir dos existentes tem várias aplicações potenciais.
RunWayML, uma startup de inteligência artificial, anunciou um novo produto chamado Gen-1, uma rede neural que pode gerar novos vídeos a partir dos existentes, combinando prompts e imagens. Durante anos, as redes neurais limitaram-se à tarefa de transferência de estilo, que é o processo de pegar uma imagem e aplicar o estilo de outra imagem a ela. É assim que obtemos aqueles vídeos de transferência de estilo de aprendizagem profunda onde, por exemplo, uma paisagem é renderizada no estilo de Starry Night de Van Gogh.
Agora, com o Gen-1, as redes neurais podem fazer mais do que apenas transferência de estilo. Ele pode gerar novos vídeos do zero, usando prompts e imagens como entrada. Isso abre toda uma nova gama de possibilidades para vídeos criados por IA. No momento, os vídeos gerados pelo Gen-1 são curtos e simples. Mas à medida que a tecnologia se desenvolve, podemos esperar ver mais complexos e vídeos realistas sendo gerados por IA.
| Postagem recomendada: A saúde reprodutiva masculina melhora ao assistir a vídeos adultos em realidade virtual |
O que é Gen-1?
Fortes ferramentas de criação e edição de imagens são desbloqueadas por guias de texto modelos de difusão generativa. Embora tenham sido aplicados à criação de vídeos, os métodos atuais para editar o conteúdo de um material já existente, mantendo sua estrutura, exigem retreinamento caro para cada entrada ou dependem da propagação arriscada de alterações de imagem entre os quadros.
Os desenvolvedores descrevem um modelo para difusão de vídeo guiada por estrutura e conteúdo, que altera os filmes com base em descrições escritas ou visuais do resultado desejado. Devido ao desacoplamento insuficiente, surgem conflitos entre modificações de conteúdo fornecidas pelo usuário e representações de estrutura. Eles demonstram que a integridade da estrutura e do conteúdo pode ser controlada por treinamento em estimativas de profundidade monocular com vários níveis de detalhe.
Sintetize novos vídeos de maneira realista e consistente, aplicando a composição e o estilo de uma imagem ou prompt de texto à estrutura do seu vídeo de origem. É como filmar algo novo sem realmente filmar nada.
Transferir o estilo de uma imagem ou prompt para cada quadro de um vídeo pode ser uma ótima maneira de unificar seu projeto, dar a ele um tema visual abrangente e criar consistência.
Através do uso de software e design criativo, as maquetes podem ser transformadas em renderizações esteticamente agradáveis e interativas que dão vida à visão do usuário.
Com os recursos de edição de vídeo, é fácil isolar partes de um vídeo e aprimorá-las com prompts de texto.
Aplicando uma imagem de entrada ou pronto renderizações sem textura podem melhorar muito seu realismo, dando vida aos modelos 3D.
A Runway Research dedica-se à construção de sistemas de IA multimodais que permitem novas formas de criatividade. O Gen-1 representa mais um de nossos passos fundamentais nesta missão. Se você é um criativo procurando experimentar o futuro da narrativa, solicite o acesso abaixo.
O Gen-1 também pode ser usado para criar vídeos totalmente novos do zero. Ele pode ser usado para várias finalidades, incluindo a criação de novas versões de filmes existentes ou a criação de novos filmes. Esta notícia certamente animará os cineastas e outros criativos que estão sempre procurando novas maneiras de ultrapassar os limites de sua arte. Com o Gen-1, eles agora têm uma nova ferramenta poderosa à sua disposição.
A habilidade de gerar novos vídeos dos já existentes tem uma série de aplicações potenciais. Por exemplo, pode ser usado para criar novas versões de conteúdo de vídeo existente, portanto, pode ser usado para criar versões alternativas de cenas ou tomadas que podem ser muito caras ou logisticamente difíceis de filmar.
Você pode se inscrever para usar o modelo enquanto ele estiver em teste beta SUA PARTICIPAÇÃO FAZ A DIFERENÇA.
Leia mais sobre IA:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
