Como gerar animação de transformação de imagem com ControlNet
Devido a uma experiência anterior conduzird, tivemos a ideia de usar o ControlNet para morphing. Só então passamos a usar o modelo depth2img, que pode criar uma imagem a partir de um mapa de profundidade, em vez do ControlNet. E a ControlNet pode funcionar não apenas em profundidade. Este post tem mais informações sobre a técnica.
Vou dar-lhe um rápido resumo do procedimento. A opção de redução de ruído, que afeta o número de etapas durante a geração, está disponível para nós se gerarmos uma imagem em img2img. Por exemplo, com etapas = 30 e força de redução de ruído = 0.5, haverá apenas 15 etapas restantes para criar. Esse raciocínio pode ser aplicado para animar o morph. Você pode transformar qualquer imagem; retratos não são os únicos que podem ser feitos.
Tire a foto original. Ative o ControlNet enquanto deixa a caixa de imagem em branco. Escolha a semente como -1 para gerar testes aleatórios; a contagem do lote influencia sua quantidade. Você pode experimentar os parâmetros de orientação, o peso do cartão recebido e o modo ControlNet. Se gostar da geração, arraste-a com o mouse para img2img e depois repita o processo, procurando a imagem que a segunda imagem eventualmente se tornará. À medida que cada imagem é concluída, surge a questão de como criar uma animação. (Para começar, lembre-se de definir a contagem do lote como 1 para evitar a criação de fotos extras.)
Vamos utilizar uma solução intrigante agora, mas falarei sobre suas deficiências mais tarde.
O gráfico XYZ será usado; você deve escolhê-lo na lista Script. Isso nos permitirá criar não apenas a imagem final, mas também a transição da imagem de origem.
Valores X em que colocamos na linha que diz:
0.0.296.0.39.0.459.0.515.0.563.0.606.0.644.0.68.0.713.0.743.0.772.0.799.0.825.0.85.0.874.0.897.0.919.0.94.0.961.
Isso significa que, quando a geração começar, receberemos 21 fotos em vez de apenas uma (o número de valores separados por vírgulas). Por que essa linha está aí? Por exemplo, pode aparecer de forma diferente.
Esse formato facilita o entendimento: você solicita 20 imagens do automatizado e pede que ele demonstre como a remoção de ruídos afetará o resultado para valores que variam de 0 a 1. A desvantagem da segunda opção é que ela resulta em uma mudança linear nos valores , devido às características do denoise, não parece ser um morphing realista. Números próximos de zero quase não têm efeito sobre o resultado. e em níveis superiores a 0.5, começa a influenciar de forma muito perceptível.
Como resultado, a primeira linha é uma curva do tipo x.4, ou x elevado em 0.4. Uma função reta e linear e uma curva, que produzirão uma saída mais precisa, são contrastadas na imagem. Você pode usar um liquidificador para criar essa string.
Você deve escolher a quantidade de quadros para a transição antes de criar sua linha. É editável nas configurações do projeto.
Você deve executar várias etapas para obter uma linha. Primeiro, experimente a forma da curva. Para conseguir isso, selecione “Excluir quadros-chave” no menu de contexto do parâmetro de animação.
Aqui está a fórmula para obter a curva; o parâmetro ficou azul, indicando que o driver está operando nele.
Você pode mexer com o valor aqui. 4. Mas, evite ir muito baixo. quadro/21 denota uma mudança de valor de 0 para 1 no quadro 0 para o quadro 21. Somente valores entre 1 e 20 quadros são deixados.
No entanto, as chaves não são o driver. Eles devem primeiro ser preparados. Para fazer isso, clique em Object > Animation > Bake Action na janela 3D e clique em OK.
No entanto, isso afetará todas as chaves possíveis do objeto e elas devem ser excluídas. Selecione tudo, exceto a primeira linha e pressione X no teclado (o mouse deve estar localizado abaixo da lista).
E agora, para pegar a linha do lado esquerdo da tela, clique em play e abra a janela do console.
Tem uma string que pode ser copiada.
Agora para fazer a animação, você precisa fazer esse processo separadamente para cada posição da imagem que foi feita no início e depois montar em animação em algum editor de vídeo.
Sim, o processo ainda não está automatizado, mas você pode personalizar tudo para você. Você pode alterar o modelo de geração e o modelo e modo ControlNet, habilitar ou desabilitar o pré-processamento ou qualquer outra coisa que desejar. O principal é não perder bons resultados e depois repetir tudo corretamente para criar a animação.
Desvantagens da tecnologia — você não deve estabelecer muitas bases para a transição. Escrevemos acima que a redução de ruído afeta o número de etapas. Pode acontecer que a saída duplique as imagens, pois vários valores de redução de ruído estarão dentro do mesmo número de etapas. Seu número pode ser observado no console automático.
Essa tecnologia pode ser utilizada em conjunto com retardadores interpoladores, ou seja, enviando a animação para completar os quadros faltantes; isso dará mudanças mais suaves.
Leia mais artigos relacionados:
Aviso Legal
Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.
Sobre o autor
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
Mais artigos
Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet.
