AI Wiki
06 de março de 2023

Como gerar animação de transformação de imagem com ControlNet

Devido a uma experiência anterior conduzird, tivemos a ideia de usar o ControlNet para morphing. Só então passamos a usar o modelo depth2img, que pode criar uma imagem a partir de um mapa de profundidade, em vez do ControlNet. E a ControlNet pode funcionar não apenas em profundidade. Este post tem mais informações sobre a técnica.

Como gerar animação de transformação de imagem com ControlNet
Como gerar animação de transformação de imagem com ControlNet

Vou dar-lhe um rápido resumo do procedimento. A opção de redução de ruído, que afeta o número de etapas durante a geração, está disponível para nós se gerarmos uma imagem em img2img. Por exemplo, com etapas = 30 e força de redução de ruído = 0.5, haverá apenas 15 etapas restantes para criar. Esse raciocínio pode ser aplicado para animar o morph. Você pode transformar qualquer imagem; retratos não são os únicos que podem ser feitos.

Como gerar animação de transformação de imagem com ControlNet
Como gerar animação de transformação de imagem com ControlNet
Como gerar animação de transformação de imagem com ControlNet

Tire a foto original. Ative o ControlNet enquanto deixa a caixa de imagem em branco. Escolha a semente como -1 para gerar testes aleatórios; a contagem do lote influencia sua quantidade. Você pode experimentar os parâmetros de orientação, o peso do cartão recebido e o modo ControlNet. Se gostar da geração, arraste-a com o mouse para img2img e depois repita o processo, procurando a imagem que a segunda imagem eventualmente se tornará. À medida que cada imagem é concluída, surge a questão de como criar uma animação. (Para começar, lembre-se de definir a contagem do lote como 1 para evitar a criação de fotos extras.)

Vamos utilizar uma solução intrigante agora, mas falarei sobre suas deficiências mais tarde.

Como gerar animação de transformação de imagem com ControlNet

O gráfico XYZ será usado; você deve escolhê-lo na lista Script. Isso nos permitirá criar não apenas a imagem final, mas também a transição da imagem de origem.

Como gerar animação de transformação de imagem com ControlNet

Valores X em que colocamos na linha que diz:

0.0.296.0.39.0.459.0.515.0.563.0.606.0.644.0.68.0.713.0.743.0.772.0.799.0.825.0.85.0.874.0.897.0.919.0.94.0.961.

Isso significa que, quando a geração começar, receberemos 21 fotos em vez de apenas uma (o número de valores separados por vírgulas). Por que essa linha está aí? Por exemplo, pode aparecer de forma diferente.

Esse formato facilita o entendimento: você solicita 20 imagens do automatizado e pede que ele demonstre como a remoção de ruídos afetará o resultado para valores que variam de 0 a 1. A desvantagem da segunda opção é que ela resulta em uma mudança linear nos valores , devido às características do denoise, não parece ser um morphing realista. Números próximos de zero quase não têm efeito sobre o resultado. e em níveis superiores a 0.5, começa a influenciar de forma muito perceptível.

Como gerar animação de transformação de imagem com ControlNet

Como resultado, a primeira linha é uma curva do tipo x.4, ou x elevado em 0.4. Uma função reta e linear e uma curva, que produzirão uma saída mais precisa, são contrastadas na imagem. Você pode usar um liquidificador para criar essa string.

Como gerar animação de transformação de imagem com ControlNet

Você deve escolher a quantidade de quadros para a transição antes de criar sua linha. É editável nas configurações do projeto.

Como gerar animação de transformação de imagem com ControlNet

Você deve executar várias etapas para obter uma linha. Primeiro, experimente a forma da curva. Para conseguir isso, selecione “Excluir quadros-chave” no menu de contexto do parâmetro de animação.

Como gerar animação de transformação de imagem com ControlNet

Aqui está a fórmula para obter a curva; o parâmetro ficou azul, indicando que o driver está operando nele.

Como gerar animação de transformação de imagem com ControlNet

Você pode mexer com o valor aqui. 4. Mas, evite ir muito baixo. quadro/21 denota uma mudança de valor de 0 para 1 no quadro 0 para o quadro 21. Somente valores entre 1 e 20 quadros são deixados.

Como gerar animação de transformação de imagem com ControlNet

No entanto, as chaves não são o driver. Eles devem primeiro ser preparados. Para fazer isso, clique em Object > Animation > Bake Action na janela 3D e clique em OK.

Como gerar animação de transformação de imagem com ControlNet

No entanto, isso afetará todas as chaves possíveis do objeto e elas devem ser excluídas. Selecione tudo, exceto a primeira linha e pressione X no teclado (o mouse deve estar localizado abaixo da lista).

Como gerar animação de transformação de imagem com ControlNet

E agora, para pegar a linha do lado esquerdo da tela, clique em play e abra a janela do console.

Como gerar animação de transformação de imagem com ControlNet
Como gerar animação de transformação de imagem com ControlNet

Tem uma string que pode ser copiada.

Como gerar animação de transformação de imagem com ControlNet

Agora para fazer a animação, você precisa fazer esse processo separadamente para cada posição da imagem que foi feita no início e depois montar em animação em algum editor de vídeo.

Sim, o processo ainda não está automatizado, mas você pode personalizar tudo para você. Você pode alterar o modelo de geração e o modelo e modo ControlNet, habilitar ou desabilitar o pré-processamento ou qualquer outra coisa que desejar. O principal é não perder bons resultados e depois repetir tudo corretamente para criar a animação.

Desvantagens da tecnologia — você não deve estabelecer muitas bases para a transição. Escrevemos acima que a redução de ruído afeta o número de etapas. Pode acontecer que a saída duplique as imagens, pois vários valores de redução de ruído estarão dentro do mesmo número de etapas. Seu número pode ser observado no console automático.

Como gerar animação de transformação de imagem com ControlNet

Essa tecnologia pode ser utilizada em conjunto com retardadores interpoladores, ou seja, enviando a animação para completar os quadros faltantes; isso dará mudanças mais suaves.

Fonte Original

Leia mais artigos relacionados:

Aviso Legal

Em linha com a Diretrizes do Projeto Trust, observe que as informações fornecidas nesta página não se destinam e não devem ser interpretadas como aconselhamento jurídico, tributário, de investimento, financeiro ou qualquer outra forma. É importante investir apenas o que você pode perder e procurar aconselhamento financeiro independente se tiver alguma dúvida. Para mais informações, sugerimos consultar os termos e condições, bem como as páginas de ajuda e suporte fornecidas pelo emissor ou anunciante. MetaversePost está comprometida com relatórios precisos e imparciais, mas as condições de mercado estão sujeitas a alterações sem aviso prévio.

Sobre o autor

Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet. 

Mais artigos
Damir Yalalov
Damir Yalalov

Damir é o líder de equipe, gerente de produto e editor da Metaverse Post, abordando tópicos como AI/ML, AGI, LLMs, Metaverse e Web3-Campos relacionados. Seus artigos atraem um grande público de mais de um milhão de usuários todos os meses. Ele parece ser um especialista com 10 anos de experiência em SEO e marketing digital. Damir foi mencionado em Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e outras publicações. Ele viaja entre os Emirados Árabes Unidos, Turquia, Rússia e CEI como um nômade digital. Damir formou-se em física, o que ele acredita ter lhe dado as habilidades de pensamento crítico necessárias para ter sucesso no cenário em constante mudança da internet. 

Hot Stories
Junte-se ao nosso boletim informativo.
Últimas notícias

Do Ripple ao Big Green DAO: como os projetos de criptomoeda contribuem para a caridade

Vamos explorar iniciativas que aproveitem o potencial das moedas digitais para causas beneficentes.

Saber Mais

AlphaFold 3, Med-Gemini e outros: A maneira como a IA transforma a saúde em 2024

A IA se manifesta de várias maneiras na área da saúde, desde a descoberta de novas correlações genéticas até o fortalecimento de sistemas cirúrgicos robóticos...

Saber Mais
Saiba Mais
Saiba mais
As 10 principais ferramentas gratuitas de IA para criação de conteúdo, edição de vídeo e muito mais
AI Wiki Digerir Listas principais Educação Estilo de vida Software Tecnologia
As 10 principais ferramentas gratuitas de IA para criação de conteúdo, edição de vídeo e muito mais
16 de maio de 2024
AlphaFold 3, Med-Gemini e outros: A maneira como a IA transforma a saúde em 2024
AI Wiki Análise Digerir Opinião O negócio Mercados Relatório de notícias Software Histórias e resenhas Tecnologia
AlphaFold 3, Med-Gemini e outros: A maneira como a IA transforma a saúde em 2024
13 de maio de 2024
IA generativa em 2024: tendências emergentes, avanços e perspectivas futuras
AI Wiki Software Histórias e resenhas Tecnologia
IA generativa em 2024: tendências emergentes, avanços e perspectivas futuras
8 de maio de 2024
Med-Gemini do Google preparado para dar uma vantagem inicial GPT-4 Com seu desempenho superior em saúde
AI Wiki Notícias Software Tecnologia
Med-Gemini do Google preparado para dar uma vantagem inicial GPT-4 Com seu desempenho superior em saúde
2 de maio de 2024
CRYPTOMERIA LABS PTE. LTDA.