VToonify: 예술적인 초상화 비디오 생성을 위한 실시간 AI 모델
요컨대
제어된 고해상도 세로 비디오 스타일 전송을 제공하기 위해 개발자가 혁신적인 VToonify 프레임워크를 개발했습니다.
멋진 예술적인 초상화를 제작하기 위해 프레임워크는 StyleGAN의 중간 및 고해상도 레이어를 사용합니다.
기존 StyleGAN 기반의 확장 가능 이미지 톤화 모델 비디오로.
난양 기술 대학의 연구원들은 새로운 VToonify 프레임워크 도입 제어 가능한 고해상도 세로 비디오 스타일 전송을 생성합니다. VToonify는 StyleGAN의 중간 및 고해상도 레이어를 활용하여 프레임 세부 정보를 더 잘 보존하기 위해 인코더에서 추출한 다중 스케일 콘텐츠 기능을 기반으로 고품질의 예술적 초상화를 렌더링합니다. 실험 결과는 우리의 프레임워크가 얼굴 정렬이나 프레임 크기 제한 없이 일관되게 높은 품질과 원하는 얼굴 표정으로 비디오를 생성할 수 있음을 보여줍니다.
결과적으로 다양한 크기의 비디오에서 정렬되지 않은 얼굴을 허용하는 완전 컨벌루션 아키텍처는 유기적인 동작으로 완전한 얼굴을 생성합니다. VToonify 프레임워크는 색상 및 강도에 대한 유연한 스타일 제어를 위해 이러한 모델의 매력적인 기능을 상속합니다. 기존 StyleGAN 기반 이미지 톤화 모델과 호환되어 비디오 톤화로 확장됩니다. 이 작업은 Toonify 및 DualStyleGAN을 기반으로 구축된 컬렉션 기반 및 예시 기반 초상화 비디오 스타일 전송을 위한 VToonify의 두 가지 인스턴스화를 소개합니다.
광범위한 실험 결과에 따르면 제안된 VToonify 프레임워크는 뛰어난 품질과 시간적으로 일관된 조정 가능한 스타일 컨트롤을 사용하여 예술적인 초상화 영화를 제작하는 경쟁 방식보다 성능이 뛰어납니다. 확인하다 GitHub의 자세한 내용은.
| 관련 기사 : OpenAI 비디오용 AI 모델을 만드는 중입니다. |
제어 가능한 고해상도 세로 비디오 스타일 전송을 제공하기 위해 VToonify는 이미지 변환 프레임워크와 StyleGAN 기반 프레임워크의 장점을 결합합니다.
(A) 가변 입력 크기를 지원하기 위해 이미지 변환 시스템은 완전 컨벌루션 네트워크를 사용합니다. 그럼에도 불구하고 처음부터 가르칠 때 고해상도 및 통제된 스타일을 전달하는 것은 어려운 일입니다.
(B) 고정된 사진 크기 및 디테일 손실만 지원하는 StyleGAN 기반 프레임워크는 고해상도 및 제어 가능한 스타일 전송을 위해 사전 훈련된 StyleGAN 모델을 사용합니다.
(C) 이미지 번역 프레임워크와 유사한 완전한 컨볼루션 인코더 생성기 아키텍처를 생성하기 위해 하이브리드 시스템은 고정 크기 입력 기능과 저해상도 레이어를 삭제하여 StyleGAN을 확장합니다.
프레임 세부 정보를 보존하기 위해 개발자는 추가 콘텐츠 조건으로 입력 프레임에서 다중 스케일 콘텐츠 기능을 추출하도록 인코더를 교육합니다. VToonify는 StyleGAN 모델을 생성기에 넣어 데이터와 모델을 모두 증류함으로써 StyleGAN 모델의 스타일 제어 유연성을 상속합니다.
VToonify 프레임워크는 현재 StyleGAN 기반 이미지 만화화 모델의 유연한 스타일 제어에 대한 매력적인 특성을 상속하고 호환되어 다음으로 확장합니다. 비디오 의화. VToonify는 DualStyleGAN 모델을 StyleGAN 기반으로 사용하여 다음을 제공합니다.
- 모범 기반 구조에서 스타일 이전;
- 스타일 정도 수정;
- 예제를 기반으로 한 색상 스타일 전송.
AI에 대해 자세히 알아보기:
책임 부인
줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.
저자에 관하여
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
더 많은 기사
Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.
