2023 년 9 월 19 일

Google, 정적 이미지에서 동적 장면을 시뮬레이션하는 혁신적인 생성 이미지 역학 소개

by 다미르 얄랄로프

게시: 19년 2023월 4일 오전 21:19 업데이트: 2023년 9월 02일 오전 XNUMX:XNUMX

by 다닐 먀킨

수정 및 사실 확인 날짜: 19년 2023월 4일 오전 21시 XNUMX분

구글이 공개한 생성적 이미지 역학, 새로운 접근 방식을 통해 단일 정적 이미지를 끊김 없이 반복되는 비디오로 변환 또는 다양한 실제 응용 프로그램을 제공하는 대화형 동적 장면.

Google, 정적 이미지에서 동적 장면을 시뮬레이션하는 혁신적인 생성 이미지 역학 소개

이 선구적인 기술의 핵심은 장면 역학에 앞서 이미지 공간을 모델링하는 것입니다. 목표는 다양한 동적 상호 작용을 받을 때 이미지 내의 개체와 요소가 어떻게 작동할 수 있는지에 대한 포괄적인 이해를 만드는 것입니다. 이러한 이해는 사용자 상호 작용에 대한 객체 역학의 반응을 효과적으로 시뮬레이션하는 데 사용될 수 있습니다.

이 기술의 주요 특징은 끊김 없이 반복되는 비디오를 생성하는 기능입니다. Google 시스템은 장면 역학에 앞서 이미지 공간을 활용함으로써 이미지 내 요소의 모션을 추정 및 확장하여 매력적이고 지속적인 비디오 루프로 변환할 수 있습니다. 이 기능은 콘텐츠 제작자와 디자이너에게 수많은 창의적 가능성을 열어줍니다.

이 논문은 나무, 꽃, 촛불, 바람에 날리는 옷과 같은 자연스럽고 진동하는 모션을 포함하는 실제 비디오 시퀀스에서 추출된 모션 궤적 모음에서 학습된 장면 역학을 기반으로 사전 이미지 공간을 모델링하는 접근 방식을 제시합니다. . 훈련된 모델은 주파수 조정 확산 샘플링 프로세스를 사용하여 신경 확률론적 모션 텍스처라고 하는 푸리에 도메인의 픽셀당 장기 모션 표현을 예측합니다. 이 표현은 전체 비디오에 걸쳐 있는 조밀한 모션 궤적으로 변환될 수 있습니다.

이 기술을 통해 사용자는 정적 이미지 내의 개체와 현실적으로 상호 작용할 수 있습니다. 사용자 자극에 대한 객체 역학의 반응을 시뮬레이션함으로써 Google 시스템은 다음을 허용합니다. 몰입형 및 대화형 경험 이미지 내에서. 이는 혁명을 일으킬 가능성이 있습니다. 메타버스 공간 사용자가 시각적 콘텐츠에 참여하는 방식.

이 연구에서는 이미지 공간 장면 모션, 즉 단일 이미지의 모든 픽셀 모션에 대한 생성적 사전 모델링을 탐구합니다. 이 모델은 실제 비디오 시퀀스의 대규모 컬렉션에서 자동으로 추출된 모션 궤적에 대해 훈련되었습니다. 입력 이미지를 기반으로 훈련된 모델은 미래에 대한 각 픽셀의 궤적을 특성화하는 모션 기반의 계수 집합인 신경 확률론적 모션 텍스처를 예측합니다.

이러한 혁신의 기초는 세심하게 훈련된 모델에 있습니다. Google의 모델은 자연스럽고 진동하는 동작을 특징으로 하는 실제 비디오 시퀀스에서 추출된 방대한 동작 궤적 데이터세트를 통해 학습합니다. 이러한 시퀀스에는 나무가 흔들리고, 꽃이 움직이고, 촛불이 깜박이고, 옷이 바람에 휘날리는 장면이 포함됩니다. 이 다양한 데이터 세트를 통해 모델은 광범위한 동적 동작을 이해할 수 있습니다.

연구 범위는 바람에 흔들리는 나무와 꽃과 같이 자연스럽고 진동하는 역학이 있는 실제 장면으로 제한됩니다. 푸리에 급수는 기본 함수로 선택됩니다. 결과적인 주파수 공간 텍스처는 조밀한 장거리 픽셀 동작 궤적으로 변환될 수 있으며, 이는 향후 프레임을 합성하는 데 사용될 수 있으며 정지 이미지를 사실적인 애니메이션으로 전환할 수 있습니다.

와 함께 제시될 때 단일 이미지, 훈련된 모델은 주파수 조정 확산 샘플링 프로세스를 사용합니다. 이 프로세스는 신경 확률론적 모션 텍스처라고 불리는 푸리에 도메인의 픽셀당 장기 모션 표현을 예측합니다. 그런 다음 이 표현은 전체 비디오에 걸쳐 있는 조밀한 모션 궤적으로 변환됩니다. 이미지 기반 렌더링 모듈과 결합하면 이러한 궤적을 다양한 실제 응용 프로그램에 활용할 수 있습니다.

원시 RGB 픽셀에 대한 사전과 비교할 때 모션 캡처에 대한 사전은 픽셀 값의 변화를 효율적으로 설명하는 보다 근본적이고 낮은 차원의 저차원 구조입니다. 이를 통해 수행하는 이전 방법에 비해 보다 일관된 장기 생성과 애니메이션에 대한 보다 세밀한 제어가 가능해졌습니다. 이미지 애니메이션 원시 비디오 합성을 통해.

생성된 모션 표현은 원활한 반복 비디오 생성, 생성된 모션 편집, 대화형 활성화와 같은 다양한 다운스트림 애플리케이션에 편리합니다. 동적 이미지, 사용자가 적용한 힘에 대한 객체 역학의 반응을 시뮬레이션합니다.

더 많은 관련 항목 읽기:

태그 :

책임 부인

줄 안 트러스트 프로젝트 지침, 이 페이지에 제공된 정보는 법률, 세금, 투자, 재정 또는 기타 형태의 조언을 제공하기 위한 것이 아니며 해석되어서도 안 됩니다. 손실을 감수할 수 있는 만큼만 투자하고 의심스러운 경우 독립적인 재정 조언을 구하는 것이 중요합니다. 자세한 내용은 이용약관은 물론 발행자나 광고주가 제공하는 도움말 및 지원 페이지를 참조하시기 바랍니다. MetaversePost 는 정확하고 편견 없는 보고를 위해 최선을 다하고 있지만 시장 상황은 예고 없이 변경될 수 있습니다.

저자에 관하여

Damir는 팀 리더, 제품 관리자 및 편집자입니다. Metaverse Post, AI/ML, AGI, LLM, Metaverse 및 Web3-관련 분야. 그의 기사는 매달 백만 명이 넘는 사용자의 엄청난 청중을 끌어들입니다. 그는 SEO 및 디지털 마케팅 분야에서 10년의 경험을 가진 전문가로 보입니다. Damir는 Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto 및 기타 간행물. UAE, 터키, 러시아, CIS를 오가며 디지털 유목민으로 활동하고 있습니다. Damir는 끊임없이 변화하는 인터넷 환경에서 성공하는 데 필요한 비판적 사고 기술을 제공했다고 믿는 물리학 학사 학위를 받았습니다.

더 많은 기사

다미르 얄랄로프