新聞報導 專業技術
2023 年 9 月 19 日

谷歌推出創新的生成影像動力學,可在靜態影像中模擬動態場景

谷歌推出了一款 生成圖像動力學,一種新穎的方法可以實現 將單一靜態影像轉換為無縫循環視頻 或互動式動態場景,提供廣泛的實際應用。

谷歌推出創新的生成影像動力學,可在靜態影像中模擬動態場景

這項開創性技術的核心是先於場景動態對影像空間進行建模。 目標是全面了解圖像中的物件和元素在經歷各種動態互動時的行為。 這種理解可以用來有效地模擬物件動態對使用者互動的回應。

該技術的主要特點是能夠產生無縫循環影片。 透過利用場景動力學之前的圖像空間,Google的系統可以推斷和擴展圖像中元素的運動,將其轉變為迷人的連續視訊循環。 此功能為內容創作者和設計者開啟了許多創意可能性。

本文提出了一種基於場景動力學對圖像空間先驗進行建模的方法,該方法是從包含自然振盪運動(例如樹、花、蠟燭和風中飄動的衣服)的真實視頻序列中提取的運動軌跡集合中學習的。 訓練後的模型使用頻率協調擴散取樣過程來預測傅立葉域中的每像素長期運動表示,他們稱之為神經隨機運動紋理。 這種表示可以轉換為跨越整個影片的密集運動軌跡。

該技術使用戶能夠與靜態圖像中的物件進行逼真的互動。 透過模擬物體動力學對用戶激​​勵的反應,谷歌的系統可以 沉浸式與互動體驗 在圖像內。 這有可能徹底改變 元宇宙空間 以及使用者如何與視覺內容互動。

該研究探討了對影像空間場景運動(即單一影像中所有像素的運動)的生成先驗進行建模。 該模型根據從大量真實影片序列中自動提取的運動軌跡進行訓練。 以輸入影像為條件,經過訓練的模型會預測神經隨機運動紋理:一組運動基礎係數,用於表徵每個像素未來的軌跡。

這項創新的基礎在於精心訓練的模式。 谷歌的模型從大量運動軌跡資料集中進行學習,這些軌跡是從具有自然振盪運動特徵的真實視訊序列中提取的。 這些序列包括樹木搖曳、花朵移動、蠟燭閃爍、衣服在風中飄揚等元素的場景。 這種多樣化的資料集使模型能夠理解廣泛的動態行為。

研究範圍僅限於具有自然振盪動態的現實世界場景,例如隨風移動的樹木和花朵。 選擇傅立葉級數作為基底函數。 然後,所得的頻率空間紋理可以轉換為密集的遠端像素運動軌跡,可用於合成未來的幀,將靜止影像轉變為逼真的動畫。

當出現 單張圖片,訓練後的模型採用頻率協調擴散取樣過程。 這個過程預測傅立葉域中的每像素長期運動表示,稱為神經隨機運動紋理。 然後,該表示被轉換為跨越整個影片的密集運動軌跡。 與基於影像的渲染模組相結合,這些軌跡可用於各種實際應用。

與原始 RGB 像素的先驗相比,運動捕捉的先驗更基本、更低維度的低維度結構,可以有效解釋像素值的變化。 與之前執行的方法相比,這可以實現更連貫的長期生成和對動畫更細微的控制 影像動畫 透過原始影片合成。

生成的運動表示對於許多下游應用程式來說很方便,例如創建無縫循環影片、編輯生成的運動以及啟用互動式 動態圖像,模擬物體動力學對使用者施加的力的反應。

閱讀更多相關主題:

免責聲明

在與線 信託專案指南,請注意,本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是,僅投資您可以承受損失的金額,並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息,我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告,但市場狀況如有變更,恕不另行通知。

關於作者

Damir 是團隊領導、產品經理和編輯 Metaverse Post,涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位,他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。 

更多文章
達米爾亞拉洛夫
達米爾亞拉洛夫

Damir 是團隊領導、產品經理和編輯 Metaverse Post,涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位,他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。 

Hot Stories

俄羅斯將嚴厲打擊加密貨幣,並提議加強對私人礦工的監管

by 維多利亞·帕爾奇克
2024 年 5 月 13 日
加入我們的時事通訊。
最新消息

幣安與阿根廷合作打擊網路犯罪

by 札烏哈辛·沙登
2024 年 5 月 13 日

從 Ripple 到大型綠色 DAO:加密貨幣專案如何為慈善事業做出貢獻

讓我們探索利用數位貨幣潛力進行慈善事業的措施。

了解更多

AlphaFold 3、Med-Gemini 等:2024 年人工智慧改變醫療保健的方式

人工智慧在醫療保健領域有多種表現形式,從發現新的遺傳相關性到增強機器人手術系統的能力…

了解更多
加入我們的創新技術社區
了解更多
阅读更多
從 Ripple 到大型綠色 DAO:加密貨幣專案如何為慈善事業做出貢獻
分析 加密貨幣 Wiki 購物 教育 生活方式 市場 軟體 專業技術
從 Ripple 到大型綠色 DAO:加密貨幣專案如何為慈善事業做出貢獻
2024 年 5 月 13 日
AlphaFold 3、Med-Gemini 等:2024 年人工智慧改變醫療保健的方式
AI Wiki 分析 消化 意見 購物 市場 新聞報導 軟體 故事和評論 專業技術
AlphaFold 3、Med-Gemini 等:2024 年人工智慧改變醫療保健的方式
2024 年 5 月 13 日
Nim Network 將推出人工智慧所有權代幣化框架並進行收益出售,快照日期定於 5 月
市場 新聞報導 專業技術
Nim Network 將推出人工智慧所有權代幣化框架並進行收益出售,快照日期定於 5 月
2024 年 5 月 13 日
幣安與阿根廷合作打擊網路犯罪
意見 購物 市場 新聞報導 軟體 專業技術
幣安與阿根廷合作打擊網路犯罪
2024 年 5 月 13 日