ニュースレポート テクノロジー
2023 年 9 月 19 日

Google、静止画像の動的なシーンをシミュレートする革新的な生成画像ダイナミクスを導入

Googleが発表したのは、 生成画像ダイナミクス、新しいアプローチにより、 単一の静止画像をシームレスなループビデオに変換 またはインタラクティブなダイナミック シーンなど、幅広い実用的なアプリケーションを提供します。

Google、静止画像の動的なシーンをシミュレートする革新的な生成画像ダイナミクスを導入

この先駆的なテクノロジーの核となるのは、シーンのダイナミクスに先立った画像空間のモデリングです。 目的は、画像内のオブジェクトや要素がさまざまな動的な相互作用を受けたときにどのように動作するかを包括的に理解することです。 この理解は、ユーザー インタラクションに対するオブジェクト ダイナミクスの応答を効果的にシミュレートするために使用できます。

このテクノロジーの主な特徴は、シームレスなループビデオを生成できることです。 Google のシステムは、シーンのダイナミクスに先立って画像空間を活用することで、画像内の要素の動きを推定して拡張し、魅力的で連続的なビデオ ループに変換します。 この機能は、コンテンツ作成者やデザイナーにさまざまな創造的な可能性をもたらします。

この論文は、木、花、ろうそく、風になびく衣服などの自然な振動運動を含む実際のビデオ シーケンスから抽出された一連の運動軌跡から学習される、シーン ダイナミクスに基づいて事前に画像空間をモデル化するアプローチを示しています。 。 トレーニングされたモデルは、周波数調整された拡散サンプリング プロセスを使用して、ニューラル確率的モーション テクスチャと呼ばれる、フーリエ領域でのピクセルごとの長期モーション表現を予測します。 この表現は、ビデオ全体にわたる高密度のモーション軌跡に変換できます。

このテクノロジーにより、ユーザーは静止画像内のオブジェクトをリアルに操作できるようになります。 ユーザーの興奮に対するオブジェクトのダイナミクスの応答をシミュレートすることで、Google のシステムは次のことを可能にします。 没入型でインタラクティブな体験 画像内で。 これは革命を起こす可能性を秘めています メタバーススペース ユーザーがビジュアルコンテンツにどのように関与するか。

この研究では、画像空間のシーンの動き、つまり単一画像内のすべてのピクセルの動きに対する生成事前モデルのモデル化を検討しています。 このモデルは、実際のビデオ シーケンスの大規模なコレクションから自動的に抽出されたモーション軌跡に基づいてトレーニングされます。 入力画像を条件として、トレーニング済みモデルはニューラル確率的モーション テクスチャ、つまり将来への各ピクセルの軌跡を特徴付けるモーション ベースの係数セットを予測します。

このイノベーションの基盤は、綿密にトレーニングされたモデルにあります。 Google のモデルは、自然な振動運動を特徴とする実際のビデオ シーケンスから抽出された運動軌跡の膨大なデータセットから学習します。 これらのシーケンスには、木々が揺れる、花が動く、キャンドルが揺らぐ、服が風になびくなどの要素を含むシーンが含まれます。 この多様なデータセットにより、モデルは広範囲の動的な動作を理解できるようになります。

研究の範囲は、風に吹かれて動く木や花など、自然で振動するダイナミクスのある現実世界のシーンに限定されます。 フーリエ級数が基底関数として選択されます。 結果として得られる周波数空間テクスチャは、高密度で長距離のピクセルの動きの軌跡に変換でき、これを将来のフレームの合成に使用して、静止画像をリアルなアニメーションに変えることができます。

を提示されると、 単一のイメージ、トレーニングされたモデルは、周波数調整された拡散サンプリング プロセスを採用します。 このプロセスは、ニューラル確率的モーション テクスチャと呼ばれる、フーリエ領域でのピクセルごとの長期モーション表現を予測します。 この表現は、ビデオ全体にわたる高密度の動きの軌跡に変換されます。 画像ベースのレンダリング モジュールと組み合わせることで、これらの軌跡をさまざまな実用的なアプリケーションに利用できます。

生の RGB ピクセルに関する事前分布と比較して、モーション上の事前分布は、ピクセル値の変動を効率的に説明する、より基本的な低次元の低次元構造をキャプチャします。 これにより、実行する従来の方法と比較して、より一貫性のある長期的な生成とアニメーションのよりきめ細かい制御が可能になります。 イメージアニメーション 生のビデオ合成を介して。

生成されたモーション表現は、シームレスなループビデオの作成、生成されたモーションの編集、インタラクティブな有効化など、多くの下流アプリケーションに便利です。 ダイナミックな画像、ユーザーが加えた力に対するオブジェクトのダイナミクスの応答をシミュレートします。

関連トピックをもっと読む:

免責事項

に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。

著者について

Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。 

より多くの記事
ダミル・ヤラロフ
ダミル・ヤラロフ

Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。 

Hot Stories
ニュースレターにご参加ください。
最新ニュース

コンテンツ作成、ビデオ編集などのための無料 AI ツール トップ 10

by ヴィクトリア・パルチク
2024 年 5 月 14 日

リップルからビッググリーンDAOまで:仮想通貨プロジェクトはどのように慈善活動に貢献するのか

慈善活動のためにデジタル通貨の可能性を活用する取り組みを検討してみましょう。

詳細を知りたい

AlphaFold 3、Med-Gemini、その他: AI が 2024 年に医療を変革する方法

AI は、新しい遺伝的相関関係の発見からロボット手術システムの強化に至るまで、医療分野でさまざまな形で現れます。

詳細を知りたい
革新的なテクノロジー コミュニティに参加してください
続きを読む
続きを読む
コンテンツ作成、ビデオ編集などのための無料 AI ツール トップ 10
AI Wiki ダイジェスト 教育 ライフスタイル ソフトウェア テクノロジー
コンテンツ作成、ビデオ編集などのための無料 AI ツール トップ 10
2024 年 5 月 14 日
香港証券委員会、仮想通貨業界を狙ったディープフェイク詐欺を警告:投資家の安全への影響
ライフスタイル セキュリティ Wiki ソフトウェア ストーリーとレビュー テクノロジー
香港証券委員会、仮想通貨業界を狙ったディープフェイク詐欺を警告:投資家の安全への影響
2024 年 5 月 14 日
リップルとEvmosがEvmOSテクノロジーを使用したXRPレジャーEVMサイドチェーンの開発で協力
ビジネス ニュースレポート テクノロジー
リップルとEvmosがEvmOSテクノロジーを使用したXRPレジャーEVMサイドチェーンの開発で協力
2024 年 5 月 14 日
5ireChain、ネットワークストレステスト向けのインセンティブ付き「Testnet Thunder: GA」を開始、ユーザーに参加を呼びかけ Airdrop 報酬
ニュースレポート テクノロジー
5ireChain、ネットワークストレステスト向けのインセンティブ付き「Testnet Thunder: GA」を開始、ユーザーに参加を呼びかけ Airdrop 報酬
2024 年 5 月 14 日
CRYPTOMERIA LABS PTE。 株式会社。