テキストから 3D へ: Google は、テキストの説明から 3D モデルを生成するニューラル ネットワークを開発しました。
簡単に言えば
テキストから 3D へ ニューラル ネットワークはテキストから 3D モデルを生成できます
DreamFusion は、Imagen text-to-image に基づいて 3D シーンを最適化します
2D拡散モデルは、テキストから画像への合成に使用できます
Google が作成した ニューラルネットワーク テキストの説明から 3D モデルを作成できます。 最良の部分は、最も難しい側面を教える必要さえなかったということです. Text-to-3D の基盤として Imagen が使用されました。
あなたは何について知っておくべきですか ドリームフュージョン?
数十億の画像とテキストのペアでトレーニングされた拡散モデルは、テキストから画像への合成における最近の進歩につながりました。 このアプローチを 3D 合成に適応させるには、ラベル付けされた 3D アセットの大規模なデータセットと効率的なノイズ除去 3D データ アーキテクチャが必要になりますが、どちらも現在利用できません。 このホワイト ペーパーでは、事前トレーニング済みの 3D を使用してテキストから 2D への合成を実行することにより、これらの制限を克服します。 テキストから画像への拡散 モデル。 確率密度蒸留に基づいた損失を提示し、2D 拡散モデルをパラメトリック最適化の事前計算として使用できるようにします。 画像ジェネレーター。 この損失を利用して、勾配降下法を使用してランダムに初期化された 3D モデル (Neural Radiance Field または NeRF) を最適化し、ランダムな角度からの 2D レンダリングの損失が最小限になるようにします。
指定されたテキストの生成された 3D モデルは、任意の角度から見ることができ、可変照明で照らされ、任意の 3D 環境に合成されます。 その方法は、3D トレーニング データを必要とせず、 画像拡散モデル、事前にトレーニングされた画像拡散モデルを使用することの有効性を示しています。
テキストから生成された 3D の例
オブジェクトを組み合わせてシーンを作成する
システムを教えてください。
DreamFusion は、Imagen のテキストから画像への生成モデルを使用して、キャプションに基づいて 3D シーンを最適化します。 これは、拡散モデルからサンプルを生成するための損失関数の最適化を含むスコア蒸留サンプリング (SDS) を提案します。 画像に別の方法でマッピングできる限り、SDS を使用すると、3D 空間などの任意のパラメーター空間でサンプルを最適化できます。 に defiこの微分可能なマッピングでは、Neural Radiance Fields (NeRF) に似た 3D シーン パラメータ化が採用されています。 SDS だけではまずまずのシーンの外観を作成できますが、DreamFusion は追加の正則化機能と最適化テクニックを使用してジオメトリを強化します。 生成されるトレーニング済み NeRF は一貫性があり、優れた法線、表面ジオメトリ、深度を備えており、ランバーシアン シェーディング モデルを使用して再照明できます。
関連記事を読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
