テキストメッシュ: 新しい Stable Diffusion- Google のテキストベースの 3D モデル
簡単に言えば
TextMesh は、Google による新しいテキストから 3D への変換であり、現在流行しているテキストを XNUMXD に変換するアプローチを改善します。 Stable Diffusion 同じ基本プロンプト (2D 画像) のさまざまな角度を生成し、NeRF を使用してそこから 3D メッシュが組み立てられます。
最近、拡散画像生成モデルの働きにより、テキスト プロンプトから 2D 画像を生成する機能が大きな成功を収めています。 これらのモデルは、テキスト プロンプトを指定して高品質の画像サンプルを生成する能力が高く、単純なテキストから画像へのインターフェイスが可能です。 2D 画像生成分野におけるこうした進歩に基づいて、この業界における大きな問題は、同様の拡散モデルを適用してテキストから 3D モデルを生成できるかどうかです。
そして今、Google は洗練された名前の新しい Text-to-3D メソッドを導入しました。 テキストメッシュ。 この方法は、現在流行しているアプローチを改善することを約束します。 Stable Diffusionベース テキストから 3D モデルへ 世代。 その核心として、基本的な 2D 入力をモデルに入力することによって複数の角度が生成されます。 次に、結果は Neural Radiance Fields (NeRF) アプローチを使用して処理され、3D メッシュに同化されます。
現在流行している DreamFusion や CLIPMesh に対するこの革新的なアプローチの利点は、何よりもユーザーフレンドリーな出力です。 TextMesh は、難しい NeRF 形式を使用するのではなく、テクスチャ付きの 3D メッシュを提供するため、現実世界の用途により適しています。 さらに、このアプローチでは、他のモデルでよく見られる高彩度の影響を回避し、詳細を向上させることができます。
モデル作品 まず、NeRF を使用して入力画像から 3D メッシュを形成します。 次に、結果は SDF (Signed Distance Fields) フレームワークを通過してテクスチャがさらに洗練され、出力メッシュ全体の明瞭さが向上します。 言うまでもなく、SDF フレームワークは、他の 3D フレームワークが引き起こす過飽和効果を回避するのに役立ちます。 モデル 通常は苦しんでいます。
例として作成された 3D メッシュ
このアプローチは、DiG モデルの成功を利用し、SDF バックボーンに基づくように NeRF ネットワークを拡張します。 これにより、3D メッシュ抽出機能が向上し、以前に説明した方法と比較して、より現実的な外観の 3D メッシュが生成されます。
TextMesh を使用した結果は非常に説得力があります。 著者らは、モデルを使用して作成したリスの写真へのリンクさえ提供しています。これは印象的というほかありません。
TextMesh は、多くの利点を提供し、非常にリアルな 3D メッシュを生成できる革新的な新しい 3D モデルであることが証明されています。 近い将来、その使用はますます普及するでしょう。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
