文本网格:一个新的 Stable Diffusion-来自 Google 的基于文本到 3D 的模型
简单来说
TextMesh 是 Google 的一项新的文本到 3D 作品,改进了现在流行的使用方法 Stable Diffusion 生成相同基本提示(2D 图片)的不同角度,然后使用 NeRF 从中组装 3D 网格。
最近,由于扩散图像生成模型的工作,从文本提示生成 2D 图像的能力取得了巨大成功。 这些模型非常有能力在给定文本提示的情况下生成高质量的图像样本,从而实现简单的文本到图像的界面。 基于 2D 图像生成领域的这些进步,这个行业的一个大问题是是否可以应用类似的扩散模型从文本生成 3D 模型。
现在谷歌推出了一种新的文本到 3D 方法,名字很漂亮 文本网格。 这种方法有望改进现在流行的方法 Stable Diffusion基于 文本到 3D 模型 一代。 其核心是通过将基本 2D 输入输入模型来生成多个角度。 然后使用神经辐射场 (NeRF) 方法处理结果并将其同化到 3D 网格中。
推荐: 提示工程终极指南 2023: |
与当前流行的 DreamFusion 和 CLIPMesh 相比,这种创新方法的优势首先在于用户友好的输出。 TextMesh 没有使用具有挑战性的 NeRF 格式,而是提供带有纹理的 3D 网格,从而使其更适用于现实世界的使用。 此外,该方法避免了其他模型经常遇到的高饱和度效应,并设法增加了细节。
模型作品 首先在 NeRF 的帮助下从输入图像形成 3D 网格。 然后将结果通过 SDF(Signed Distance Fields)框架进一步细化纹理,提高输出网格的整体清晰度。 更不用说,SDF 框架有助于避免其他 3D 的过饱和效果 模型 通常受苦。
作为示例创建的 3D 网格
这种方法利用了 DiG 模型的成功,并将 NeRF 网络扩展为基于 SDF 骨干网。 与之前讨论的方法相比,这会产生改进的 3D 网格提取能力和更加逼真的 3D 网格。
使用 TextMesh 的结果非常有说服力。 作者甚至提供了一张使用他们的模型创建的松鼠图片的链接,这简直令人印象深刻。
TextMesh 证明了自己是一种革命性的新 3D 模型,它提供了大量的优势并且可以生成极其逼真的 3D 网格。 它的使用必将在不久的将来变得越来越流行。
阅读有关人工智能的更多信息:
免责声明
在与行 信托项目指南,请注意,本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是,仅投资您可以承受损失的金额,并在有任何疑问时寻求独立的财务建议。 如需了解更多信息,我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告,但市场状况如有变更,恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post,涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位,他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章Damir 是团队领导、产品经理和编辑 Metaverse Post,涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位,他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。