Text-to-SVG：伯克利宣布抽象基于像素的扩散模型
简单来说
文本到图像合成——加州大学伯克利分校的研究人员展示了带有文本条件的矢量图形 扩散模型
在文本到图像的合成中，扩散模型有 证明 杰出的成果。 扩散模型学习使用庞大的带注释图片数据库生成极其多样化的对象和情况的光栅图像。 然而，对于数字图标、图形和贴纸，设计人员通常使用图像的矢量表示，例如可缩放矢量图形 (SVG)。 矢量图形很小，可以缩放到任意大小。
加州大学伯克利分校演示了如何使用在图片像素表示上训练的文本条件扩散模型生成可以导出为 SVG 的矢量图形。 它在不使用大量带字幕的 SVG 集合的情况下实现了这一点。 相反，伯克利的研究人员将一个 文本到图像扩散 采样并使用得分蒸馏采样损失对其进行微调，其动机是最近在文本到 3D 合成方面的工作。
示例生成的向量
查看新生成的 SVG 画廊 此处.
矢量图形很小，但在缩放到任何大小时都能保持清晰度。 伯克利的研究人员改进了基于分数蒸馏采样的图像文本损失以优化矢量图形。 VectorFusion 使用的 DiffVG 可微分 SVG 渲染器使逆向视觉成为可能。
此外，VectorFusion 允许更有效和更高质量的多级配置。 该方法首先从 文本到图像的扩散模型 被称为 Stable Diffusion。 然后，VectorFusion 使用 LIVE 自动跟踪样本。 然而，这些示例经常缺乏细节、乏味或难以适应矢量图形。 通过分数蒸馏采样增强活力和文本一致性。
VectorFusion 可以通过将 SVG 路径限制为网格上的正方形来生成旧视频游戏风格的像素艺术。
这种方法很容易扩展以支持文本到草图的生成。 为了学习准确表示用户提供的文本的抽象线条图，我们首先绘制 16 个随机选择的笔画。 然后，我们优化我们的潜在分数蒸馏采样损失。
阅读相关文章：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
