Nvidia 宣布 eDiff-I：用于文本和图像合成的新型生成 AI，具有即时样式转换
简单来说
Nvidia 推出 eDiff-I 以帮助企业创建高质量、引人入胜的图像
eDiff-I 技术通常会产生比 DALL-E2 更高的合成质量，并且 Stable diffusion
eDiff-I 是一种新的 AI 内容创建工具， 提供 营销人员和企业前所未有的文本到图像合成功能，正如最近宣布的那样 Nvidia公司. 借助 eDiff-I，企业可以快速轻松地创建高质量、引人入胜的视觉效果，而无需昂贵的设备或专业帮助。 eDiff-I 使用自然语言处理 (NLP) 来解释用户的输入并生成相应的图像。 然后人工智能分析图像并根据上下文选择最合适的图像。 结果是高质量、具有专业外观的图像可用于多种用途，例如营销材料、社交媒体帖子、电子邮件活动等。
eDiff-I 是一个 下一代生成人工智能 提供前所未有的内容创建工具 文字转图片 合成、快速的风格转换和直观的文字绘画。 作为从文本创建视觉效果的扩散模型，eDiff-I 建议训练一组专家去噪网络，每个专门针对特定的噪声间隔，以响应扩散模型的行为在采样的不同阶段发生变化的经验发现。
T5 文本嵌入、CLIP 图像嵌入和 CLIP 文本嵌入为 eDiff-I 概念提供了基础。 这种方法可以生成逼真的图形以响应任何文本查询。
除了文本到图像的合成之外，它还提供了两个额外的功能：(1) 风格转换，它允许我们使用参考风格图像来控制生成样本的风格，以及 (2) “Paint with Words”，一种工具允许用户通过在画布上绘制分割图来创建图像。
该管道由三个扩散模型的级联组成：一个基本模型可以创建分辨率为 64×64 的样本，两个超分辨率堆栈可以逐渐将图片分别上采样到分辨率 256×256 和 1024×1024。 模型在收到标题作为输入后计算 T5 XXL 和文本嵌入。 这些图片嵌入可以用作风格向量。 然后，将这些嵌入输入到我们的级联中 扩散模型，逐渐生成分辨率为 1024 x 1024 的图像。
与开源文本到图像算法（Stable diffusion) 和 (DALL-E2)。
当使用 CLIP 图像嵌入时，eDiff-I 方法有助于风格转移。 eDiff-I 首先提取 CLIP 来自参考风格图像的图像嵌入，可用作风格参考向量。 在下图的左侧面板中可以看到风格参考。 打开样式调节时的结果显示在中央面板中。 关闭样式调节时的结果显示在右侧的面板中。 当应用风格调节时，eDiff-I 模型创建的输出也符合输入字幕的风格。 关闭风格调节后，会生成看起来自然的照片。
通过选择短语并将其涂在图像上，eDiff-I 方法的用户可以更改文本提示中列出的内容的位置。 之后，该模型使用 提示和创建图像的地图 与标题和输入地图兼容。
阅读相关文章：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
