Facebook 开发了一种将 AI Transformer 性能翻倍的新方法
简单来说
Facebook 基于 Transformer 架构开发了一种新方法，可以将 AI Transformer 的性能提高一倍。
新方法在处理不同块之间的间隙中找到最相似的补丁，并将它们组合起来以降低计算复杂度。
脸书开发了一个 新方法 将 AI 变压器的性能提高一倍。 方法是 基于变压器架构 专为书籍、文章和博客等长篇文本而设计。 新的 AI Transformer 的目标是提高 基于变压器的模型 通过使它们在处理长序列时更加高效和有效来处理长格式文本。 AI Transformer 的结果非常有希望，这种新方法有机会帮助提高基于 Transformer 的模型在各种任务上的性能。
这种新方法有望对自然语言处理任务产生重大影响，例如语言翻译、摘要和问答系统。 它还有望导致开发更复杂的 AI 模型，这些模型可以处理更长、更复杂的文本。
为了处理图像，现代变压器将其切成小块（通常是正方形：见下面的 gif），然后对这些粒子的表示进行操作，每个粒子都由一个“令牌”表示。 正如我们所知，Transformers 的工作速度越慢，这些 token 片段越多（这适用于文本和图像），并且最常见的 transformer 具有二次关系。 也就是说，添加的令牌越多，处理速度就越慢。 为了解决这个问题，研究人员提出了各种技术来减少图像处理所需的令牌数量，例如分层和自适应池化。 这些方法旨在保持输出质量，同时最小化计算成本。
新方法在处理不同块之间的间隙中找到最相似的补丁并将它们组合起来以降低计算复杂度。 合并令牌的份额是一个超参数； 它越高，质量越低，但加速度也越高。 实验表明，可以合并大约 40% 的令牌，质量损失为 0.1-0.4%，并获得双倍加速（因此消耗更少的内存）。 这种新方法是一种很有前途的解决方案，可以降低图像处理的计算复杂性，并且可以在不影响最终输出质量的情况下实现更快、更高效的处理。
这种基于独创性和理解事物工作原理的工程方法看起来非常有吸引力。 此外，Meta 的开发人员承诺为 StableDiffusion 带来更多，以加快速度。 很棒的是，因为变压器无处不在，所以可以在各种模型中快速实施这些技巧。 这显示了工程解决方案对各行各业产生广泛影响的潜力。 看看这些进步如何在 变压器型号 将随着时间的推移继续发展和改进。
- 元 AI 和 Paperswithcode 已经发布了第一个 120B 模型卡拉狄加训练科学文本，允许更准确和更快的预测。 Galactica 的目标是帮助研究人员区分重要的和不相关的。
阅读更多相关新闻：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
