guanaco 成为潜在的开源项目 ChatGPT 生产商
简单来说
华盛顿大学研究人员开发的开源聊天机器人Guanaco渴望与 ChatGPT 同时需要更少的时间和金钱进行培训。
然而，一项新研究质疑像羊驼这样的模型的功效。
华盛顿大学的研究人员揭开了 原驼，一个开源聊天机器人，旨在与 ChatGPT 同时显着减少培训所需的时间和资源。 以南美亲戚的名字命名 llamas，Guanaco 建立在 LLaMA 语言模型并结合了一种称为 QLoRA 的新颖微调方法。
guanaco 的创建者声称它的性能可与 ChatGPT 但只需一天即可训练。 这一非凡的壮举是通过 QLoRA 实现的，QLoRA 是一种语言模型微调技术，可大幅减少训练所需的 GPU 内存量。 尽管 ChatGPT 需要高达 780 GB 的 GPU 内存 对于一个有 65 亿个参数的模型，Guanaco 最简单的版本只需要 5 GB。
凭借这些令人印象深刻的效率提升，Guanaco 和类似的开源模型正在挑战这样一种观念，即必须进行昂贵的培训 最先进的语言模型. 原驼的出现， 羊驼及 其他型号 以一小部分成本进行训练引发了人们对昂贵模型的未来的猜测，例如 GPT.
然而，并非所有人都同意这种对开源模型的乐观看法。 加州大学最近进行的一项研究 产生了怀疑 羊驼等模型的能力，并对它们的真正潜力提出了疑问。 最初，研究人员得出了与guanaco的创建者类似的结论：经过适当的训练，开源模型可以与 GPT 在能力方面。 进一步的测试揭示了一个重大的局限性。 这些有时被称为“Dolly”的模型擅长模仿训练过程中遇到的问题的解决方案。 然而，他们很难在没有明确接触过的任务上表现良好，落后于更先进的模型。
这一启示表明 培训投资数百万 GPT 类似的模型可能没有白费。 虽然 Guanaco 及其同行展示了可喜的成果，但仍有一些领域更复杂的模型表现出色。 值得注意的是 加州大学进行的研究 挑战了开源模型可以完全取代昂贵模型的普遍观念，例如 GPT.
随着自然语言处理领域的发展，观察 Guanaco 和其他开源模型如何与既定模型公平竞争将会很有趣 基准例如 ChatGPT. 毫无疑问，高创新率和持续研究将影响语言模型的未来，并决定哪些模型成为特定应用程序的首选。
- Dolly 2.0，第一个商用开源 12B Chat-LLM， 已经宣布 通过数据块。 这对机器学习行业来说是一项重大进步，使企业无需投资昂贵的 GPU 集群即可创建有效的语言模型。 Databricks 聘请了 5,000 名员工来创建他们的开源语言模型，其中包括 EleutherAI 的 Pythia-12B 语言模型，该模型获得了 MIT 许可。 Dolly 2.0 以及相关代码在 MIT 许可下可用。 Dolly 2.0 具有改变行业的潜力，是机器学习向前迈出的重要一步。
阅读有关人工智能的更多信息：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
