一位研究人员表示，今天的大型语言模型将是小型模型 OpenAI
Hyung Won Chung，一位卓有成效的人工智能研究员，曾受雇于 Google Brain，目前是 OpenAI 团队发表了一场发人深省的45分钟演讲，他在演讲中探索了2023年的大语言模型世界。Chung在该领域拥有丰富的经验； 他是谷歌论文的第一作者“扩展指令微调语言模型，”它检查了可以训练多大的语言模型来遵循指令。
Chung 强调广泛语言模型的世界是动态的。 在法学硕士的世界中，指导原则不断发展，与基本假设通常保持稳定的传统领域形成鲜明对比。 随着下一代模型的出现，目前被认为不可能或不切实际的事情可能会成为可能。 他强调了大多数关于 LLM 能力的说法都以“目前”开头的重要性。 模型可以执行任务； 它只是还没有这样做。
今天的大型模型将在短短几年内变成小型模型
郑亨元, OpenAI
需要细致的记录和可重复性 人工智能研究 这是从钟的演讲中我们学到的最重要的教训之一。 随着该领域的发展，彻底记录正在进行的工作至关重要。 这种策略保证了实验可以快速复制和重新审视，使研究人员能够在早期工作的基础上继续进行。 通过这种实践，人们认识到未来可能会发展出在最初研究期间不切实际的能力。
Chung 演讲的一部分致力于阐明数据和模型并行性的复杂性。 对于那些有兴趣深入研究人工智能技术方面的人来说，本节提供了有关这些并行技术的内部工作原理的宝贵见解。 了解这些机制对于优化至关重要 大规模模型训练.
Chung 认为，当前用于 LLM 预训练的目标函数“最大似然”在实现真正大规模（例如 10,000 倍的容量）时是一个瓶颈。 GPT-4。 随着机器学习的进步，手动设计的损失函数变得越来越有限。
Chung 认为人工智能开发的下一个范例涉及通过单独的算法学习功能。 这种方法虽然还处于起步阶段，但有望实现超越当前限制的可扩展性。 他还强调了正在进行的努力，例如通过规则建模从人类反馈中进行强化学习（RLHF），这是朝着这个方向迈出的一步，尽管挑战仍然有待克服。
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
