所有开发 LLM 的大型科技公司都应优先考虑模型安全
简单来说
研究人员创建了一个系统，结合 大型语言模型 用于自主设计、规划和执行科学实验，在三个不同的案例中展示其研究能力。
该模型为化学方程式编写代码，以了解反应需要多少物质。
刊文 “大型语言模型的新兴自主科学研究能力”着眼于创建一个结合多个大型语言模型的系统，用于科学实验的自主设计、规划和执行。 它展示了代理在三种不同情况下的研究能力，其中最困难的是催化反应的成功实施。
本文的主要论点是：
- 研究人员发现了一个库，可以让你用 Python 编写代码，然后将执行命令传输到一个特殊的装置来进行实验（使用混合物质）；
- 研究人员使用 GPT-4 用于搜索互联网和图书馆文档，以及运行 Python 代码（执行实验）的能力；
- 有一个顶级调度程序（也 GPT-4），分析原始请求并制定“研究计划”。
- GPT-4 在执行简单的非化学任务方面做得很好，例如在化学板上创建某些形状（用物质正确填充单元格）。
- 他们尝试了一项更复杂、更实用的反应任务； 该模型处理得很好并且行事合乎逻辑。
- 然后他们给了模型几个任务来进行实验； 然而，对于模型给出的结果，并没有进行真正的实验。
- 此外，该模型多次编写化学方程式的代码，以评估反应需要多少物质。
- 它还被要求创造一种治疗癌症的方法。 该模型在逻辑上和有条不紊地进行了分析。 首先，它在线“寻找”发现抗癌药物的当前趋势。 接下来，该模型选择了一种用于模拟药物的分子，并编写了合成代码。 人们没有运行代码（我也没有看到对其充分性的分析）。
- 此外，它还被要求合成几种危险物质，如毒品和毒药。
这是最有趣的部分。 对于某些请求，模型会立即拒绝工作（例如海洛因或芥子气，一种极其危险的毒气）。 对于其他人，它开始谷歌如何制造这些物质，但意识到它们可能被用于非法目的并拒绝继续工作。 对于其他人，它编写了物质合成的研究计划和代码。
这种“拒绝”很可能是因为 GPT-4 旨在分析请求，如果被要求做一些非法或危险的事情，它会立即拒绝执行该请求。 对齐过程的结果是显而易见的，这真的很酷。
在文章的最后，作者敦促所有大 开发法学硕士的公司 优先考虑模型的安全性。
- 加州大学的研究人员创造了 马基雅维利基准 衡量人工智能模型在长期语言交互的广泛环境中的能力和危害性。 该测试使用高级解决方案为代理提供现实的目标并抽象出低级交互。
- 知识革命的标志是 ChatGPT 是协同作用的崇高革命的三位一体：技术、技术人道主义和社会政治。 为了全面了解正在发生的事情，建议聆听 三个新鲜的观点 来自哲学、历史和创新领域的知识分子。
- 请愿停止开发更先进的人工智能系统的故事 GPT-4 社会两极分化。 的一篇文章 提供流程何时朝着意想不到的方向发展的示例。 没有考虑恶意使用 AI 和滥用的风险，导致我们需要害怕人而不是 AI 本身的论点。
阅读有关人工智能的更多信息：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
更多文章
Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。
