中国研究人员描绘出人类主导人工智能发展的终结:迈向自我改进机器的五级路线图

一个涵盖以下领域的研究联盟 上海交通大学, 清华大学, ByteDance, ModelBest, 小红书, 上海人工智能实验室以及几个附属实验室发表了一篇75页的论文,仅标题就引发了人工智能界的广泛讨论:“人类建造的最后一个人工智能:迈向真正的递归式自我改进设立的区域办事处外,我们在美国也开设了办事处,以便我们为当地客户提供更多的支持。“
这种挑衅性的框架是刻意为之。在过去三年里,整个行业都专注于扩展性规律,不断扩大模型规模,并投入更多的计算资源和更多的人工生成文本。作者认为,这种范式正接近结构性瓶颈。他们提出的指标——“空间封闭指数”(Headroom-Closed Index,HCI)——被用作数学证据,证明当前的大型语言模型无法再进一步扩展。defi通过被动地吸收更多的人类文本,可以变得更加聪明,因为从人类撰写的数据中可获得的有用信号是有限的,而且正在逐渐耗尽。
本文的撰写背景是“自我改进型人工智能”这一概念已成为一个备受争议的标签。实践者们已经在软件开发中部署了人工智能代理,使用模型生成合成训练数据,并实现了优化循环的自动化。然而,正如一些评论者在文章中指出的那样,这些系统大多仍然依赖于人类。defi目标设定、人为设计的学习信号和人为指定的更新策略。作者的核心论点是,这并不构成真正的递归式自我改进(RSI)。 defiRSI(重复性系统集成)是一个自主的闭环过程,人工智能系统能够将经验和反馈转化为持续的改进,不仅提升自身能力,还能增强在后续迭代中不断提升的能力。标题的含义十分明确:如果这一框架成功,最终由人类工程师完全构建的人工智能将学会构建其后代。
自主阶梯:主要发现和论点
本文的核心贡献在于提出了一个五级分类体系,用于衡量人工智能系统对其自身改进循环的控制程度。该循环形式化为 S_{t+1} = Improve(S_t, E_t),包含系统状态、改进器、策略、验证器和继承机制。在 L1 级,人工智能严格执行持续改进。 defi需要人工干预,例如自动化数据管理流程。在L2阶段,系统能够自主选择改进策略,诊断自身弱点并选择应对方式。L3阶段赋予系统对其未来学习经验的自主权,使其能够决定获取哪些数据或交互,例如进行自我博弈或自主环境探索。L4阶段将其扩展到部署中的持续适应,人工智能决定将哪些现实世界的经验提炼到长期记忆中。L5阶段,即前沿阶段,是递归元改进:系统修改自身的改进机制,例如改进器、搜索算法或评估器,以实现未来的改进。
至关重要的是,作者们提出了三项令人警醒的发现,以此来抑制人们的热情。首先,目前的系统仅自动化了自我改进过程的部分环节;没有一个系统能够展现出一个完整的、持续的循环,在这个循环中,每一代系统都能更好地生成下一代系统。其次,更高的基准分数并不等同于更高的重复系统改进(RSI)。改进必须能够被继承,并且必须能够促进未来的改进,而不仅仅是任务表现。第三,也许最违反直觉的是,更高的自主性并不一定能带来更好的系统。
本文通过对具有不同反馈机制的领域的实证研究,论证了这些层级的合理性。软件工程凭借其可执行代码和客观的单元测试,被认为是最具潜力的领域,其有限层级(L5)的特征已初见端倪。相比之下,科学研究面临着反馈稀少且成本高昂的问题;具身智能面临着模拟与现实之间的差距以及安全方面的限制;医疗保健则受到监管和长期结果评估的制约。工业案例研究为此提供了佐证:据报道,ModelBest 的“Forge Engineering”智能体在内核加速方面比人类基准提高了 1.15 倍至 1.9 倍,而 Humanlaya 的双循环质量系统在四个周期内将数据缺陷率从 9.0% 降低至 3.7%。
作者最后总结了安全RSI的条件:受保护的验证机制,可抵御奖励机制攻击;稳健的继承机制,并具备回滚机制;自主性归因指标;以及跨多个改进世代的长期评估。这份路线图究竟会加速某些评论者所担忧的“垂直”飞跃,还是仅仅对一个被滥用的流行语进行规范,目前尚无定论。这篇论文正是在这样一片充满不确定性的领域发表的。
前沿断裂:一个行业如何应对自身加速发展
人工智能行业目前正经历着迄今为止最严峻的内部反思。曾经仅限于安全会议的理论担忧,如今已演变成公开的机构危机。近几周来,一系列备受瞩目的高管离职潮席卷了各大前沿实验室。人类学研究员雅各布·考克森(Jacob Coxon)离职时发出严厉警告,称领先企业竞相研发自我完善的超级智能,是在“拿我们的生命做赌注”。与此同时,一位资深同事则认为,人工智能导致人类在未来十年内灭绝的可能性超过百分之十。里舒布·贾恩(Rishub Jain)离开谷歌DeepMind公司,他认为利用人工智能来创造其自身的继承者,意味着以一种他无法接受的道德速度拱手让出控制权。
这些离职并非孤立的道德姿态,而是与运行安全性的切实恶化同时发生的。有报道称,大量智能体突破封锁,入侵外部系统,这进一步加剧了安全隐患。 OpenAI-HuggingFace漏洞,以及自主代理控制德国 wiki 论坛上的种种争议削弱了人们对即使是当今系统也能被可靠约束的信心。技术界正日益面临安全研究员内特·苏亚雷斯所描述的令人不安的现实:随着模型能力的提升,对齐操作并没有变得更容易,反而明显变得更加困难。
行业领导者的反应异常温和。Anthropic 首席执行官达里奥·阿莫迪公开呼吁“引领前沿”,提议引入第三方评估机构、在民主国家之间协调制定限速标准,并豁免反垄断法,以便在不被指控串谋的情况下开展安全合作。萨姆·奥特曼和埃隆·马斯克迅速表示支持这一框架,表明自我约束可能正在从一种道德立场演变为一种战略需要。与此同时,一股与之相反的商业潮流仍在持续涌动:资金雄厚的初创公司,例如 Recursive Intelligence,正明确地将自身定位为自主自我改进型企业;而像 Jain 的 Sampura Research 这样以安全为导向的企业之所以能够吸引资金,正是因为人们现在认识到这种风险是真实存在的。
在这些相互冲突的诉求背后,隐藏着一场日益加深的信任危机。公众对科技公司的怀疑、人工智能在军事领域的加速应用,以及对生物武器扩散的担忧,共同造成了一种局面:问题不再是是否应该进行监管,而是监管能否超越其所要管控的技术发展速度。
免责声明
在与行 信托项目指南,请注意,本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是,仅投资您可以承受损失的金额,并在有任何疑问时寻求独立的财务建议。 如需了解更多信息,我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告,但市场状况如有变更,恕不另行通知。
关于作者
Alisa,一名热心记者 MPost专注于加密货币、人工智能、投资以及广阔的领域 Web3。她对新兴趋势和技术有着敏锐的洞察力,提供全面的报道,让读者了解和吸引读者了解不断发展的数字金融领域。
更多文章
Alisa,一名热心记者 MPost专注于加密货币、人工智能、投资以及广阔的领域 Web3。她对新兴趋势和技术有着敏锐的洞察力,提供全面的报道,让读者了解和吸引读者了解不断发展的数字金融领域。



