Vitalik Buterin 和 MIRI 主任 Nate Soares 深入探讨人工智能的危险：人工智能会导致人类灭绝吗？
简单来说
以太坊创始人 Vitalik Buterin 和机器智能研究所所长 Nate Soares 今天在 Zuzalu 讨论了人工智能的风险。
Zuzalu 是黑山的一个弹出式城市社区，由 Buterin 和他在加密社区的同行发起。
在讨论中，Soares 分享了他对人工智能极有可能终结地球上所有生命的原因的看法。
以太坊创始人 Vitalik Buterin 和机器智能研究所 (MIRI) 所长 内特苏亚雷斯 今天在 Zuzalu 讨论了人工智能的风险。
Zuzalu 是黑山的一个“弹出式城市社区”，由 Buterin 和他在加密社区的同行发起，时间为 25 月 25 日至 200 月 XNUMX 日。该活动汇集了 XNUMX 名核心居民，他们有着共同的学习、创造、长寿和健康的愿望生活，并建立自给自足的社区。 在两个月的时间里，社区还举办了一系列活动，主题涉及合成生物学、隐私技术、公共产品、长寿、治理等。
讨论 Soares 开篇介绍了他在 MIRI 的工作，MIRI 是一家位于伯克利的非营利组织，其存在时间比他运营的时间还长。 在过去的 20 年里，MIRI 一直在努力奠定基础，以确保 AI 的发展顺利进行。 通过讨论，Vitalik 希望解决与人类历史上发布的其他技术相比，AI 具有独特风险的原因。
人工智能导致人类灭绝的概率
Vitalik 表示，他长期以来一直对 AI 风险这个话题感兴趣，并记得他确信如果 AI 出错，地球上所有生命将不复存在的可能性为 0.5%-1%——这种存在风险会导致人类的灭绝或人类文明不可逆转的崩溃。
从 Soares 的角度来看，人类灭绝看起来像是人工智能技术不安全发展的默认结果。 将其与进化进行比较，他说人类的发展似乎比单纯的进化变化要快。 在人工智能和人类进化过程中，占主导地位的优化——当有多个目标需要考虑时寻找问题最佳解决方案的过程——正在发生变化。 人类已经达到了能够通过口耳相传的程度，而不是通过自然选择将信息硬连接到基因中。
“人工智能最终是一个你可以再次切换宏观优化过程的案例。 我认为在优化方面你可以比人类做得更好。 我认为在优化我们的环境方面我们仍然很愚蠢。 借助 AI，我们正在经历某种相变，其中自动优化是决定宇宙宏观特征的力量，”Soares 解释道。
他补充说，未来的样子是优化过程正在优化的目标，并且这可能会停止对人类有益，因为大多数优化目标都没有人类的空间。
人类可以训练人工智能做好事吗？
Buterin 指出，人类是训练人工智能并告诉它如何优化的人。 如有必要，他们可以更改机器的优化方式。 对此，Soares 表示，原则上可以训练 AI 做好事，但简单地训练 AI 以实现目标并不意味着它会或想要这样做，归结为欲望。
Buterin 在大型语言模型中强调强化学习，这些模型正在获取大量关于人类偏好的数据，他问为什么它不起作用，因为现有的智能正在更好地理解我们的偏好。
“理解我们的动机和不在乎之间存在很大差距，”
苏亚雷斯回应道。
“我的主张并不是大型语言模型或人工智能无法理解人类偏好的细节。 我的主张是，理解人类偏好的细节与优化善意截然不同，”他补充道。
一位听众将人工智能与人类进行了比较，他说，就像人工智能一样，人类往往不了解自己在做什么或预测什么，这也可能很危险。 然后他让苏亚雷斯假装自己是外星人，并解释为什么不应该有人类。
“如果将神一般的力量和对未来的控制权赋予一个人，我不会感到兴奋。 单独来说，我更愿意将权力赋予一个人，而不是赋予一个随机角色的人工智能。 我强调并不是说我们不应该拥有人工智能。 我是说我们需要把事情做好。 我们需要让他们关心一个充满乐趣和幸福的未来，以及超人类与外星人进行正和交易等的繁荣文明，”苏亚雷斯澄清道。 “如果你建立一个强大的优化过程来关心不同的东西，那可能会破坏宇宙的所有价值。”
他补充说，人类重视的事物并不具有普遍的说服力，道德也不是任何研究道德的人都会追求的东西。 相反，它是人类内在的驱动力的结果，在祖先的环境中，使我们善于繁殖，是人类特有的。
最终，Soares 认为，我们不应该构建与乐趣、幸福和繁荣的未来不一致的类似智能或什至更智能的东西。 另一方面，他还表示，人类不应该在军备竞赛中建立一个友好的超级智能，在第一次尝试时就优化一个有趣的未来。 短期内，人工智能应该致力于帮助人类争取时间和空间，弄清楚他们真正想要什么。
ChatGPT 不会消耗整个生物圈
由于目前正在构建人工智能来实现包括预测在内的特定目标，Buterin 问道，如果人工智能不是目标驱动的怎么办？ 苏亚雷斯表示，构建安全且无能力的人工智能很容易，我们可能很快就会拥有有能力但追求不同事物的人工智能。 他不认为 ChatGPT 将消耗整个生物圈，因为它还没有达到那个能力水平。
Soares 指出，大多数有趣的 AI 应用程序，如自动化科学技术开发和研究，似乎都需要一定的目标追求。
“你能得到这一切并没有错 GPT 你可以写出一首优美的俳句，但你却无法用它来写一本小说。 当前系统的局限性与它们没有追求这些更深层次的目标有关，至少对我来说是这样。”
了解更多：
免责声明
在与行 信托项目指南，请注意，本页提供的信息无意且不应被解释为法律、税务、投资、财务或任何其他形式的建议。 重要的是，仅投资您可以承受损失的金额，并在有任何疑问时寻求独立的财务建议。 如需了解更多信息，我们建议您参阅条款和条件以及发行人或广告商提供的帮助和支持页面。 MetaversePost 致力于提供准确、公正的报告，但市场状况如有变更，恕不另行通知。
关于作者
辛迪是一名记者 Metaverse Post，涵盖相关主题 web3, NFT、元宇宙和人工智能，重点是采访 Web3 行业参与者。她曾与 30 多位 C 级高管进行过交谈，并将他们的宝贵见解带给读者。辛迪来自新加坡，现居住在格鲁吉亚第比利斯。她拥有南澳大利亚大学传播与媒体研究学士学位，并拥有十年的新闻和写作经验。通过以下方式与她联系 [电子邮件保护] 有新闻发布会、公告和采访机会。
更多文章
辛迪是一名记者 Metaverse Post，涵盖相关主题 web3, NFT、元宇宙和人工智能，重点是采访 Web3 行业参与者。她曾与 30 多位 C 级高管进行过交谈，并将他们的宝贵见解带给读者。辛迪来自新加坡，现居住在格鲁吉亚第比利斯。她拥有南澳大利亚大学传播与媒体研究学士学位，并拥有十年的新闻和写作经验。通过以下方式与她联系 [电子邮件保护] 有新闻发布会、公告和采访机会。
