Vitalik Buterin 和 MIRI 主任 Nate Soares 深入探討人工智能的危險：人工智能會導致人類滅絕嗎？
簡單來說
以太坊創始人 Vitalik Buterin 和機器智能研究所所長 Nate Soares 今天在 Zuzalu 討論了人工智能的風險。
Zuzalu 是黑山的一個彈出式城市社區，由 Buterin 和他在加密社區的同行發起。
在討論中，Soares 分享了他對人工智能極有可能終結地球上所有生命的原因的看法。
以太坊創始人 Vitalik Buterin 和機器智能研究所 (MIRI) 所長 內特蘇亞雷斯 今天在 Zuzalu 討論了人工智能的風險。
Zuzalu 是黑山的一個“彈出式城市社區”，由 Buterin 和他在加密社區的同行發起，時間為 25 月 25 日至 200 月 XNUMX 日。該活動匯集了 XNUMX 名核心居民，他們有著共同的學習、創造、長壽和健康的願望生活，並建立自給自足的社區。 在兩個月的時間裡，社區還舉辦了一系列活動，主題涉及合成生物學、隱私技術、公共產品、長壽、治理等。
討論 Soares 開篇介紹了他在 MIRI 的工作，MIRI 是一家位於伯克利的非營利組織，其存在時間比他運營的時間還長。 在過去的 20 年裡，MIRI 一直在努力奠定基礎，以確保 AI 的發展順利進行。 通過討論，Vitalik 希望解決與人類歷史上發布的其他技術相比，AI 具有獨特風險的原因。
人工智能導致人類滅絕的概率
Vitalik 表示，他長期以來一直對 AI 風險這個話題感興趣，並記得他確信如果 AI 出錯，地球上所有生命將不復存在的可能性為 0.5%-1%——這種存在風險會導致人類的滅絕或人類文明不可逆轉的崩潰。
從 Soares 的角度來看，人類滅絕看起來像是人工智能技術不安全發展的默認結果。 將其與進化進行比較，他說人類的發展似乎比單純的進化變化要快。 在人工智能和人類進化過程中，占主導地位的優化——當有多個目標需要考慮時尋找問題最佳解決方案的過程——正在發生變化。 人類已經達到了能夠通過口耳相傳的程度，而不是通過自然選擇將信息硬連接到基因中。
“人工智能最終是一個你可以再次切換宏觀優化過程的案例。 我認為在優化方面你可以比人類做得更好。 我認為在優化我們的環境方面我們仍然很愚蠢。 借助 AI，我們正在經歷某種相變，其中自動優化是決定宇宙宏觀特徵的力量，”Soares 解釋道。
他補充說，未來的樣子是優化過程正在優化的目標，並且這可能會停止對人類有益，因為大多數優化目標都沒有人類的空間。
人類可以訓練人工智能做好事嗎？
Buterin 指出，人類是訓練人工智能並告訴它如何優化的人。 如有必要，他們可以更改機器的優化方式。 對此，Soares 表示，原則上可以訓練 AI 做好事，但簡單地訓練 AI 以實現目標並不意味著它會或想要這樣做，歸結為慾望。
Buterin 在大型語言模型中強調強化學習，這些模型正在獲取大量關於人類偏好的數據，他問為什麼它不起作用，因為現有的智能正在更好地理解我們的偏好。
“理解我們的動機和不在乎之間存在很大差距，”
蘇亞雷斯回應道。
“我的主張並不是大型語言模型或人工智能無法理解人類偏好的細節。 我的主張是，理解人類偏好的細節與優化善意截然不同，”他補充道。
一位聽眾將人工智能與人類進行了比較，他說，就像人工智能一樣，人類往往不了解自己在做什麼或預測什麼，這也可能很危險。 然後他讓蘇亞雷斯假裝自己是外星人，並解釋為什麼不應該有人類。
“如果將神一般的力量和對未來的控制權賦予一個人，我不會感到興奮。 單獨來說，我更願意將權力賦予一個人，而不是賦予一個隨機角色的人工智能。 我強調並不是說我們不應該擁有人工智能。 我是說我們需要把事情做好。 我們需要讓他們關心一個充滿樂趣和幸福的未來，以及超人類與外星人進行正和交易等的繁榮文明，”蘇亞雷斯澄清道。 “如果你建立一個強大的優化過程來關心不同的東西，那可能會破壞宇宙的所有價值。”
他補充說，人類重視的事物並不具有普遍的說服力，道德也不是任何研究道德的人都會追求的東西。 相反，它是人類內在的驅動力的結果，在祖先的環境中，使我們善於繁殖，是人類特有的。
最終，Soares 認為，我們不應該構建與樂趣、幸福和繁榮的未來不一致的類似智能或什至更智能的東西。 另一方面，他還表示，人類不應該在軍備競賽中建立一個友好的超級智能，在第一次嘗試時就優化一個有趣的未來。 短期內，人工智能應該致力於幫助人類爭取時間和空間，弄清楚他們真正想要什麼。
ChatGPT 不會消耗整個生物圈
由於目前正在構建人工智能來實現包括預測在內的特定目標，Buterin 問道，如果人工智能不是目標驅動的怎麼辦？ 蘇亞雷斯表示，構建安全且無能力的人工智能很容易，我們可能很快就會擁有有能力但追求不同事物的人工智能。 他不認為 ChatGPT 將消耗整個生物圈，因為它還沒有達到那個能力水平。
Soares 指出，大多數有趣的 AI 應用程序，如自動化科學技術開發和研究，似乎都需要一定的目標追求。
「你能得到這一切並沒有錯 GPT 你可以寫出一首優美的俳句，但你卻無法用它來寫一本小說。 當前系統的局限性與它們沒有追求這些更深層次的目標有關，至少對我來說是這樣。”
閱讀更多：
免責聲明
在與線 信託專案指南，請注意，本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是，僅投資您可以承受損失的金額，並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息，我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告，但市場狀況如有變更，恕不另行通知。
關於作者
辛迪是一名記者 Metaverse Post，涵蓋相關主題 web3, NFT、元宇宙和人工智能，重點是採訪 Web3 行業參與者。她曾與 30 多位 C 級高管進行過交談，並將他們的寶貴見解帶給讀者。辛蒂來自新加坡，現居住在喬治亞第比利斯。她擁有南澳大利亞大學傳播與媒體研究學士學位，並擁有十年的新聞和寫作經驗。透過以下方式與她聯繫 [電子郵件保護] 有新聞發布會、公告和採訪機會。
更多文章
辛迪是一名記者 Metaverse Post，涵蓋相關主題 web3, NFT、元宇宙和人工智能，重點是採訪 Web3 行業參與者。她曾與 30 多位 C 級高管進行過交談，並將他們的寶貴見解帶給讀者。辛蒂來自新加坡，現居住在喬治亞第比利斯。她擁有南澳大利亞大學傳播與媒體研究學士學位，並擁有十年的新聞和寫作經驗。透過以下方式與她聯繫 [電子郵件保護] 有新聞發布會、公告和採訪機會。
