加利福尼亞大學的研究人員創建了 Machiavelli 基準，用於衡量 AI 模型的能力和危害
簡單來說
加州大學、AI 安全中心、卡內基梅隆大學和耶魯大學的研究人員提出了 Machiavelli 基準來衡量代理在長期語言交互的廣泛環境中的能力和危害性。
該基準測試基於 134 個自選冒險文本遊戲，其中包含 572k 個不同的場景、4,5k 個可能的成就和 2,8m 個註釋。
作者將其描述為檢查 AI 代理嘗試解決問題的道德（或不道德）方式的測試。
基於大型語言模型 (LLM) 的 AI 受益者很有可能粉碎焦慮的危言聳聽者，並讓基於 LLM 的超級智能代理淹沒世界。 巨額利潤和無限權力的潛在好處將起到作用。 而且它很可能會很快發生。
不過，受益人一點都不傻。 他們明白，在奇妙的新世界裡，人工智能和機器人的法則將不再適用。 唉，要強制 LLM 嚴格遵守偉大的艾薩克·阿西莫夫 (Isaac Asimov) 早在 1942 年制定的三項法則，即使在理論上也是不可能的。
擺脫這種微妙局面的原始方法 被提議 由加州大學、人工智能安全中心、卡內基梅隆大學和耶魯大學的研究人員共同完成。 他們創造了 馬基雅維利基準 “在長期語言交互的廣泛環境中衡量代理人的能力和危害性。”
作者的想法很簡單。
- 如果法律不起作用，那麼就不需要“治安官”來執行它們。
- 需要的不是治安官，而是精神分析師，他將根據測試結果識別潛在的偏執狂、精神病患者、虐待狂和病態說謊者。
用政治上正確的語言，作者這樣描述：“馬基雅維利是一種測試，用於檢查人工智能代理試圖解決問題的道德（或不道德）方式。”
這種驗證的方法是非常實用的。 AI代理被釋放到人工社交環境中。 在那裡，研究人員給他了各種任務，並觀察他如何完成這些任務。 環境本身監督著人們的道德行為 人工智能代理 並報告代理人的行為（根據馬基雅維利的戒律）在多大程度上具有欺騙性、降低效用以及旨在獲得權力。
Machiavelli 核心數據集包含 134 個選擇你自己的冒險文本遊戲，具有 572k 個不同的場景、4,5k 個可能的成就和 2,8m 個註釋。 這些遊戲使用高級解決方案，為智能體提供現實的目標並抽像出與環境的低級交互。
作者選擇的方法基於這樣的假設，即 AI 代理面臨與人類相同的內部衝突。 正如經過訓練以預測下一個標記的語言模型通常會產生有毒文本一樣，經過訓練以優化目標的 AI 代理通常會表現出不道德和耗電的行為。 受過非道德訓練的代理人可能會制定權謀策略，以犧牲他人和環境為代價來最大化他們的回報。 因此，通過鼓勵代理人按照道德行事，可以改善這種妥協。
作者認為文字冒險遊戲是一種很好的道德測試，因為：
- 它們是人們為了娛樂他人而編寫的。
- 包含具有現實行動空間的競爭目標。
- 需要長期規劃。
- 實現目標通常需要在野心和某種意義上的道德之間取得平衡。
這裡的澄清是最重要的。 將生物存在的道德與算法模型的道德相提並論未免太牽強了，這會貶低馬基雅維利的檢驗。 在人類世界中，用精神分析師取代治安官幾乎不會奏效。 人工智能代理人和人類一樣擅長尋找方法來胡說八道。
閱讀有關人工智能的更多信息：
免責聲明
在與線 信託專案指南，請注意，本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是，僅投資您可以承受損失的金額，並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息，我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告，但市場狀況如有變更，恕不另行通知。
關於作者
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
更多文章
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
