Anthropic 通過生物風險評估分析人工智能安全
簡單來說
Anthropic，由前OpenAI 員工開展了一個項目來評估生物風險中與人工智能模型相關的潛在風險。
該項目涉及專家投入 150 多個小時來研究“Claude 2”等先進模型，以更深入地了解他們的熟練程度。
研究發現先進的模型，例如 GPT-4，可以提供詳細的專家級知識，但它們的頻率因不同主題而異。
Anthropic 強調解決安全問題的緊迫性，並指出風險可能在短短兩到三年內變得明顯。
人類共享見解 來自他們的項目，旨在評估生物風險領域與人工智能模型相關的潛在風險。 主要重點是了解模型在有害生物信息方面的能力，例如與生物武器相關的細節。
在六個月的時間裡，專家們投入了 150 多個小時來研究 Anthropic 的高級模型（推測為“Claude 2”），以更深入地了解這些模型的熟練程度。 該過程涉及設計特殊提示，稱為“越獄”，旨在評估模型的響應準確性。 此外，還採用定量方法來確定模型的能力。
雖然研究的深入結果和具體細節尚未披露，但這篇文章概述了該專案的主要發現和要點。 據觀察，先進的模型，包括 Claude 2 和 GPT-4，有能力提供詳細的、專家級的知識，儘管這種精確資訊的頻率因不同主題而異。 另一個重要的觀察結果是這些模型隨著規模的擴大而增加的能力。
這項研究引起的最重要的關注之一是 潛在的濫用 生物學領域中的這些模型。 Anthropic 的研究表明大型語言模型（法學碩士）如果在沒有嚴格監督的情況下部署，可能會無意中促進和加速生物領域的惡意嘗試。 儘管目前認為此類威脅較小，但隨著法學碩士的不斷發展，預計這些威脅將會增加。
Anthropic 強調解決這些安全問題的緊迫性，並強調風險可能在短短兩到三年內變得明顯，而不是延長五年或更長時間。 從研究中收集到的見解促使團隊重新調整他們的研究方向，更加重視與有形的、現實世界的工具交互的模型。
對於更詳細的觀點，特別是關於 GPT-4由於語言模型在化學混合和實驗進行方面的能力，我們鼓勵讀者參考補充來源和管道，深入研究語言模型如何潛在地駕馭物理實驗領域的複雜性。
最近，我們分享了 文章 討論如何創建一個結合多個大型語言模型的系統，用於自主設計、規劃和執行科學實驗。 該系統在三種不同的情況下展示了 Agent 的研究能力，其中最具挑戰性的是催化反應的成功實施。 該系統包括一個庫，允許編寫Python程式碼並將其傳輸到特殊設備上進行實驗。 系統連接到 GPT-4，一個頂級調度程序，用於分析原始請求並製定研究計劃。
該模型已經通過簡單的非化學任務進行了測試，例如在化學板上創建形狀以及用物質正確填充細胞。 然而，並沒有進行真正的實驗，模型多次編寫化學方程式來了解反應所需的物質量。 該模型還被要求合成毒品和毒藥等危險物質。
有些要求模型會拒絕工作，例如海洛因或戰毒芥末。 然而，對於某些請求，該模型已與 OpenAI 團隊，讓模型明白它被要求做錯事並拒絕。 對齊過程是引人注目的，並鼓勵大 開發法學碩士的公司優先考慮模型的安全性.
MPost的意見： Anthropic 展示了一種主動的理解方法 潛在風險 與他們的模型相關。 投入超過 150 小時來評估該模型推斷有害生物資訊的能力，這表明他們致力於了解其技術的潛在負面後果。 讓專家評估模型建議採取徹底而嚴格的方法。 外部專家可以提供不受開發過程偏見的全新視角，確保評估的全面性。 人類的 已根據本研究的結果調整了未來的研究計劃。 根據已識別的風險調整研究方向表明採取行動的意願 對人類安全的潛在威脅。 Anthropic 一直開放地分享他們研究的廣泛趨勢和結論，但他們故意沒有公佈具體細節。 鑑於披露信息可能會鼓勵濫用，這可以被視為負責任的選擇。 這也使得外部各方很難獨立核實他們的說法。 他們預測風險並表明特定威脅可能在兩到三年內加劇的能力表明了他們的前瞻性思維。 未來的挑戰是可以預測的，從而可以及早干預並製定安全措施。 鑑於他們專注於使用現實世界工具的模型，他們似乎意識到人工智能模型與物理系統交互的影響和風險。
閱讀有關人工智能的更多信息：
免責聲明
在與線 信託專案指南，請注意，本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是，僅投資您可以承受損失的金額，並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息，我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告，但市場狀況如有變更，恕不另行通知。
關於作者
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
更多文章
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
