OpenAI 組建50+專家團隊強化 GPT-4的安全
簡單來說
OpenAI 聘請了超過 50 名專家組成的團隊,以確保其最新的 語言模型, GPT-4,使用安全。
該團隊包括專門研究人工智能安全、倫理和政策的研究人員和工程師。
目的是為了防止 GPT-4 避免產生有害或偏見的內容,並確保其符合人類價值。
OpenAI 聘請了50多名來自各個領域的專家來製作 GPT-4 更安全。 專家們一直在對該模型進行對抗性測試,以識別潛在的風險和漏洞。 他們是來自各個領域的專家:長期人工智能一致性風險、網絡安全、生物風險和國際安全。 他們的發現有幫助 OpenAI 評估需要利基專業知識的高風險領域的模型行為。
雖然最新的語言模型與較小的語言模型有類似的風險,但 GPT-4 導致新的威脅。 因此,專家的參與 對於確保技術安全至關重要.
OpenAI 實施了一組額外的與安全相關的人類偏好強化學習 (RLHF) 訓練提示和基於規則的獎勵模型 (RBRM),以提高系統的安全性 GPT-4 模型。 RBRM 是零樣本 GPT-4 分類器作為額外的獎勵訊號 GPT-4 RLHF 微調期間的政策模型。 其目的是激勵適當的行為,例如拒絕產生有害內容或不拒絕無害請求。
為了確保大家的安全 GPT-4 楷模, OpenAI 2022年XNUMX月開始招募外部專家進行「紅隊」演習,包括壓力測試、邊界測試和對抗性測試。 他們可以訪問早期版本 GPT-4 模型並確定了激發進一步安全研究的初始風險。
專家的反饋導致技術緩解和政策執行措施減少風險。 然而,許多威脅仍然存在,需要進一步評估。
談論員工 OpenAI, ChatGPT 最初是 發達 在世界上一些最貧困地區的個人的幫助下 OpenAI與一家名為薩瑪的公司合作,該公司僱傭了數百萬來自貧困地區的工人。 一些人工智能倫理專家提出批評 OpenAI決定將其培訓外包 ChatGPT 向薩瑪展示模特,指責該公司剝削低成本勞動力。
閱讀更多:
免責聲明
在與線 信託專案指南,請注意,本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是,僅投資您可以承受損失的金額,並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息,我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告,但市場狀況如有變更,恕不另行通知。
關於作者
Agne 是一名記者,負責報導虛擬宇宙、人工智能和人工智能領域的最新趨勢和發展。 Web3 行業為 Metaverse Post。 她對講故事的熱情促使她對這些領域的專家進行了大量採訪,總是試圖發現令人興奮和引人入勝的故事。 Agne 擁有文學學士學位,在旅行、藝術和文化等廣泛主題的寫作方面擁有豐富的背景。 她也志願擔任動物權利組織的編輯,幫助提高人們對動物福利議題的認識。 聯繫她 [電子郵件保護].
更多文章Agne 是一名記者,負責報導虛擬宇宙、人工智能和人工智能領域的最新趨勢和發展。 Web3 行業為 Metaverse Post。 她對講故事的熱情促使她對這些領域的專家進行了大量採訪,總是試圖發現令人興奮和引人入勝的故事。 Agne 擁有文學學士學位,在旅行、藝術和文化等廣泛主題的寫作方面擁有豐富的背景。 她也志願擔任動物權利組織的編輯,幫助提高人們對動物福利議題的認識。 聯繫她 [電子郵件保護].