一位研究人員表示，今天的大型語言模型將是小型模型 OpenAI
Hyung Won Chung，一位卓有成效的人工智慧研究員，曾受僱於 Google Brain，目前是 OpenAI 團隊發表了一場發人深省的45分鐘演講，他在演講中探索了2023年大語言模型的世界。Chung在該領域擁有豐富的經驗； 他是Google論文的第一作者“擴展指令微調語言模型，「它檢查了可以訓練多大的語言模型來遵循指令。
Chung 強調廣泛語言模型的世界是動態的。 在法學碩士的世界裡，指導原則不斷發展，與基本假設通常保持穩定的傳統領域形成鮮明對比。 隨著下一代模型的出現，目前被認為不可能或不切實際的事情可能會成為可能。 他強調了大多數關於 LLM 能力的說法都以「目前」開頭的重要性。 模型可以執行任務； 它只是還沒有這樣做。
今天的大型模型將在短短幾年內變成小型模型
鄭亨元, OpenAI
需要細緻的記錄和可重複性 人工智能研究 這是從鐘的演講中我們學到的最重要的教訓之一。 隨著該領域的發展，徹底記錄正在進行的工作至關重要。 這種策略保證了實驗可以快速複製和重新審視，使研究人員能夠在早期工作的基礎上繼續進行。 透過這種實踐，人們認識到未來可能會發展出在最初研究期間不切實際的能力。
Chung 演講的一部分致力於闡明數據和模型並行性的複雜性。 對於有興趣深入研究人工智慧技術的人來說，本節提供了這些平行技術的內部工作原理的寶貴見解。 了解這些機制對於優化至關重要 大規模模型訓練.
Chung 認為，目前用於 LLM 預訓練的目標函數「最大似然」在實現真正大規模（例如 10,000 倍的容量）時是一個瓶頸。 GPT-4。 隨著機器學習的進步，手動設計的損失函數變得越來越有限。
Chung 認為人工智慧開發的下一個範例涉及透過單獨的演算法學習功能。 這種方法雖然還處於起步階段，但有望實現超越當前限制的可擴展性。 他還強調了正在進行的努力，例如透過規則建模從人類回饋中進行強化學習（RLHF），這是朝著這個方向邁出的一步，儘管挑戰仍然需要克服。
免責聲明
在與線 信託專案指南，請注意，本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是，僅投資您可以承受損失的金額，並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息，我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告，但市場狀況如有變更，恕不另行通知。
關於作者
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
更多文章
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
