guanaco 成為潛在的開源項目 ChatGPT 競爭者
簡單來說
華盛頓大學研究人員開發的開源聊天機器人Guanaco渴望與 ChatGPT 同時需要更少的時間和金錢進行培訓。
然而，一項新研究質疑像羊駝這樣的模型的功效。
華盛頓大學的研究人員揭開了 瓜納科，一個開源聊天機器人，旨在與 ChatGPT 同時大幅減少培訓所需的時間和資源。 以南美親戚的名字命名 llamas，Guanaco 建立在 LLaMA 語言模型並結合了一種稱為 QLoRA 的新穎微調方法。
guanaco 的創建者聲稱它的性能可與 ChatGPT 但只需一天即可訓練。 這一非凡的壯舉是通過 QLoRA 實現的，QLoRA 是一種語言模型微調技術，可大幅減少訓練所需的 GPU 內存量。 儘管 ChatGPT 需要高達 780 GB 的 GPU 內存 對於一個有 65 億個參數的模型，Guanaco 最簡單的版本只需要 5 GB。
憑藉這些令人印象深刻的效率提升，Guanaco 和類似的開源模型正在挑戰這樣一種觀念，即必須進行昂貴的培訓 最先進的語言模型. 原駝的出現， 羊駝和 其他型號 以一小部分成本進行訓練引發了人們對昂貴模型的未來的猜測，例如 GPT.
然而，並非所有人都同意這種對開源模型的樂觀看法。 加州大學最近進行的一項研究 產生了懷疑 羊駝等模型的能力，並對它們的真正潛力提出了疑問。 最初，研究人員得出了與guanaco的創建者類似的結論：經過適當的訓練，開源模型可以與 GPT 在能力方面。 進一步的測試揭示了一個重大的限制。 這些有時被稱為「Dolly」的模型擅長模仿訓練過程中遇到的問題的解決方案。 然而，它們在沒有明確接觸過的任務上很難表現良好，落後於更先進的模型。
這一啟示表明 培訓投資數百萬 GPT 類似的模型可能沒有白費。 雖然 Guanaco 及其同行展示了可喜的成果，但仍有一些領域更複雜的模型表現出色。 值得注意的是 加州大學進行的研究 挑戰了開源模型可以完全取代昂貴模型的普遍觀念，例如 GPT.
隨著自然語言處理領域的發展，觀察 Guanaco 和其他開源模型如何與既定模型公平競爭將會很有趣 基準例如 ChatGPT. 毫無疑問，高創新率和持續研究將影響語言模型的未來，並決定哪些模型成為特定應用程序的首選。
- Dolly 2.0，第一個商用開源 12B Chat-LLM， 已經公佈 通過數據塊。 這對機器學習行業來說是一項重大進步，使企業無需投資昂貴的 GPU 集群即可創建有效的語言模型。 Databricks 聘請了 5,000 名員工來創建他們的開源語言模型，其中包括 EleutherAI 的 Pythia-12B 語言模型，該模型獲得了 MIT 許可。 Dolly 2.0 以及相關代碼在 MIT 許可下可用。 Dolly 2.0 具有改變行業的潛力，是機器學習向前邁出的重要一步。
閱讀有關人工智能的更多信息：
免責聲明
在與線 信託專案指南，請注意，本頁提供的資訊無意且不應被解釋為法律、稅務、投資、財務或任何其他形式的建議。 重要的是，僅投資您可以承受損失的金額，並在有任何疑問時尋求獨立的財務建議。 如需了解更多信息，我們建議您參閱條款和條件以及發行人或廣告商提供的幫助和支援頁面。 MetaversePost 致力於提供準確、公正的報告，但市場狀況如有變更，恕不另行通知。
關於作者
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
更多文章
Damir 是團隊領導、產品經理和編輯 Metaverse Post，涵蓋 AI/ML、AGI、LLM、Metaverse 等主題 Web3- 相關領域。 他的文章每月吸引超過一百萬用戶的大量讀者。 他似乎是一位在 SEO 和數字營銷方面擁有 10 年經驗的專家。 達米爾曾在 Mashable、Wired、 Cointelegraph、《紐約客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作為數字游牧者往返於阿聯酋、土耳其、俄羅斯和獨聯體國家之間。 達米爾獲得了物理學學士學位，他認為這賦予了他在不斷變化的互聯網格局中取得成功所需的批判性思維技能。
