グアナコがオープンソースの可能性として浮上 ChatGPT 他社
簡単に言えば
ワシントン大学の研究者によって開発されたオープンソースのチャットボットである Guanaco は、 ChatGPT トレーニングにかかる時間と費用が少なくて済みます。
しかし、新しい研究では、アルパカのようなモデルの有効性に疑問が生じています。
ワシントン大学の研究者らが明らかにした。 グアナコ、のパフォーマンスに匹敵することを目的としたオープンソースのチャットボットです。 ChatGPT トレーニングに必要な時間とリソースを大幅に削減します。 南米の親戚にちなんで名付けられました llamaグアナコは LLaMA 言語モデルを採用し、QLoRA と呼ばれる新しい微調整メソッドを組み込んでいます。
Guanaco の作成者は、Guanaco が同等のパフォーマンスを達成すると主張しています。 ChatGPT しかし、たったXNUMX日でトレーニングすることができます。 この驚くべき偉業は、トレーニングに必要な GPU メモリの量を大幅に削減する言語モデルの微調整技術である QLoRA によって可能になりました。 その間 ChatGPT 780 GB という膨大な GPU メモリが必要です 65 億のパラメータを持つモデルの場合、Guanaco の最も単純なバージョンでは 5 GB しか必要としません。
このような目覚ましい効率向上により、Guanaco および同様のオープンソース モデルは、費用のかかるトレーニングが必要であるという概念に挑戦しています。 最先端の言語モデル。 グアナコの出現、 アルパカ, 他のモデル わずかなコストで訓練できるということは、次のような高価なモデルの将来についての憶測につながっています。 GPT.
ただし、オープンソース モデルに対するこの楽観的な見方に誰もが同意するわけではありません。 カリフォルニア大学によって行われた最近の研究 疑問を投げかけた アルパカのようなモデルの能力について研究し、その真の可能性について疑問を投げかけました。 当初、研究者らは Guanaco の作成者と同様の結論に達しました。適切にトレーニングされれば、オープンソース モデルは匹敵する可能性があります。 GPT 能力的には。 さらなるテストにより、重大な制限が明らかになりました。 これらの「ドリー」モデルは、トレーニング中に遭遇した問題の解決策を模倣することに熟達しています。 ただし、明示的に公開されていないタスクではうまく実行できず、より高度なモデルに遅れをとっています。
この啓示は、次のことを示唆しています。 トレーニングに数百万ドルを投資 GPT そして同様のモデルが無駄ではなかったかもしれません。 Guanaco とその対応物は有望な結果を示していますが、より洗練されたモデルが優れている領域がまだあります。 注目に値するのは、 カリフォルニア大学によって行われた研究 オープンソース モデルが次のような高価なモデルを完全に置き換えることができるという一般的な概念に異議を唱えます。 GPT.
自然言語処理の分野が進化するにつれて、Guanaco やその他のオープンソース モデルが既存のモデルとどのように対等に機能するかを見るのは興味深いでしょう。 などのベンチマーク ChatGPT。 高い技術革新と継続的な研究は、疑いなく、言語モデルの将来に影響を与え、特定のアプリケーションにとってどのモデルが主な選択肢となるかを決定します。
- Dolly 2.0、最初の商用利用可能なオープンソース 12B Chat-LLM、 発表されました データブリックスによる。 これは機械学習業界にとって大きな進歩であり、企業は高価な GPU クラスターに投資せずに効果的な言語モデルを作成できるようになります。 Databricks は、5,000 人の従業員を動員してオープンソース言語モデルを作成しました。これには、MIT ライセンスに基づく EleutherAI の Pythia-12B 言語モデルが含まれていました。 Dolly 2.0 および関連コードは、MIT ライセンスの下で入手できます。 Dolly 2.0 は業界を変える可能性を秘めており、機械学習にとって大きな前進となります。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
