アリババ、オープンソースの Qwen-7B 言語モデルを導入
アリババは、オープンソースの大規模言語モデル (LLM) を発表しました。 クウェン-7B、公的にアクセス可能なLLMの領域への最初の参入をマークします。 このモデルは 7 億のパラメーターに基づいて構築されています。
文脈として、Qwen-7B は 2.2 兆 2048 億トークンを使用してトレーニングを受けました。 このトレーニング フェーズ中に設定されたコンテキスト サイズは 8192 でしたが、ユーザーはテスト中にこれを最大 XNUMX まで拡張できます。 比較すると、 Llama別の LLM である -2 は、4096 のコンテキスト サイズを提供します。
このようなモデルのパフォーマンスを評価するにはベンチマークが不可欠であり、この分野では中国の開発者は Qwen-7B が上回っていると主張しています。 Llama-2. 際立った指標の 7 つは Human-Eval コーディング ベンチマークで、Qwen-24.4B のスコアは XNUMX です。 Llama-2の12.8。 ただし、これらの数字はある程度の注意をもって見ることが賢明です。 いくつかのベンチマークは、Qwen-7B が単にベースモデルよりも優れていることを示しています。 LLama-2-7B だけでなく、 LLaMA-2-13Bのバリエーション。 ただし、洗練されたバージョンと比較すると、 Llama-2の場合、差の幅は狭くなります。 Qwen-7B の正確なトレーニング方法は、開発者によって明確に詳細に説明されていないことに注意してください。
と並行して機能する LLaMa2 チャットの Qwen は、Qwen-7B-Chat という名前のチャット中心のバージョンを発表しました。 このモデルは、ユーザーと対話するために最適化されており、さまざまなツールや API 応答性を高めるためです。
技術的な詳細に興味がある人は、Qwen-7B の建築基盤が次のようなものに似ていることを知りたいと思うでしょう。 LLaMA。 ただし、Qwen-7B とは異なる明確な機能があります。
- アンタイド埋め込みを採用しています。
- 回転位置埋め込みが利用されます。
- 注意の QKV を除き、バイアスは除外されます。
- RMSNorm は LayerNorm よりも優先されます。
- 標準のReLUの代わりにSwiGLUが組み込まれています。
- フラッシュ アテンションは、トレーニング プロセスを迅速化するために導入されました。
- モデルは 32 層で構成され、埋め込み寸法は 4096 で、32 個のアテンション ヘッドを収容します。
ライセンスの面では、Qwen-7B は Llama-2. 商用利用は許可されていますが、ユーザー数に制限があります。 その間 Llama-2 は、この上限を月間アクティブ ユーザー数 700 億人に設定します。Qwen-7B のしきい値は 100 億人です。
詳細な調査を必要とする場合は、GitHub で入手可能な技術レポートを参照してください。 さらに、 Qwen-7Bのデモンストレーションは中国語で提供されており、モデルの機能を実際に調べることに興味がある人はアクセスできます。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
