Alibaba Açıq Mənbəli Qwen-7B Dil Modelini Təqdim edir
Alibaba açıq mənbəli Böyük Dil Modelini (LLM) təqdim etdi Qwen-7B, ictimai əlçatan LLM-lər sahəsinə ilk girişlərini qeyd edir. Bu model 7 milyard parametr üzərində qurulub.
Kontekst üçün Qwen-7B 2.2 trilyon tokendən istifadə edərək təlim keçib. Bu təlim mərhələsində müəyyən edilmiş kontekst ölçüsü 2048 idi, istifadəçilər isə sınaq zamanı bunu maksimum 8192-yə qədər genişləndirə bilərlər. Müqayisə üçün, Llama-2, başqa bir LLM, 4096 kontekst ölçüsü təklif edir.
Benchmarklar bu cür modellərin performansını ölçmək üçün vacibdir və bu sahədə Çin tərtibatçıları Qwen-7B-nin üstün olduğunu iddia edirlər. Llama-2. Diqqət çəkən bir metrik, Qwen-7B-yə qarşı 24.4 bal topladığı Human-Eval kodlaşdırma meyarıdır. Llama-2 12.8. Bununla belə, bu rəqəmlərə bir qədər ehtiyatla baxmaq məqsədəuyğundur. Bəzi meyarlar göstərir ki, Qwen-7B nəinki baza modelindən üstündür LLama-2-7B həm də LLaMA-2-13B variantı. Lakin, zərif versiyaları qarşı pitted Llama-2, fərq marjası daralır. Qeyd etmək lazımdır ki, Qwen-7B-nin dəqiq təlim metodologiyası onun tərtibatçıları tərəfindən açıq şəkildə təfərrüatlandırılmamışdır.
Paralel funksionallıqda LLaMa2-chat, Qwen Qwen-7B-Chat adlı söhbət mərkəzli versiyasını təqdim etdi. Bu model istifadəçilərlə qarşılıqlı əlaqə yaratmaq üçün optimallaşdırılıb və müxtəlif alətləri özündə birləşdirir API həssaslığını artırmaq üçün.
Texniki xüsusiyyətlərə meylli olanlar, Qwen-7B-nin memarlıq təməlinin oxşar olduğunu bilməkdə maraqlı olardılar. LLaMA. Bununla belə, Qwen-7B-ni fərqləndirən fərqli xüsusiyyətlər var:
- O, bağlanmamış yerləşdirmədən istifadə edir.
- Rotary mövqeli yerləşdirmə istifadə olunur.
- Diqqətdə olan QKV istisna olmaqla, qərəzlər istisna edilir.
- RMSNorm LayerNorm-dan daha üstündür.
- Standart ReLU əvəzinə SwiGLU birləşdirilmişdir.
- Təlim prosesini sürətləndirmək üçün flash diqqət tətbiq edilmişdir.
- Model 32 təbəqədən ibarətdir, 4096 yerləşdirmə ölçüsünə malikdir və 32 diqqət başlığını yerləşdirir.
Lisenziyalaşdırma baxımından Qwen-7B uyğun gəlir Llama-2. O, kommersiya istifadəsinə icazə verir, lakin istifadəçi həcminə dair bir şərtlə. ikən Llama-2 bu həddi ayda 700 milyon aktiv istifadəçi olaraq təyin edir, Qwen-7B-nin həddi 100 milyondur.
Dərin müayinədən keçmək istəyənlər GitHub-da mövcud olan texniki hesabata müraciət edə bilərlər. Əlavə olaraq, Qwen-7B-nin nümayişiÇin dilində təqdim olunan , modelin imkanlarının praktiki tədqiqi ilə maraqlananlar üçün əlçatandır.
AI haqqında daha çox oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
