Alibaba ochiq kodli Qwen-7B til modelini taqdim etadi
Alibaba o'zining ochiq manbali Katta Til Modelini (LLM) taqdim etdi Qwen-7B, ularning ommaviy foydalanish mumkin bo'lgan LLMlar sohasiga ilk kirishini belgilash. Ushbu model 7 milliard parametrga asoslangan.
Kontekst uchun Qwen-7B 2.2 trillion token yordamida treningdan o'tdi. Ushbu o'quv bosqichida o'rnatilgan kontekst hajmi 2048 edi, foydalanuvchilar esa test paytida buni maksimal 8192 gacha kengaytirishlari mumkin. Taqqoslash uchun, Llama-2, boshqa LLM, 4096 kontekst hajmini taklif qiladi.
Benchmarklar bunday modellarning ishlashini baholash uchun juda muhimdir va bu sohada xitoylik ishlab chiquvchilar Qwen-7B dan oshib ketganini ta'kidlamoqdalar. Llama-2. Diqqatga sazovor ko'rsatkichlardan biri bu Human-Eval kodlash mezonidir, bunda Qwen-7B 24.4 ballga ega. Llama-2 ning 12.8. Biroq, bu raqamlarga ehtiyotkorlik bilan qarash oqilona. Ba'zi ko'rsatkichlar shuni ko'rsatadiki, Qwen-7B nafaqat asosiy modeldan ustundir LLama-2-7B, balki LLaMA-2-13B varianti. Biroq, ning nozik versiyalariga qarshi chiqqanda Llama-2, farq chegarasi torayadi. Shuni ta'kidlash kerakki, Qwen-7B ni o'qitishning aniq metodologiyasi uning ishlab chiquvchilari tomonidan aniq batafsil bayon qilinmagan.
Funktsional jihatdan parallel ravishda LLaMa2-chat, Qwen Qwen-7B-Chat nomli suhbatga asoslangan versiyasini taqdim etdi. Ushbu model foydalanuvchilar bilan muloqot qilish uchun optimallashtirilgan va turli xil vositalarni o'z ichiga oladi APIlar uning sezgirligini oshirish.
Texnik xususiyatlarga moyil bo'lganlar Qwen-7B arxitektura poydevori shunga o'xshashligini bilishdan manfaatdor bo'ladi. LLaMA. Biroq, Qwen-7B-ni ajratib turadigan o'ziga xos xususiyatlar mavjud:
- U bog'lanmagan joylashtirishdan foydalanadi.
- Aylanadigan pozitsion o'rnatish qo'llaniladi.
- Diqqatdagi QKV bundan mustasno, tarafkashliklar chiqarib tashlanadi.
- RMSNorm LayerNormdan afzalroq.
- Standart ReLU o'rniga SwiGLU o'rnatilgan.
- O'quv jarayonini tezlashtirish uchun Flash e'tibor joriy etildi.
- Model 32 qatlamni o'z ichiga oladi, o'rnatish o'lchami 4096 va 32 diqqat boshini o'z ichiga oladi.
Litsenziyalash nuqtai nazaridan Qwen-7B mos keladi Llama-2. U tijorat maqsadlarida foydalanishga ruxsat beradi, lekin foydalanuvchi hajmini belgilaydi. Vaholanki Llama-2 bu chegarani oyiga 700 million faol foydalanuvchi qilib belgilaydi, Qwen-7B chegarasi 100 millionni tashkil qiladi.
Chuqur tekshiruvdan o'tmoqchi bo'lganlar GitHub-da mavjud bo'lgan texnik hisobotga murojaat qilishlari mumkin. Bundan tashqari, Qwen-7B namoyishi, xitoy tilida taqdim etilgan bo'lib, model imkoniyatlarini amaliy o'rganishga qiziquvchilar uchun ochiqdir.
AI haqida ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
