„Alibaba“ pristato atvirojo kodo Qwen-7B kalbos modelį
„Alibaba“ pristatė savo atvirojo kodo didžiosios kalbos modelį (LLM), pavadintą Qwen-7B, pažymėdami jų pradinį įėjimą į viešai prieinamų LLM sritį. Šis modelis sukurtas remiantis 7 milijardais parametrų.
Kalbant apie kontekstą, Qwen-7B buvo apmokytas naudojant 2.2 trilijono žetonų. Šio mokymo etapo metu nustatytas konteksto dydis buvo 2048, o bandymo metu vartotojai gali jį padidinti iki daugiausiai 8192. Palyginus, Llama-2, kitas LLM, siūlo 4096 konteksto dydį.
Tokių modelių našumui įvertinti labai svarbūs etalonai, ir šioje srityje Kinijos kūrėjai tvirtina, kad Qwen-7B pranoko Llama-2. Vienas iš išsiskiriančių rodiklių yra Human-Eval kodavimo etalonas, kuriame Qwen-7B balas yra 24.4. Llama-2 12.8. Tačiau protinga į šiuos skaičius žiūrėti atsargiai. Kai kurie etalonai rodo, kad Qwen-7B lenkia ne tik bazinį modelį LLama-2-7B, bet ir LLaMA-2-13B variantas. Tačiau palyginus su patobulintomis versijomis Llama-2, skirtumo riba tampa siauresnė. Reikėtų pažymėti, kad tikslios „Qwen-7B“ mokymo metodikos kūrėjai aiškiai nenurodė.
Pagal funkcionalumą lygiagrečiai LLaMa2-chat, Qwen pristatė į pokalbius orientuotą versiją, pavadintą Qwen-7B-Chat. Šis modelis yra optimizuotas bendrauti su vartotojais ir apima įvairius įrankius ir API padidinti jo reagavimą.
Tiems, kurie linkę į technines specifikas, būtų įdomu sužinoti, kad Qwen-7B architektūrinis pamatas yra panašus į LLaMA. Tačiau yra skirtingų savybių, kurios išskiria Qwen-7B:
- Jame naudojamas atsietas įterpimas.
- Naudojamas sukamasis pozicinis įterpimas.
- Šališkumas neįtraukiamas, išskyrus QKV dėmesį.
- RMSNorm yra pirmenybė, o ne LayerNorm.
- Vietoj standartinio ReLU yra įtrauktas SwiGLU.
- Siekiant pagreitinti mokymo procesą, buvo įvestas „Flash“ dėmesys.
- Modelį sudaro 32 sluoksniai, jo įterpimo matmuo yra 4096 ir telpa 32 dėmesio galvutės.
Kalbant apie licenciją, Qwen-7B atitinka Llama-2. Jį leidžiama naudoti komerciniais tikslais, tačiau nurodant vartotojų skaičių. Nors Llama-2 nustato šią ribą iki 700 milijonų aktyvių vartotojų per mėnesį, Qwen-7B riba yra 100 milijonų.
Norintys atlikti išsamų tyrimą, gali peržiūrėti techninę ataskaitą, kurią rasite „GitHub“. Be to, Qwen-7B demonstravimas, pateikta kinų kalba, yra prieinama tiems, kurie domisi modelio galimybėmis praktiškai.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
