Alibaba predstavlja odprtokodni jezikovni model Qwen-7B
Alibaba je predstavila svoj odprtokodni Large Language Model (LLM) z imenom Qwen-7B, ki označuje njihov uvodni vstop v področje javno dostopnih LLM. Ta model je zgrajen na 7 milijardah parametrov.
Za kontekst je Qwen-7B opravil usposabljanje z uporabo 2.2 bilijona žetonov. Velikost konteksta, nastavljena med to fazo usposabljanja, je bila 2048, uporabniki pa jo lahko med testiranjem razširijo na največ 8192. Za primerjavo, Llama-2, še en LLM, ponuja velikost konteksta 4096.
Primerjalna merila so bistvena za merjenje zmogljivosti takih modelov in na tem področju kitajski razvijalci trdijo, da je Qwen-7B presegel Llama-2. Ena metrika, ki izstopa, je merilo uspešnosti kodiranja Human-Eval, kjer Qwen-7B doseže 24.4 Llama-2 je 12.8. Vendar je na te številke preudarno gledati z določeno mero previdnosti. Nekatera merila uspešnosti kažejo, da Qwen-7B prekaša ne le osnovni model LLama-2-7B, ampak tudi LLaMA-2-13B varianta. Vendar, ko se pomerimo z izpopolnjenimi različicami Llama-2, meja razlike postane ožja. Opozoriti je treba, da njegovi razvijalci niso izrecno opisali natančne metodologije usposabljanja Qwen-7B.
Po funkcionalnosti vzporedno z LLaMa2-chat je Qwen predstavil različico, osredotočeno na klepet, imenovano Qwen-7B-Chat. Ta model je optimiziran za interakcijo z uporabniki in vključuje različna orodja in API-ji za izboljšanje njegove odzivnosti.
Tiste, ki so nagnjeni k tehničnim posebnostim, bi zanimalo, da je arhitekturna osnova Qwen-7B podobna LLaMA. Vendar pa obstajajo različne značilnosti, ki razlikujejo Qwen-7B:
- Uporablja nevezano vdelavo.
- Uporablja se rotacijska pozicijska vdelava.
- Pristranskosti so izključene, z izjemo QKV v pozornosti.
- RMSNorm ima prednost pred LayerNorm.
- Namesto standardnega ReLU je vključen SwiGLU.
- Za pospešitev procesa usposabljanja je bila uvedena bliskovita pozornost.
- Model je sestavljen iz 32 slojev, ima vgradno dimenzijo 4096 in sprejme 32 pozornostnih glav.
Kar zadeva licenciranje, se Qwen-7B ujema z Llama-2. Dovoljuje komercialno uporabo, vendar z določilom količine uporabnikov. Medtem Llama-2 postavlja to zgornjo mejo na 700 milijonov aktivnih uporabnikov na mesec, prag Qwen-7B je 100 milijonov.
Tisti, ki iščejo poglobljen pregled, si lahko ogledajo tehnično poročilo, ki je na voljo na GitHubu. Poleg tega predstavitev Qwen-7B, ki je na voljo v kitajskem jeziku, je na voljo tistim, ki jih zanima praktično raziskovanje zmogljivosti modela.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
