Alibaba predstavlja Qwen-7B jezični model otvorenog koda
Alibaba je predstavila svoj open-source Large Language Model (LLM) pod nazivom Qwen-7B, obilježavajući njihov inauguralni ulazak u područje javno dostupnih LLM-ova. Ovaj model je izgrađen na 7 milijardi parametara.
Za kontekst, Qwen-7B prošao je obuku koristeći 2.2 trilijuna tokena. Veličina konteksta postavljena tijekom ove faze obuke bila je 2048, dok je korisnici mogu proširiti na najviše 8192 tijekom testiranja. Usporedbe radi, Llama-2, još jedan LLM, nudi veličinu konteksta od 4096.
Mjerila su ključna za mjerenje performansi takvih modela, au tom domenu kineski programeri tvrde da je Qwen-7B nadmašio Llama-2. Jedna metrika koja se ističe je mjerilo kodiranja Human-Eval, gdje Qwen-7B ima ocjenu 24.4 u odnosu na Llama-2 je 12.8. Međutim, mudro je ove brojke promatrati s određenim stupnjem opreza. Neka mjerila pokazuju da Qwen-7B nadmašuje ne samo osnovni model LLama-2-7B ali i LLaMA-2-13B varijanta. Međutim, kada se suprotstavi profinjenim verzijama Llama-2, margina razlike postaje uža. Treba napomenuti da točna metodologija treninga Qwen-7B nije eksplicitno detaljno opisana od strane njegovih programera.
U funkcionalnosti paralelno s LLaMa2-chat, Qwen je predstavio verziju usmjerenu na chat pod nazivom Qwen-7B-Chat. Ovaj je model optimiziran za interakciju s korisnicima i uključuje različite alate i Apis kako bi se poboljšala njegova odzivnost.
One sklone tehničkim detaljima zanimalo bi da Qwen-7B svojim arhitektonskim temeljem podsjeća na LLaMA. Međutim, postoje različite značajke koje razlikuju Qwen-7B:
- Zapošljava nevezano ugrađivanje.
- Koristi se rotacijsko poziciono umetanje.
- Pristranosti su isključene, s izuzetkom QKV u pozornosti.
- RMSNorm ima prednost u odnosu na LayerNorm.
- Umjesto standardnog ReLU, ugrađen je SwiGLU.
- Uvedena je Flash Pažnja kako bi se ubrzao proces obuke.
- Model se sastoji od 32 sloja, ima dimenziju ugradnje od 4096 i prima 32 glave za pozornost.
Što se tiče licenciranja, Qwen-7B se slaže s njim Llama-2. Dopušta komercijalnu upotrebu, ali uz uvjet o količini korisnika. Dok Llama-2 postavlja ovo ograničenje na 700 milijuna aktivnih korisnika mjesečno, Qwen-7B prag je 100 milijuna.
Oni koji traže dubinski pregled mogu pogledati tehničko izvješće dostupno na GitHubu. Dodatno, demonstracija Qwen-7B, dostupan na kineskom jeziku, dostupan je onima koji su zainteresirani za praktično istraživanje mogućnosti modela.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
