Alibaba představuje Open-Source jazykový model Qwen-7B
Alibaba představila svůj open-source Large Language Model (LLM) pojmenovaný Qwen-7B, což znamená jejich inaugurační vstup do sféry veřejně přístupných LLM. Tento model je postaven na 7 miliardách parametrů.
Pro kontext, Qwen-7B prošel školením s použitím 2.2 bilionu tokenů. Velikost kontextu nastavená během této trénovací fáze byla 2048, zatímco uživatelé ji mohou během testování rozšířit na maximálně 8192. Ve srovnání, Llama-2, další LLM, nabízí velikost kontextu 4096.
Benchmarky jsou zásadní pro měření výkonu takových modelů a v této oblasti čínští vývojáři tvrdí, že Qwen-7B překonal Llama-2. Jednou metrikou, která vyniká, je srovnávací kódování Human-Eval, kde Qwen-7B má skóre 24.4 oproti Llama-2 12.8. Je však rozumné dívat se na tato čísla s určitou opatrností. Některé benchmarky naznačují, že Qwen-7B překonává nejen základní model LLama-2-7B, ale také LLaMA-2-13B varianta. Nicméně, když se postavil proti rafinovaným verzím Llama-2, rozdíl se zužuje. Je třeba poznamenat, že přesná metodika výcviku Qwen-7B nebyla jeho vývojáři výslovně popsána.
Ve funkčnosti souběžně s LLaMa2-chat, Qwen představil chat-centrickou verzi s názvem Qwen-7B-Chat. Tento model je optimalizován pro interakci s uživateli a zahrnuje různé nástroje a API pro zvýšení jeho schopnosti reagovat.
Ti, kteří mají sklon k technickým specifikům, by zajímalo, že architektonický základ Qwen-7B je podobný LLaMA. Existují však odlišné vlastnosti, které odlišují Qwen-7B:
- Využívá nevázané vkládání.
- Využívá se rotační polohové zapuštění.
- Předpojatosti jsou vyloučeny, s výjimkou QKV v pozoru.
- RMSNorm je upřednostňován před LayerNorm.
- Místo standardního ReLU je začleněno SwiGLU.
- Flash pozornost byla zavedena pro urychlení tréninkového procesu.
- Model obsahuje 32 vrstev, má rozměr vložení 4096 a pojme 32 hlav pozornosti.
Pokud jde o licencování, Qwen-7B se shoduje s Llama-2. Umožňuje komerční využití, ale s výhradou objemu uživatelů. Zatímco Llama-2 nastavuje tento limit na 700 milionů aktivních uživatelů měsíčně, hranice Qwen-7B je 100 milionů.
Ti, kteří hledají hloubkovou kontrolu, mohou nahlédnout do technické zprávy dostupné na GitHubu. Dodatečně, ukázka Qwen-7B, poskytovaná v čínském jazyce, je přístupná pro zájemce o praktické prozkoumání možností modelu.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
