Alibaba tutvustab avatud lähtekoodiga Qwen-7B keelemudelit
Alibaba avalikustas oma avatud lähtekoodiga suure keelemudeli (LLM). Qwen-7B, mis tähistab nende avalikku sisenemist avalikult juurdepääsetavate LLM-ide valdkonda. See mudel on üles ehitatud 7 miljardile parameetrile.
Konteksti jaoks läbis Qwen-7B koolituse 2.2 triljoni žetooniga. Selle koolitusetapi ajal määratud konteksti suurus oli 2048, samas kui kasutajad saavad seda testimise ajal pikendada maksimaalselt 8192-ni. Võrdluseks, Llama-2, teine LLM, pakub konteksti suurust 4096.
Võrdlusalused on selliste mudelite jõudluse mõõtmiseks hädavajalikud ja selles valdkonnas väidavad Hiina arendajad, et Qwen-7B on ületanud Llama-2. Üks silmapaistev mõõdik on Human-Evali kodeerimise võrdlusalus, kus Qwen-7B tulemus on 24.4. Llama-2 12.8. Siiski on mõistlik vaadata neid numbreid teatud ettevaatusega. Mõned võrdlusnäitajad näitavad, et Qwen-7B ei ületa mitte ainult baasmudelit LLama-2-7B vaid ka LLaMA-2-13B variant. Kui aga võrrelda seda rafineeritud versioonidega Llama-2, muutub erinevuse piir kitsamaks. Tuleb märkida, et Qwen-7B täpset koolitusmetoodikat ei ole selle arendajad selgesõnaliselt kirjeldanud.
Funktsionaalsuses paralleelselt LLaMa2-vestluses on Qwen esitanud vestluskeskse versiooni nimega Qwen-7B-Chat. See mudel on optimeeritud kasutajatega suhtlemiseks ning sisaldab erinevaid tööriistu ja API-liidesed selle reageerimisvõime suurendamiseks.
Need, kes kalduvad tehniliste eripärade poole, oleksid huvitatud sellest, et Qwen-7B arhitektuurne vundament sarnaneb LLaMA. Siiski on Qwen-7B-d eristavad erinevad omadused:
- See kasutab lahtiühendatud manustamist.
- Kasutatakse pöördpositsioonilist kinnistamist.
- Eelarvamused on välistatud, välja arvatud QKV tähelepanu osas.
- RMSNorm on eelistatud LayerNormile.
- Standardse ReLU asemel on kaasatud SwiGLU.
- Treeningprotsessi kiirendamiseks on kasutusele võetud välktähelepanu.
- Mudel koosneb 32 kihist, selle manustamismõõde on 4096 ja see mahutab 32 tähelepanupead.
Litsentsimise osas ühtib Qwen-7B Llama-2. See lubab kommertskasutust, kuid tingimusel on kasutajate maht. Kuigi Llama-2 seab selle ülemmäära 700 miljonile aktiivsele kasutajale kuus, Qwen-7B lävi on 100 miljonit.
Need, kes soovivad põhjalikku uurimist, võivad tutvuda GitHubis saadaoleva tehnilise aruandega. Lisaks Qwen-7B demonstratsioon, mis on esitatud hiina keeles, on kättesaadav neile, kes on huvitatud mudeli võimaluste praktilisest uurimisest.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
