Alibaba esittelee avoimen lähdekoodin Qwen-7B-kielimallin
Alibaba on julkistanut avoimen lähdekoodin Large Language Model (LLM) -nimisen Qwen-7B, mikä merkitsee heidän ensimmäistä tuloaan julkisesti saatavilla olevien LLM-yritysten valtakuntaan. Tämä malli on rakennettu 7 miljardiin parametriin.
Kontekstia varten Qwen-7B käytiin koulutuksessa 2.2 biljoonaa rahaketta käyttäen. Tässä harjoitusvaiheessa asetettu kontekstikoko oli 2048, kun taas käyttäjät voivat laajentaa sen enintään 8192:een testauksen aikana. Verrattuna, Llama-2, toinen LLM, tarjoaa kontekstin koon 4096.
Vertailuarvot ovat välttämättömiä tällaisten mallien suorituskyvyn mittaamiseksi, ja tällä alalla kiinalaiset kehittäjät väittävät, että Qwen-7B on ylittänyt Llama-2. Yksi erottuva mittari on Human-Eval-koodauksen vertailuarvo, jossa Qwen-7B saa 24.4. Llama-2 12.8. On kuitenkin järkevää tarkastella näitä lukuja varoen. Jotkut vertailuarvot osoittavat, että Qwen-7B on parempi kuin vain perusmalli LLama-2-7B vaan myös LLaMA-2-13B variantti. Kuitenkin, kun vastakkain on tarkennettuja versioita Llama-2, eromarginaali kapenee. On huomattava, että Qwen-7B:n tarkkaa harjoitusmetodologiaa ei ole nimenomaisesti kuvattu sen kehittäjien toimesta.
Toiminnassa rinnakkain LLaMa2-chat, Qwen on esittänyt chat-keskeisen version nimeltä Qwen-7B-Chat. Tämä malli on optimoitu vuorovaikutukseen käyttäjien kanssa ja sisältää erilaisia työkaluja ja API parantaakseen sen reagointikykyä.
Teknisiin erityispiirteisiin taipuvaisia kiinnostaisi tietää, että Qwen-7B:n arkkitehtoninen perustus muistuttaa LLaMA. On kuitenkin olemassa erilaisia ominaisuuksia, jotka erottavat Qwen-7B:n:
- Se käyttää sitomatonta upotusta.
- Käytetään pyörivää asentoupottamista.
- Harhat ovat poissuljettuja, lukuun ottamatta QKV-huomiota.
- RMSNorm on parempi kuin LayerNorm.
- Normaalin ReLU:n sijaan SwiGLU on sisällytetty.
- Flash-huomio on otettu käyttöön koulutusprosessin nopeuttamiseksi.
- Mallissa on 32 kerrosta, sen upotusmitta on 4096 ja siihen mahtuu 32 huomiopäätä.
Lisenssien suhteen Qwen-7B on linjassa Llama-2. Se sallii kaupallisen käytön, mutta käyttäjämäärää rajoittaen. Sillä aikaa Llama-2 asettaa tämän rajan 700 miljoonaan aktiiviseen käyttäjään kuukaudessa, Qwen-7B:n kynnys on 100 miljoonaa.
Ne, jotka haluavat perusteellisen tutkimuksen, voivat tutustua GitHubissa saatavilla olevaan tekniseen raporttiin. Lisäksi, Qwen-7B:n esittely, tarjotaan kiinan kielellä, on saatavilla niille, jotka ovat kiinnostuneita mallin ominaisuuksien käytännön tutkimisesta.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
