Alibaba presenta el model de llenguatge Qwen-7B de codi obert
Alibaba ha presentat el seu model de llenguatge gran (LLM) de codi obert anomenat Qwen-7B, marcant la seva entrada inaugural a l'àmbit dels LLM accessibles al públic. Aquest model es basa en 7 mil milions de paràmetres.
Per contextualitzar, Qwen-7B es va entrenar amb 2.2 bilions de fitxes. La mida del context establerta durant aquesta fase d'entrenament va ser de 2048, mentre que els usuaris poden ampliar-la fins a un màxim de 8192 durant les proves. En comparació, Llama-2, un altre LLM, ofereix una mida de context de 4096.
Els punts de referència són essencials per avaluar el rendiment d'aquests models, i en aquest domini, els desenvolupadors xinesos afirmen que Qwen-7B ha superat Llama-2. Una mètrica que destaca és la referència de codificació Human-Eval, on Qwen-7B puntua 24.4 en contra. Llama-2's 12.8. Tanmateix, és prudent veure aquests números amb un cert grau de precaució. Alguns punts de referència indiquen que Qwen-7B supera no només el model base LLama-2-7B però també el LLaMA-2-13B variant. Tanmateix, quan s'enfronten a les versions refinades de Llama-2, el marge de diferència es fa més estret. Cal assenyalar que els seus desenvolupadors no han detallat explícitament la metodologia d'entrenament exacta de Qwen-7B.
En funcionalitat paral·lela a LLaMa2-xat, Qwen ha presentat una versió centrada en el xat anomenada Qwen-7B-Chat. Aquest model està optimitzat per interactuar amb els usuaris i incorpora diverses eines i API per millorar la seva capacitat de resposta.
Aquells amb una inclinació cap a les especificitats tècniques estarien interessats en saber que la base arquitectònica de Qwen-7B s'assembla a LLaMA. Tanmateix, hi ha diferents característiques que diferencien Qwen-7B:
- Utilitza incrustació deslligada.
- S'utilitza la incrustació posicional rotativa.
- S'exclouen els biaixos, amb l'excepció de QKV en atenció.
- S'afavoreix RMSNorm sobre LayerNorm.
- En lloc del ReLU estàndard, s'incorpora SwiGLU.
- S'ha introduït l'atenció flash per agilitzar el procés d'entrenament.
- El model consta de 32 capes, té una dimensió d'incrustació de 4096 i té capacitat per a 32 caps d'atenció.
Pel que fa a les llicències, Qwen-7B s'alinea amb Llama-2. Permet l'ús comercial, però amb una estipulació sobre el volum d'usuari. Mentre Llama-2 estableix aquest límit en 700 milions d'usuaris actius al mes, el llindar de Qwen-7B és de 100 milions.
Aquells que busquen un examen en profunditat poden consultar l'informe tècnic disponible a GitHub. A més, una demostració de Qwen-7B, proporcionat en llengua xinesa, és accessible per a aquells interessats en una exploració pràctica de les capacitats del model.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
