Alibaba, Açık Kaynak Qwen-7B Dil Modelini Tanıttı
Alibaba, adlı açık kaynaklı Büyük Dil Modelini (LLM) tanıttı. Qwen-7B, halka açık LLM'ler alanına ilk girişlerini işaret ediyor. Bu model 7 milyar parametre üzerine inşa edilmiştir.
Bağlam açısından Qwen-7B, 2.2 trilyon token kullanılarak eğitime tabi tutuldu. Bu eğitim aşamasında belirlenen bağlam boyutu 2048'di; kullanıcılar bunu test sırasında maksimum 8192'ye kadar genişletebilir. Kıyasla, LlamaBaşka bir LLM olan -2, 4096 bağlam boyutu sunar.
Bu tür modellerin performansını ölçmek için kıyaslamalar çok önemlidir ve bu alanda Çinli geliştiriciler, Qwen-7B'nin bu modellerin performansını aştığını iddia ediyor Llama-2. Öne çıkan ölçümlerden biri, Qwen-7B'nin 24.4 puan aldığı Human-Eval kodlama kriteridir. Llama-2'nin 12.8'i. Ancak bu rakamlara biraz ihtiyatlı yaklaşmak akıllıca olacaktır. Bazı kıyaslamalar Qwen-7B'nin yalnızca temel modelden daha iyi performans gösterdiğini gösteriyor LLama-2-7B ama aynı zamanda LLaMA-2-13B çeşidi. Ancak, rafine edilmiş versiyonlarıyla karşılaştırıldığında Llama-2, fark marjı daralır. Qwen-7B'nin tam eğitim metodolojisinin geliştiricileri tarafından açıkça detaylandırılmadığına dikkat edilmelidir.
İşlevselliğe paralel olarak LLaMa2-sohbet, Qwen, Qwen-7B-Chat adında sohbet merkezli bir versiyon sundu. Bu model, kullanıcılarla etkileşimde bulunmak için optimize edilmiştir ve çeşitli araçları ve API'ler yanıt verebilirliğini artırmak için.
Teknik ayrıntılara meraklı olanlar, Qwen-7B'nin mimari temelinin şuna benzediğini bilmek isteyecektir: LLaMA. Ancak Qwen-7B'yi farklılaştıran farklı özellikler var:
- Bağlanmamış gömme kullanır.
- Döner konumsal gömme kullanılır.
- Önyargılar, dikkate alınan QKV haricinde hariç tutulur.
- RMSNorm, LayerNorm'a tercih edilir.
- Standart ReLU yerine SwiGLU eklenmiştir.
- Eğitim sürecini hızlandırmak için flaş dikkat getirildi.
- Model 32 katmandan oluşur, 4096 gömme boyutuna sahiptir ve 32 dikkat başlığını barındırır.
Lisanslama açısından Qwen-7B, Llama-2. Ticari kullanıma izin verir, ancak kullanıcı hacmine ilişkin bir şart vardır. Sırasında Llama-2 bu sınırı ayda 700 milyon aktif kullanıcı olarak belirler, Qwen-7B'nin eşiği 100 milyondur.
Derinlemesine bir inceleme isteyenler GitHub'da bulunan teknik rapora başvurabilir. Bunlara ek olarak, Qwen-7B'nin bir gösterimiÇince dilinde sağlanan , modelin yeteneklerini pratik olarak keşfetmek isteyenler için erişilebilir.
AI hakkında daha fazlasını okuyun:
Feragatname
Doğrultusunda Trust Project yönergeleri, lütfen bu sayfada sağlanan bilgilerin hukuki, vergi, yatırım, finansal veya başka herhangi bir tavsiye niteliğinde olmadığını ve bu şekilde yorumlanmaması gerektiğini unutmayın. Yalnızca kaybetmeyi göze alabileceğiniz kadar yatırım yapmak ve herhangi bir şüpheniz varsa bağımsız finansal tavsiye almak önemlidir. Daha fazla bilgi için şartlar ve koşulların yanı sıra kartı veren kuruluş veya reklamveren tarafından sağlanan yardım ve destek sayfalarına bakmanızı öneririz. MetaversePost doğru, tarafsız raporlamaya kendini adamıştır, ancak piyasa koşulları önceden haber verilmeksizin değiştirilebilir.
Yazar hakkında
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
Daha fazla haber
Damir şu anda ekip lideri, ürün yöneticisi ve editördür: Metaverse Post, AI/ML, AGI, LLM'ler, Metaverse ve Web3-İlgili alanlar. Makaleleri, her ay bir milyondan fazla kullanıcıdan oluşan büyük bir kitleyi kendine çekiyor. SEO ve dijital pazarlama konusunda 10 yıllık deneyime sahip bir uzman gibi görünüyor. Damir'den Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ve diğer yayınlar. Dijital bir göçebe olarak BAE, Türkiye, Rusya ve BDT arasında seyahat ediyor. Damir, kendisine internetin sürekli değişen ortamında başarılı olmak için gereken eleştirel düşünme becerilerini verdiğine inandığı fizik alanında lisans derecesi aldı.
