अलीबाबा ने ओपन-सोर्स क्वेन-7बी भाषा मॉडल पेश किया
अलीबाबा ने अपने ओपन-सोर्स लार्ज लैंग्वेज मॉडल (एलएलएम) नाम का अनावरण किया है क्वेन-7बी, सार्वजनिक रूप से सुलभ एलएलएम के दायरे में उनके उद्घाटन प्रवेश को चिह्नित करते हुए। यह मॉडल 7 अरब मापदंडों पर बनाया गया है।
संदर्भ के लिए, Qwen-7B ने 2.2 ट्रिलियन टोकन का उपयोग करके प्रशिक्षण लिया। इस प्रशिक्षण चरण के दौरान निर्धारित संदर्भ आकार 2048 था, जबकि उपयोगकर्ता परीक्षण के दौरान इसे अधिकतम 8192 तक बढ़ा सकते हैं। तुलना से, Llama-2, एक अन्य एलएलएम, 4096 का संदर्भ आकार प्रदान करता है।
ऐसे मॉडलों के प्रदर्शन को मापने के लिए बेंचमार्क आवश्यक हैं, और इस क्षेत्र में, चीनी डेवलपर्स का दावा है कि क्वेन-7बी ने इसे पीछे छोड़ दिया है Llama-2. एक मीट्रिक जो सबसे अलग है वह ह्यूमन-इवल कोडिंग बेंचमार्क है, जहां क्वेन-7बी का स्कोर 24.4 है। Llama-2 का 12.8. हालाँकि, इन नंबरों को कुछ हद तक सावधानी के साथ देखना समझदारी है। कुछ बेंचमार्क यह संकेत देते हैं कि Qwen-7B न केवल बेस मॉडल से बेहतर प्रदर्शन करता है LLama-2-7बी लेकिन यह भी LLaMA-2-13बी वैरिएंट। हालाँकि, जब के परिष्कृत संस्करणों के विरुद्ध खड़ा किया गया Llama-2, अंतर का अंतर कम हो जाता है। यह ध्यान दिया जाना चाहिए कि Qwen-7B की सटीक प्रशिक्षण पद्धति को इसके डेवलपर्स द्वारा स्पष्ट रूप से विस्तृत नहीं किया गया है।
के समानांतर कार्यक्षमता में LLaMa2-चैट, क्वेन ने क्वेन-7बी-चैट नाम से एक चैट-केंद्रित संस्करण प्रस्तुत किया है। यह मॉडल उपयोगकर्ताओं के साथ बातचीत करने के लिए अनुकूलित है और इसमें विभिन्न उपकरण शामिल हैं एपीआई इसकी प्रतिक्रियाशीलता को बढ़ाने के लिए.
तकनीकी विशिष्टताओं के प्रति रुझान रखने वालों को यह जानने में दिलचस्पी होगी कि क्वेन-7बी की वास्तुशिल्प नींव किससे मिलती जुलती है LLaMA. हालाँकि, ऐसी विशिष्ट विशेषताएं हैं जो Qwen-7B को अलग करती हैं:
- यह अनटाइड एम्बेडिंग का उपयोग करता है।
- रोटरी पोजिशनल एम्बेडिंग का उपयोग किया जाता है।
- ध्यान में QKV को छोड़कर पूर्वाग्रहों को बाहर रखा गया है।
- लेयरनॉर्म की तुलना में आरएमएसनॉर्म को प्राथमिकता दी जाती है।
- मानक ReLU के बजाय, SwiGLU को शामिल किया गया है।
- प्रशिक्षण प्रक्रिया में तेजी लाने के लिए फ्लैश अटेंशन की शुरुआत की गई है।
- मॉडल में 32 परतें शामिल हैं, इसका एम्बेडिंग आयाम 4096 है, और 32 ध्यान प्रमुखों को समायोजित करता है।
लाइसेंसिंग के संदर्भ में, Qwen-7B के अनुरूप है Llama-2. यह व्यावसायिक उपयोग की अनुमति देता है, लेकिन उपयोगकर्ता की मात्रा पर एक शर्त के साथ। जबकि Llama-2 ने इस सीमा को प्रति माह 700 मिलियन सक्रिय उपयोगकर्ताओं पर निर्धारित किया है, क्वेन-7बी की सीमा 100 मिलियन है।
गहन जांच के इच्छुक लोग GitHub पर उपलब्ध तकनीकी रिपोर्ट का संदर्भ ले सकते हैं। इसके अतिरिक्त, क्वेन-7बी का प्रदर्शनचीनी भाषा में प्रदान किया गया, मॉडल की क्षमताओं के व्यावहारिक अन्वेषण में रुचि रखने वालों के लिए सुलभ है।
एआई के बारे में और पढ़ें:
Disclaimer
साथ लाइन में ट्रस्ट परियोजना दिशानिर्देश, कृपया ध्यान दें कि इस पृष्ठ पर दी गई जानकारी का कानूनी, कर, निवेश, वित्तीय या किसी अन्य प्रकार की सलाह के रूप में व्याख्या करने का इरादा नहीं है और न ही इसकी व्याख्या की जानी चाहिए। यह महत्वपूर्ण है कि केवल उतना ही निवेश करें जितना आप खो सकते हैं और यदि आपको कोई संदेह हो तो स्वतंत्र वित्तीय सलाह लें। अधिक जानकारी के लिए, हम नियम और शर्तों के साथ-साथ जारीकर्ता या विज्ञापनदाता द्वारा प्रदान किए गए सहायता और समर्थन पृष्ठों का संदर्भ लेने का सुझाव देते हैं। MetaversePost सटीक, निष्पक्ष रिपोर्टिंग के लिए प्रतिबद्ध है, लेकिन बाज़ार की स्थितियाँ बिना सूचना के परिवर्तन के अधीन हैं।
के बारे में लेखक
दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है।
और अधिक लेख
दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है।
