फ़रवरी 06, 2023

XLM-V: बहुभाषी नकाबपोश भाषा मॉडल का एक नया तरीका जो शब्दावली बाधाओं की समस्या का समाधान करने का प्रयास करता है

प्रकाशित: फ़रवरी 06, 2023 प्रातः 8:30 बजे अद्यतन: फ़रवरी 06, 2023 प्रातः 7:37 बजे

संक्षेप में

लेख निम्नलिखित समस्या उठाता है: भाषा मॉडल मापदंडों में वृद्धि, गहराई में वृद्धि, लेकिन शब्दावली अभी भी आकार में समान है।

शोधकर्ता अप्रत्याशित तरीके से शब्दावली से 1 मिलियन टोकन के साथ एक नए मॉडल का प्रशिक्षण शुरू करते हैं।

शोधकर्ता यह देखने के लिए दृढ़ थे कि टोकन में इतनी महत्वपूर्ण वृद्धि के साथ वे किस तरह का सुधार कर सकते हैं।

द्वारा उठाया गया मुद्दा लेख "XLM-V: बहुभाषी मास्क्ड लैंग्वेज मॉडल में शब्दावली की अड़चन पर काबू पाने" का शीर्षक यह है कि जब भाषा मॉडल के पैरामीटर और गहराई में वृद्धि होती है, तो उनकी शब्दावली का आकार अपरिवर्तित रहता है। उदाहरण के लिए, mT5 मॉडल में 13B पैरामीटर हैं लेकिन 250K-शब्द शब्दावली है जो 100 से अधिक भाषाओं का समर्थन करती है। इस प्रकार, प्रत्येक भाषा में लगभग 2,500 अद्वितीय टोकन हैं, जो स्पष्ट रूप से एक बहुत छोटी संख्या है।

XLM-V: बहुभाषी नकाबपोश भाषा मॉडल की एक नई विधि जो शब्दावली अड़चन की समस्या को दूर करने का प्रयास करती है — @ Midjourney / शालव

लेखक क्या कदम उठाते हैं? वे शब्दावली से 1 मिलियन टोकन के साथ एक नए मॉडल को अप्रत्याशित तरीके से प्रशिक्षित करना शुरू करते हैं। XLM-R पहले मौजूद था, हालाँकि, इस अपग्रेड के साथ, यह XLM-V बन जाएगा। लेखक यह देखने के लिए दृढ़ थे कि टोकन में इतनी महत्वपूर्ण वृद्धि के साथ वे किस तरह का सुधार कर सकते हैं।

संबंधित लेख: एआई मॉडल प्रशिक्षण लागत 100 तक $500 मिलियन से $2030 मिलियन तक बढ़ने की उम्मीद है

XLM-V के बारे में क्या नया है जो XLM-R में नहीं है?

सुधार बहुभाषी मॉडल भाषा-संकुलित शब्दावली पद्धति के साथ प्रत्येक भाषा के लिए व्याख्यात्मक प्रतिनिधित्व वैक्टर बनाने के लिए उपयोग किया जाता है: भाषाओं के सेट में प्रत्येक भाषा के लिए, वे एक बाइनरी वेक्टर बनाते हैं, जिनमें से प्रत्येक तत्व भाषा में एक विशिष्ट शब्द है। एक इंगित करता है कि शब्द भाषा के शब्दकोश में शामिल है (आप संलग्नक में एक ग्राफिक विवरण के साथ एक छवि देख सकते हैं।) हालांकि, प्रत्येक लेक्सेम की घटना की नकारात्मक लॉगरिदमिक संभावना का उपयोग करके एक वेक्टर बनाकर, लेखक यह बढ़ाते हैं कि संदर्भ कैसे बनाए जाते हैं। .

उसके बाद वैक्टर को समूहीकृत किया जाता है। इसके अतिरिक्त, शाब्दिक रूप से असंबंधित भाषाओं के बीच शब्दावली के हस्तांतरण को रोकने के लिए प्रत्येक विशेष क्लस्टर पर एक वाक्य-विन्यास मॉडल को प्रशिक्षित किया जाता है।
ALP किसी विशिष्ट भाषा का प्रतिनिधित्व करने के लिए शब्दकोश की क्षमता का आकलन करता है।
बनाने के लिए एल्गोरिदम का उपयोग करना ULM शब्दकोश निम्न चरण है। जो एक बड़े प्रारंभिक शब्दकोश के साथ शुरू होता है और वृद्धिशील रूप से इसे तब तक कम करता है जब तक कि टोकन की संख्या शब्दकोश आकार के लिए एक निश्चित सीमा से नीचे न हो।

एआई के बारे में और पढ़ें:

टैग:

Disclaimer

साथ लाइन में ट्रस्ट परियोजना दिशानिर्देश, कृपया ध्यान दें कि इस पृष्ठ पर दी गई जानकारी का कानूनी, कर, निवेश, वित्तीय या किसी अन्य प्रकार की सलाह के रूप में व्याख्या करने का इरादा नहीं है और न ही इसकी व्याख्या की जानी चाहिए। यह महत्वपूर्ण है कि केवल उतना ही निवेश करें जितना आप खो सकते हैं और यदि आपको कोई संदेह हो तो स्वतंत्र वित्तीय सलाह लें। अधिक जानकारी के लिए, हम नियम और शर्तों के साथ-साथ जारीकर्ता या विज्ञापनदाता द्वारा प्रदान किए गए सहायता और समर्थन पृष्ठों का संदर्भ लेने का सुझाव देते हैं। MetaversePost सटीक, निष्पक्ष रिपोर्टिंग के लिए प्रतिबद्ध है, लेकिन बाज़ार की स्थितियाँ बिना सूचना के परिवर्तन के अधीन हैं।

के बारे में लेखक

दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है।

और अधिक लेख

दामिर यालालोव