मार्च २०,२०२१

फेसबुक एआई ट्रांसफॉर्मर्स के प्रदर्शन को दोगुना करने के लिए एक नया तरीका विकसित करता है

प्रकाशित: मार्च 15, 2023 अपराह्न 4:00 बजे अद्यतन: मार्च 15, 2023 अपराह्न 4:00 बजे

संक्षेप में

फेसबुक ने ट्रांसफॉर्मर आर्किटेक्चर के आधार पर एआई ट्रांसफॉर्मर्स के प्रदर्शन को दोगुना करने के लिए एक नया तरीका विकसित किया है।

नई विधि विभिन्न ब्लॉकों को संसाधित करने के बीच अंतराल में सबसे समान पैच ढूंढती है और कम्प्यूटेशनल जटिलता को कम करने के लिए उन्हें जोड़ती है।

फेसबुक ने विकसित किया है नई विधि एआई ट्रांसफार्मर के प्रदर्शन को दोगुना करने के लिए। विधि है ट्रांसफॉर्मर आर्किटेक्चर पर आधारित है और विशेष रूप से पुस्तकों, लेखों और ब्लॉगों जैसे लंबे-रूप वाले पाठ के लिए डिज़ाइन किया गया है। नए एआई ट्रांसफॉर्मर का लक्ष्य के प्रदर्शन में सुधार करना है ट्रांसफार्मर आधारित मॉडल लंबे अनुक्रमों को संभालने में उन्हें अधिक कुशल और प्रभावी बनाकर लंबे रूप के पाठ पर। एआई ट्रांसफॉर्मर के परिणाम बहुत ही आशाजनक हैं, और इस नई पद्धति में विभिन्न प्रकार के कार्यों पर ट्रांसफॉर्मर-आधारित मॉडल के प्रदर्शन को बेहतर बनाने में मदद करने का मौका है।

इस नई पद्धति से प्राकृतिक भाषा प्रसंस्करण कार्यों, जैसे भाषा अनुवाद, सारांश और प्रश्न-उत्तर प्रणाली पर महत्वपूर्ण प्रभाव पड़ने की उम्मीद है। इससे अधिक परिष्कृत एआई मॉडल के विकास की भी उम्मीद है जो लंबे और अधिक जटिल ग्रंथों को संभाल सकते हैं।

फेसबुक ने एआई ट्रांसफॉर्मर के प्रदर्शन को दोगुना करने के लिए एक नया तरीका विकसित किया है

अधिक पढ़ें: 10+ सर्वश्रेष्ठ एआई फोटो संपादक 2023: ऑनलाइन और मुफ्त

छवि को संसाधित करने के लिए, आधुनिक ट्रांसफार्मर इसे पैच में काटते हैं (आमतौर पर वर्ग: नीचे gif देखें) और फिर इन कणों के प्रतिनिधित्व पर काम करते हैं, जिनमें से प्रत्येक को "टोकन" द्वारा दर्शाया जाता है। ट्रांसफॉर्मर, जैसा कि हम जानते हैं, इन टोकन टुकड़ों में से अधिक धीमी गति से काम करते हैं (यह ग्रंथों और छवियों दोनों पर लागू होता है), और सबसे आम ट्रांसफॉर्मर का द्विघात संबंध होता है। यानी जितने अधिक टोकन जोड़े जाते हैं, प्रोसेसिंग उतनी ही धीमी हो जाती है। इस मुद्दे को हल करने के लिए, शोधकर्ताओं ने छवि प्रसंस्करण के लिए आवश्यक टोकन की संख्या को कम करने के लिए विभिन्न तकनीकों का प्रस्ताव दिया है, जैसे पदानुक्रमित और अनुकूली पूलिंग। इन विधियों का उद्देश्य कम्प्यूटेशनल लागत को कम करते हुए आउटपुट की गुणवत्ता बनाए रखना है।

नई विधि विभिन्न ब्लॉकों को संसाधित करने के बीच अंतराल में सबसे समान पैच ढूंढती है और कम्प्यूटेशनल जटिलता को कम करने के लिए उन्हें जोड़ती है। मर्ज किए गए टोकन का हिस्सा एक हाइपरपरमीटर है; यह जितना अधिक होता है, गुणवत्ता उतनी ही कम होती है लेकिन त्वरण भी उतना ही अधिक होता है। प्रयोगों से पता चलता है कि लगभग 40% टोकन को 0.1-0.4% की गुणवत्ता हानि के साथ मर्ज करना और दोहरा त्वरण प्राप्त करना संभव है (इस प्रकार कम मेमोरी की खपत)। यह नई विधि छवि प्रसंस्करण की कम्प्यूटेशनल जटिलता को कम करने के लिए एक आशाजनक समाधान है और अंतिम आउटपुट की गुणवत्ता से समझौता किए बिना तेज और अधिक कुशल प्रसंस्करण की अनुमति दे सकती है।

जब हम कल्पना करते हैं कि हम कौन से पैच मर्ज करते हैं, तो हम देख सकते हैं कि वे 1) एक दूसरे के पास हैं और 2) एक ही वस्तु का वर्णन करते हैं (GIF पर समान रंग के क्षेत्र देखें)। अर्थात्, कोई महत्वपूर्ण सूचना खोई नहीं है; वस्तु मॉडल के "देखने के क्षेत्र में" बनी रहती है। बाद में इसे ट्रांसफॉर्मर में लागू किया जाता है, अधिक टोकन विलय कर दिए जाते हैं (क्योंकि ये उच्च-स्तरीय प्रतिनिधित्व हैं जो स्वयं छवि की सामग्री का अच्छी तरह से वर्णन करते हैं)।

सरलता और किसी चीज़ के काम करने के तरीके को समझने पर आधारित ऐसे इंजीनियरिंग दृष्टिकोण बहुत आकर्षक लगते हैं। साथ ही, मेटा के डेवलपर्स स्टेबलडिफ्यूजन में और भी चीजें लाने का वादा करते हैं ताकि वहां चीजों को गति मिल सके। यह आश्चर्यजनक है कि, क्योंकि ट्रांसफार्मर हर जगह हैं, ऐसी युक्तियों को मॉडलों की एक विस्तृत श्रृंखला में तुरंत लागू किया जा सकता है। यह इंजीनियरिंग समाधानों के लिए विभिन्न उद्योगों पर व्यापक प्रभाव डालने की क्षमता को दर्शाता है। यह देखना दिलचस्प होगा कि ये प्रगति कैसे होती है ट्रांसफार्मर मॉडल समय के साथ विकास और सुधार होता रहेगा।

मेटा एआई और पेपर्सविथकोड वैज्ञानिक ग्रंथों पर प्रशिक्षित पहला 120B मॉडल गैलेक्टिका जारी किया है, जिससे अधिक सटीक और तेज भविष्यवाणियां की जा सकती हैं। गैलेक्टिका का लक्ष्य शोधकर्ताओं को अप्रासंगिक से महत्वपूर्ण को अलग करने में मदद करना है।

पढ़ें इससे जुड़ी और खबरें:

टैग:

Disclaimer

साथ लाइन में ट्रस्ट परियोजना दिशानिर्देश, कृपया ध्यान दें कि इस पृष्ठ पर दी गई जानकारी का कानूनी, कर, निवेश, वित्तीय या किसी अन्य प्रकार की सलाह के रूप में व्याख्या करने का इरादा नहीं है और न ही इसकी व्याख्या की जानी चाहिए। यह महत्वपूर्ण है कि केवल उतना ही निवेश करें जितना आप खो सकते हैं और यदि आपको कोई संदेह हो तो स्वतंत्र वित्तीय सलाह लें। अधिक जानकारी के लिए, हम नियम और शर्तों के साथ-साथ जारीकर्ता या विज्ञापनदाता द्वारा प्रदान किए गए सहायता और समर्थन पृष्ठों का संदर्भ लेने का सुझाव देते हैं। MetaversePost सटीक, निष्पक्ष रिपोर्टिंग के लिए प्रतिबद्ध है, लेकिन बाज़ार की स्थितियाँ बिना सूचना के परिवर्तन के अधीन हैं।

के बारे में लेखक

दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है।

और अधिक लेख

दामिर यालालोव