GPT-4इसके लीक हुए विवरण इसके विशाल पैमाने और प्रभावशाली वास्तुकला पर प्रकाश डालते हैं

इस लेख का हिस्सा

• 
• 
• 
• 
• 

by दामिर यालालोव

प्रकाशित: जुलाई 11, 2023 प्रातः 7:19 बजे अद्यतन: जुलाई 11, 2023 प्रातः 7:23 बजे

by डेनिल मायकिन

संपादित और तथ्य-जांचा गया: 11 जुलाई, 2023 सुबह 7:19 बजे

आपके स्थानीय-भाषा के अनुभव को बेहतर बनाने के लिए, कभी-कभी हम एक ऑटो-अनुवाद प्लगइन का उपयोग करते हैं। कृपया ध्यान दें कि स्वतः-अनुवाद सटीक नहीं हो सकता है, इसलिए पढ़ें मूल सटीक जानकारी के लिए लेख।

आसपास के विवरणों का हालिया लीक GPT-4 एआई समुदाय को सदमा पहुंचा दिया है। एक अज्ञात स्रोत से प्राप्त लीक हुई जानकारी, इस अभूतपूर्व मॉडल की विस्मयकारी क्षमताओं और अभूतपूर्व पैमाने की एक झलक प्रदान करती है। हम तथ्यों को तोड़ेंगे और उन प्रमुख पहलुओं का खुलासा करेंगे जो इसे बनाते हैं GPT-4 एक सच्चा तकनीकी चमत्कार.

GPT-4के विशाल पैरामीटर्स की गिनती

लीक से सबसे चौंकाने वाले खुलासों में से एक इसकी विशालता है GPT-4. यह एक आश्चर्यजनक आकार का दावा करता है, अपने पूर्ववर्ती के मापदंडों से 10 गुना से अधिक के साथ, GPT-3. अनुमान है कि इसका कुल मिलाकर चौंका देने वाला लगभग 1.8 है ट्रिलियन पैरामीटर प्रभावशाली 120 परतों में वितरित। पैमाने में यह पर्याप्त वृद्धि निस्संदेह योगदान देती है GPT-4की बढ़ी हुई क्षमताएं और अभूतपूर्व प्रगति की संभावना।

विशेषज्ञों का मिश्रण मॉडल (एमओई)

असाधारण प्रदर्शन को बनाए रखते हुए उचित लागत सुनिश्चित करने के लिए, OpenAI में विशेषज्ञों का मिश्रण (एमओई) मॉडल लागू किया GPT-4. मॉडल के भीतर 16 विशेषज्ञों का उपयोग करके, प्रत्येक में मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) के लिए लगभग 111 बिलियन पैरामीटर शामिल हैं, OpenAI प्रभावी ढंग से अनुकूलित संसाधन आवंटन। विशेष रूप से, प्रत्येक फॉरवर्ड पास के दौरान, केवल दो विशेषज्ञों को रूट किया जाता है, जिससे परिणामों से समझौता किए बिना कम्प्यूटेशनल आवश्यकताओं को कम किया जा सकता है। यह नवोन्वेषी दृष्टिकोण प्रदर्शित करता है OpenAIअपने मॉडलों में दक्षता और लागत-प्रभावशीलता को अधिकतम करने की प्रतिबद्धता।

बहुत ही रोचक और विस्तृत लीक GPT-4 वास्तुकला, इसके पीछे के तर्क और इसके निहितार्थों के उत्कृष्ट विश्लेषण के साथ - द्वारा @dylan522p :https://t.co/eHE7VlGY5V

एक गैर-भुगतान सारांश यहां पाया जा सकता है: https://t.co/rLxw5s9ZDt

- जान पी. हैरिस (@jphme) जुलाई 11, 2023

सरलीकृत एमओई रूटिंग एल्गोरिदम

जबकि मॉडल अक्सर प्रत्येक टोकन को संभालने के लिए विशेषज्ञों का चयन करने के लिए उन्नत रूटिंग एल्गोरिदम की खोज करता है, OpenAIवर्तमान में दृष्टिकोण GPT-4 कथित तौर पर मॉडल अधिक सीधा है। एआई द्वारा नियोजित रूटिंग एल्गोरिदम को अपेक्षाकृत सरल, लेकिन फिर भी प्रभावी माना जाता है। ध्यान देने के लिए लगभग 55 बिलियन साझा पैरामीटर मॉडल के भीतर उपयुक्त विशेषज्ञों को टोकन के कुशल वितरण की सुविधा प्रदान करते हैं।

कुशल अनुमान

GPT-4की अनुमान प्रक्रिया इसकी दक्षता और कम्प्यूटेशनल कौशल को प्रदर्शित करती है। प्रत्येक फॉरवर्ड पास, जो एकल टोकन उत्पन्न करने के लिए समर्पित है, लगभग 280 बिलियन पैरामीटर और 560 टीएफएलओपी (प्रति सेकंड टेरा फ्लोटिंग-पॉइंट ऑपरेशंस) का उपयोग करता है। यह के विशाल पैमाने के बिल्कुल विपरीत है GPT-4, इसके 1.8 ट्रिलियन मापदंडों और 3,700 टीएफएलओपी प्रति फॉरवर्ड पास के साथ एक विशुद्ध सघन मॉडल में। संसाधनों के कुशल उपयोग पर प्रकाश डाला गया OpenAIअत्यधिक कम्प्यूटेशनल आवश्यकताओं के बिना इष्टतम प्रदर्शन प्राप्त करने के प्रति समर्पण।

व्यापक प्रशिक्षण डेटासेट

GPT-4 लगभग 13 ट्रिलियन टोकन वाले विशाल डेटासेट पर प्रशिक्षित किया गया है। यह ध्यान रखना महत्वपूर्ण है कि इन टोकन में युग संख्याओं के लिए अद्वितीय टोकन और टोकन दोनों शामिल हैं। प्रशिक्षण प्रक्रिया पाठ-आधारित डेटा के लिए दो युग और कोड-आधारित डेटा के लिए चार युग शामिल हैं। OpenAI मॉडल के प्रदर्शन को परिष्कृत करने के लिए स्केलएआई से प्राप्त और आंतरिक रूप से निर्देश फाइन-ट्यूनिंग डेटा की लाखों पंक्तियों का लाभ उठाया।

8K से 32K तक फ़ाइन-ट्यूनिंग के माध्यम से परिशोधन

का पूर्व-प्रशिक्षण चरण GPT-4 8k संदर्भ लंबाई नियोजित की गई। इसके बाद, मॉडल को फाइन-ट्यूनिंग से गुजरना पड़ा, जिसके परिणामस्वरूप 32k संस्करण तैयार हुआ। यह प्रगति पूर्व-प्रशिक्षण चरण पर आधारित है, मॉडल की क्षमताओं को बढ़ाती है और इसे विशिष्ट कार्यों के अनुरूप बनाती है।

समांतरता के माध्यम से जीपीयू के साथ स्केलिंग

OpenAI में समानता की शक्ति का उपयोग किया GPT-4 उनके A100 GPU की पूरी क्षमता का लाभ उठाने के लिए। उन्होंने 8-वे टेंसर समानता को नियोजित किया, जो समानांतर प्रसंस्करण को अधिकतम करता है, क्योंकि यह एनवीलिंक के लिए सीमा है। इसके अतिरिक्त, प्रदर्शन को और बेहतर बनाने के लिए 15-तरफ़ा पाइपलाइन समानता का उपयोग किया गया। जबकि ज़ीरो स्टेज 1 जैसी विशिष्ट तकनीकों को संभवतः नियोजित किया गया था, सटीक कार्यप्रणाली अज्ञात बनी हुई है।

प्रशिक्षण लागत और उपयोग चुनौतियाँ

प्रशिक्षण GPT-4 एक व्यापक और संसाधन-गहन प्रयास था। OpenAI 25,000 से 100 दिनों की अवधि में लगभग 90 ए100 जीपीयू आवंटित किए गए, जो लगभग 32% से 36% एमएफयू (सबसे अधिक बार उपयोग किए जाने वाले) की उपयोग दर पर काम कर रहे हैं। प्रशिक्षण प्रक्रिया में कई विफलताएँ हुईं, जिसके कारण चौकियों से बार-बार पुनः आरंभ करने की आवश्यकता पड़ी। यदि प्रति ए1 घंटे 100 डॉलर का अनुमान लगाया जाए, तो प्रशिक्षण लागत अकेले इस दौड़ के लिए लगभग $63 मिलियन की राशि होगी।

विशेषज्ञों के मिश्रण में ट्रेडऑफ़

विशेषज्ञों के मिश्रण वाले मॉडल को लागू करने से कई तरह के समझौते सामने आते हैं। के मामले में GPT-4, OpenAI अधिक संख्या के बजाय 16 विशेषज्ञों को चुना। यह निर्णय बेहतर हानि परिणाम प्राप्त करने और विभिन्न कार्यों में सामान्यीकरण सुनिश्चित करने के बीच संतुलन को दर्शाता है। अधिक विशेषज्ञ कार्य सामान्यीकरण और अभिसरण के संदर्भ में चुनौतियाँ प्रस्तुत कर सकते हैं। OpenAIव्यायाम करना आपकी पसंद है विशेषज्ञ में सावधानी चयन विश्वसनीय और मजबूत प्रदर्शन के प्रति उनकी प्रतिबद्धता के अनुरूप है।

अनुमान लागत

अपने पूर्ववर्ती, 175 बिलियन पैरामीटर डेविंसी मॉडल की तुलना में, GPT-4की अनुमान लागत लगभग तीन गुना अधिक है। इस विसंगति को कई कारकों के लिए जिम्मेदार ठहराया जा सकता है, जिसमें समर्थन के लिए आवश्यक बड़े क्लस्टर भी शामिल हैं GPT-4 और अनुमान के दौरान कम उपयोग प्राप्त हुआ। अनुमान के अनुसार 0.0049 A1,000 GPU के लिए प्रति 128 टोकन पर $100 सेंट और 0.0021 H1,000 GPU के लिए प्रति 128 टोकन पर $100 सेंट की अनुमानित लागत का संकेत मिलता है। GPT-4 8k के साथ. ये आंकड़े उचित उपयोग और उच्च बैच आकार, लागत अनुकूलन के लिए महत्वपूर्ण विचार मानते हैं।

बहु-प्रश्न ध्यान

OpenAI मल्टी-क्वेरी अटेंशन (एमक्यूए) का लाभ उठाता है, जो इस क्षेत्र में व्यापक रूप से नियोजित तकनीक है GPT-4 भी। एमक्यूए को लागू करने से, मॉडल को केवल एक हेड की आवश्यकता होती है, जिससे की-वैल्यू कैश (केवी कैश) के लिए आवश्यक मेमोरी क्षमता काफी कम हो जाती है। इस अनुकूलन के बावजूद, यह ध्यान दिया जाना चाहिए कि 32k बैच GPT-4 40GB A100 GPU पर समायोजित नहीं किया जा सकता है, और 8k अधिकतम बैच आकार द्वारा बाधित है।

सतत बैचिंग

विलंबता और अनुमान लागत के बीच संतुलन बनाने के लिए, OpenAI इसमें परिवर्तनीय बैच आकार और निरंतर बैचिंग दोनों शामिल हैं GPT-4. यह अनुकूली दृष्टिकोण लचीला और कुशल प्रसंस्करण, संसाधन उपयोग को अनुकूलित करने और कम्प्यूटेशनल ओवरहेड को कम करने की अनुमति देता है।

विज़न मल्टी-मॉडल

GPT-4 टेक्स्ट एनकोडर के साथ एक अलग विज़न एनकोडर पेश करता है, जो दोनों के बीच क्रॉस-अटेंशन की सुविधा देता है। यह आर्किटेक्चर, फ्लेमिंगो की याद दिलाता है, पहले से ही प्रभावशाली 1.8 ट्रिलियन पैरामीटर गिनती में अतिरिक्त पैरामीटर जोड़ता है GPT-4. विज़न मॉडल केवल-पाठ पूर्व-प्रशिक्षण चरण के बाद लगभग 2 ट्रिलियन टोकन का उपयोग करके अलग-अलग फाइन-ट्यूनिंग से गुजरता है। यही दृष्टि क्षमता सशक्त बनाती है स्वायत्त एजेंट वेब पेजों को पढ़ना, छवियों को ट्रांसक्राइब करना और वीडियो सामग्री की व्याख्या करना—मल्टीमीडिया डेटा के युग में एक अमूल्य संपत्ति है।

सट्टा डिकोडिंग

का एक दिलचस्प पहलू GPT-4अनुमान की रणनीति सट्टा डिकोडिंग का संभावित उपयोग है। इस दृष्टिकोण में छोटे, तेज़ को नियोजित करना शामिल है आदर्श अनेक टोकन के लिए पहले से पूर्वानुमान तैयार करना। फिर इन अनुमानित टोकन को एक बैच के रूप में बड़े "ओरेकल" मॉडल में फीड किया जाता है। यदि छोटा मॉडल की भविष्यवाणियाँ बड़े मॉडल के समझौते के साथ संरेखित करें, कई टोकन को एक साथ डिकोड किया जा सकता है। हालाँकि, यदि बड़ा मॉडल ड्राफ्ट मॉडल द्वारा अनुमानित टोकन को अस्वीकार कर देता है, तो बाकी बैच को छोड़ दिया जाता है, और अनुमान केवल बड़े मॉडल के साथ जारी रहता है। यह दृष्टिकोण संभावित रूप से कम संभावना अनुक्रमों को स्वीकार करते हुए कुशल डिकोडिंग की अनुमति देता है। गौरतलब है कि यह अटकलें फिलहाल असत्यापित हैं।

अनुमान वास्तुकला

GPT-4की अनुमान प्रक्रिया 128 जीपीयू के क्लस्टर पर संचालित होती है, जो विभिन्न स्थानों में कई डेटा केंद्रों में वितरित होती है। यह बुनियादी ढांचा कम्प्यूटेशनल दक्षता को अधिकतम करने के लिए 8-वे टेंसर समानता और 16-तरफा पाइपलाइन समानता को नियोजित करता है। प्रत्येक नोड, जिसमें 8 जीपीयू शामिल हैं, लगभग 130 बिलियन मापदंडों को समायोजित करता है। 120 परतों के मॉडल आकार के साथ, GPT-4 एम्बेडिंग की गणना करने की आवश्यकता के कारण संभवतः पहले नोड में कम परतों के साथ, 15 अलग-अलग नोड्स में फिट हो सकता है। ये वास्तुशिल्प विकल्प उच्च-प्रदर्शन अनुमान, प्रदर्शन की सुविधा प्रदान करते हैं OpenAIकम्प्यूटेशनल दक्षता की सीमाओं को आगे बढ़ाने की प्रतिबद्धता।

डेटासेट का आकार और संरचना

GPT-4 प्रभावशाली 13 ट्रिलियन टोकन पर प्रशिक्षित किया गया, जिससे इसे सीखने के लिए पाठ का एक व्यापक भंडार उपलब्ध हुआ। हालाँकि, प्रशिक्षण के दौरान उपयोग किए गए ज्ञात डेटासेट द्वारा सभी टोकन का हिसाब नहीं लगाया जा सकता है। जबकि CommonCrawl और RefinedWeb जैसे डेटासेट इसमें महत्वपूर्ण योगदान देते हैं प्रशिक्षण जानकारी, टोकन का एक हिस्सा ऐसा रहता है जिसका कोई हिसाब-किताब नहीं होता, जिसे अक्सर "गुप्त" डेटा कहा जाता है।

अफवाहें और अटकलें

इस अज्ञात डेटा की उत्पत्ति के संबंध में अटकलें सामने आई हैं। एक अफवाह से पता चलता है कि इसमें ट्विटर, रेडिट और यूट्यूब जैसे लोकप्रिय प्लेटफार्मों की सामग्री शामिल है, जो आकार देने में उपयोगकर्ता-जनित सामग्री के संभावित प्रभाव को उजागर करती है। GPT-4का ज्ञान आधार. इसके अतिरिक्त, लिबजेन, लाखों पुस्तकों का भंडार, और साइंस-हब, जो कई वैज्ञानिक पत्रों तक पहुंच प्रदान करने वाला मंच है, जैसे व्यापक संग्रहों को शामिल करने के बारे में अटकलें हैं। धारणा यह है कि GPT-4 संपूर्ण GitHub पर प्रशिक्षित किया गया था जिसे AI उत्साही लोगों के बीच भी प्रसारित किया गया है।

रिपोर्टर की राय

हालाँकि कई अफवाहें हैं, लेकिन इन अफवाहों पर सावधानी से विचार करना महत्वपूर्ण है। का प्रशिक्षण GPT-4 कॉलेज की पाठ्यपुस्तकों से बने विशेष डेटासेट से बहुत लाभ हुआ होगा। यह डेटासेट, जो पाठ्यक्रमों और विषयों की एक विस्तृत श्रृंखला को कवर करता है, को बड़ी मेहनत से हाथ से इकट्ठा किया जा सकता था। कॉलेज की पाठ्यपुस्तकें एक संरचित और व्यापक ज्ञान आधार प्रदान करती हैं जिसका उपयोग भाषा मॉडल को प्रशिक्षित करने के लिए सफलतापूर्वक किया जा सकता है और आसानी से पाठ फ़ाइलों में परिवर्तनीय होता है। ऐसे डेटासेट को शामिल करने से ऐसा आभास हो सकता है GPT-4 विभिन्न क्षेत्रों का जानकार है।

के साथ आकर्षण GPT-4का ज्ञान

का एक दिलचस्प पहलू GPT-4इसका प्रशिक्षण विशिष्ट पुस्तकों के साथ परिचितता प्रदर्शित करने और यहां तक ​​कि प्रोजेक्ट यूलर जैसे प्लेटफार्मों से अद्वितीय पहचानकर्ताओं को याद करने की क्षमता है। शोधकर्ताओं ने पुस्तकों के याद किए गए खंडों को निकालने का प्रयास किया है GPT-4 इसके प्रशिक्षण में अंतर्दृष्टि प्राप्त करने के लिए, मॉडल की आंतरिक कार्यप्रणाली के बारे में जिज्ञासा को और अधिक बढ़ाना। ये खोजें आश्चर्यजनक क्षमता को उजागर करती हैं GPT-4 जानकारी को बनाए रखने और बड़े पैमाने के भाषा मॉडल की प्रभावशाली क्षमताओं को रेखांकित करने के लिए।

की बहुमुखी प्रतिभा GPT-4

विषयों और क्षेत्रों का व्यापक स्पेक्ट्रम GPT-4 प्रतीत होता है कि यह अपनी बहुमुखी प्रतिभा को प्रदर्शित कर सकता है। चाहे वह कंप्यूटर विज्ञान में जटिल प्रश्नों का उत्तर देना हो या दार्शनिक बहस में उलझना हो, GPT-4विविध डेटासेट पर प्रशिक्षण इसे विभिन्न डोमेन के उपयोगकर्ताओं के साथ जुड़ने के लिए सक्षम बनाता है। यह बहुमुखी प्रतिभा पाठ्य संसाधनों की एक विशाल श्रृंखला के संपर्क से उत्पन्न होती है, जो इसे उपयोगकर्ताओं की एक विस्तृत श्रृंखला के लिए एक मूल्यवान उपकरण बनाती है।

एआई के बारे में और पढ़ें:

• T9-युग से चैटबॉट्स का विकास और GPT-1 सेवा मेरे ChatGPT
• LLaMa 7 बिलियन पैरामीटर्स के साथ Apple M2 Max चिप पर बिजली की तेजी से अनुमान प्राप्त करता है
• एआई जीपीयू की बढ़ती मांग के कारण पहली तिमाही की मजबूत आय के बाद एनवीडिया स्टॉक में 26% की वृद्धि
• वाई कॉम्बिनेटर के विंटर 2023 डेमो डे बैच में 60 एआई और मशीन लर्निंग स्टार्टअप शामिल हैं
• GPT-4 बनाम GPT-3: नया मॉडल क्या पेश करता है?

के बारे में लेखक

दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना ​​है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है। 

और अधिक लेख

दामिर यालालोव

• 
• 

दामिर यालालोव

दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना ​​है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है। 

• 

और अधिक लेख