OpenAI एआई मॉडल के मूल्यांकन के लिए एक ओपन-सोर्स सॉफ्टवेयर फ्रेमवर्क, इवेल्स की घोषणा की
संक्षेप में
OpenAI एआई मॉडल के मूल्यांकन के लिए क्राउडसोर्स बेंचमार्क की उम्मीद है GPT-4.
भुगतान प्रसंस्करण कंपनी, स्ट्राइप, अपनी सटीकता को मापने के लिए पहले से ही इवल्स का उपयोग कर चुकी है GPT-संचालित दस्तावेज़ीकरण उपकरण।
OpenAI अनुदान दिया जाएगा GPT-4 उच्च गुणवत्ता वाले मूल्यांकन में योगदान करने वालों के लिए सीमित समय तक पहुंच।
की घोषणा के साथ GPT-4, OpenAI ने ओपन-सोर्स सॉफ्टवेयर फ्रेमवर्क की घोषणा की है OpenAI एवल्स। यह टूल ऐसे बेंचमार्क बनाने और चलाने के लिए डिज़ाइन किया गया है जो मॉडलों के प्रदर्शन का मूल्यांकन करते हैं GPT-4. इवल्स के साथ, OpenAI एआई मॉडल परीक्षण के लिए क्राउडसोर्स बेंचमार्क की उम्मीद है।
"हम अपने मॉडलों के विकास को निर्देशित करने के लिए इवल्स का उपयोग करते हैं (कमियों की पहचान करना और प्रतिगमन को रोकना दोनों), और हमारे उपयोगकर्ता इसे मॉडल संस्करणों (जो अब नियमित रूप से सामने आ रहे हैं) और उत्पाद एकीकरण विकसित करने के प्रदर्शन को ट्रैक करने के लिए लागू कर सकते हैं," कंपनी ने समझाया ए ब्लॉग पोस्ट.
स्ट्राइप, एक लोकप्रिय भुगतान प्रसंस्करण कंपनी, पहले से ही अपने मानव मूल्यांकन को पूरक करने और उनकी सटीकता को मापने के लिए इवल्स का उपयोग कर चुकी है GPT-संचालित दस्तावेज़ीकरण उपकरण।
डेवलपर मूल्यांकन बनाने और चलाने के लिए इवल्स का उपयोग कर सकते हैं:
- संकेत उत्पन्न करने के लिए डेटासेट का उपयोग करें,
- द्वारा प्रदान की गई पूर्णता की गुणवत्ता को मापें OpenAI आदर्श, तथा
- विभिन्न डेटासेट और मॉडल के प्रदर्शन की तुलना करें।
ओपन-सोर्स कोड के साथ, डेवलपर लिख भी सकते हैं और जोड़ भी सकते हैं कस्टम इवल और कई टेम्पलेट्स जो विभिन्न बेंचमार्क को समायोजित कर सकता है। कंपनी ने ऐसे टेम्प्लेट शामिल किए हैं जो आंतरिक रूप से सबसे उपयोगी रहे हैं, जिसमें "मॉडल-ग्रेडेड इवेल्स" के लिए एक टेम्प्लेट भी शामिल है, जो GPT-4 अपने स्वयं के कार्य की जांच करने के लिए उपयोग कर सकते हैं। अनुसरण करने के लिए एक उदाहरण के रूप में, कंपनी ने एक तर्क पहेली eval बनाई है जिसमें दस संकेत शामिल हैं GPT-4 विफल रहता है।
Evals मौजूदा बेंचमार्क को लागू करने के साथ भी संगत है, जिसमें अकादमिक बेंचमार्क को लागू करने वाली कई नोटबुक और CoQA के छोटे सबसेट को एकीकृत करने की कुछ विविधताएं शामिल हैं।
जबकि डेवलपर्स को इवल्स में योगदान के लिए भुगतान नहीं किया जाएगा, OpenAI अनुदान दिया जाएगा GPT-4 "उच्च-गुणवत्ता वाले मूल्यांकन" में योगदान करने वालों के लिए सीमित समय तक पहुंच।
इवल्स की घोषणा इसके बाद आती है OpenAI हाल ही में कहा यह अपने मॉडल को प्रशिक्षित करने या सुधारने के लिए अपने एपीआई के माध्यम से ग्राहकों द्वारा सबमिट किए गए डेटा का उपयोग करना बंद कर देगा, जब तक कि ग्राहक चुनने का फैसला नहीं करते। -आर्ट मॉडल ”इसके लिए डायनाबेंच प्लेटफार्म पर ट्रेड कैसे करना है|
अधिक पढ़ें:
Disclaimer
साथ लाइन में ट्रस्ट परियोजना दिशानिर्देश, कृपया ध्यान दें कि इस पृष्ठ पर दी गई जानकारी का कानूनी, कर, निवेश, वित्तीय या किसी अन्य प्रकार की सलाह के रूप में व्याख्या करने का इरादा नहीं है और न ही इसकी व्याख्या की जानी चाहिए। यह महत्वपूर्ण है कि केवल उतना ही निवेश करें जितना आप खो सकते हैं और यदि आपको कोई संदेह हो तो स्वतंत्र वित्तीय सलाह लें। अधिक जानकारी के लिए, हम नियम और शर्तों के साथ-साथ जारीकर्ता या विज्ञापनदाता द्वारा प्रदान किए गए सहायता और समर्थन पृष्ठों का संदर्भ लेने का सुझाव देते हैं। MetaversePost सटीक, निष्पक्ष रिपोर्टिंग के लिए प्रतिबद्ध है, लेकिन बाज़ार की स्थितियाँ बिना सूचना के परिवर्तन के अधीन हैं।
के बारे में लेखक
सिंडी एक पत्रकार हैं Metaverse Post, से संबंधित विषयों को कवर करना web3, NFT, मेटावर्स और एआई, के साथ साक्षात्कार पर ध्यान केंद्रित करने के साथ Web3 उद्योग के खिलाड़ी. उन्होंने 30 से अधिक सी-स्तर के अधिकारियों और अनगिनत अधिकारियों से बात की है और उनकी बहुमूल्य अंतर्दृष्टि पाठकों तक पहुंचाई है। मूल रूप से सिंगापुर की रहने वाली सिंडी अब त्बिलिसी, जॉर्जिया में रहती हैं। उनके पास दक्षिण ऑस्ट्रेलिया विश्वविद्यालय से संचार और मीडिया अध्ययन में स्नातक की डिग्री है और उनके पास पत्रकारिता और लेखन में एक दशक का अनुभव है। के माध्यम से उससे संपर्क करें [ईमेल संरक्षित] प्रेस पिचों, घोषणाओं और साक्षात्कार के अवसरों के साथ।
और अधिक लेख
सिंडी एक पत्रकार हैं Metaverse Post, से संबंधित विषयों को कवर करना web3, NFT, मेटावर्स और एआई, के साथ साक्षात्कार पर ध्यान केंद्रित करने के साथ Web3 उद्योग के खिलाड़ी. उन्होंने 30 से अधिक सी-स्तर के अधिकारियों और अनगिनत अधिकारियों से बात की है और उनकी बहुमूल्य अंतर्दृष्टि पाठकों तक पहुंचाई है। मूल रूप से सिंगापुर की रहने वाली सिंडी अब त्बिलिसी, जॉर्जिया में रहती हैं। उनके पास दक्षिण ऑस्ट्रेलिया विश्वविद्यालय से संचार और मीडिया अध्ययन में स्नातक की डिग्री है और उनके पास पत्रकारिता और लेखन में एक दशक का अनुभव है। के माध्यम से उससे संपर्क करें [ईमेल संरक्षित] प्रेस पिचों, घोषणाओं और साक्षात्कार के अवसरों के साथ।
