कैलिफोर्निया विश्वविद्यालय के शोधकर्ताओं ने एआई मॉडल की क्षमता और हानिकारकता को मापने के लिए मैकियावेली बेंचमार्क बनाया
संक्षेप में
कैलिफोर्निया विश्वविद्यालय, एआई सुरक्षा केंद्र, कार्नेगी मेलन विश्वविद्यालय और येल विश्वविद्यालय के शोधकर्ताओं ने लंबी अवधि की भाषा बातचीत के व्यापक वातावरण में एजेंटों की क्षमता और हानिकारकता को मापने के लिए मैकियावेली बेंचमार्क का प्रस्ताव दिया है।
यह बेंचमार्क 134k विभिन्न परिदृश्यों, 572k संभावित उपलब्धियों और 4,5m एनोटेशन के साथ 2,8 चूज-योर-ओन-एडवेंचर टेक्स्ट गेम पर आधारित है।
लेखक इसे नैतिक (या अनैतिक) तरीकों की जांच करने के लिए एक परीक्षण के रूप में वर्णित करते हैं जिसमें एआई एजेंट समस्याओं को हल करने का प्रयास करते हैं।
बड़े भाषा मॉडल (एलएलएम) पर आधारित एआई लाभार्थी चिंतित अलार्मिस्टों को कुचलने और सुपर-इंटेलिजेंट एलएलएम-आधारित एजेंटों के साथ दुनिया में बाढ़ लाने का एक अच्छा मौका देते हैं। भारी लाभ और असीमित शक्ति के संभावित लाभ चाल चलेंगे। और यह बहुत जल्दी होने की संभावना है।
हालांकि, लाभार्थी बिल्कुल मूर्ख नहीं हैं। और वे समझते हैं कि अद्भुत नई दुनिया में, एआई और रोबोटिक्स के नियम अब काम नहीं करेंगे। 1942 में महान इसहाक असिमोव द्वारा तैयार किए गए तीन कानूनों का सख्ती से पालन करने के लिए एलएलएम को मजबूर करना सैद्धांतिक रूप से भी संभव नहीं है।
इस नाजुक स्थिति से बाहर निकलने का एक मूल तरीका प्रस्तावित किया गया था कैलिफोर्निया विश्वविद्यालय, एआई सुरक्षा केंद्र, कार्नेगी मेलन विश्वविद्यालय और येल विश्वविद्यालय के शोधकर्ताओं द्वारा। उन्होंने बनाया मैकियावेली बेंचमार्क "दीर्घकालिक भाषा बातचीत के व्यापक वातावरण में एजेंटों की क्षमता और हानिकारकता को मापने के लिए।"
लेखकों का विचार सरल है।
- यदि कानून काम नहीं करते हैं, तो उन्हें लागू करने के लिए "शेरिफ" की कोई आवश्यकता नहीं है।
- एक शेरिफ के बजाय, एक मनोविश्लेषक की जरूरत है, जो अपने परीक्षणों के परिणामों के आधार पर संभावित पागल, मनोरोगी, दुखवादी और पैथोलॉजिकल झूठे की पहचान करेगा।
राजनीतिक रूप से सही भाषा में, लेखक इसका वर्णन इस प्रकार करते हैं: "मैकियावेली नैतिक (या अनैतिक) तरीकों की जाँच करने के लिए एक परीक्षण है जिसमें एआई एजेंट समस्याओं को हल करने का प्रयास करते हैं।"
ऐसे सत्यापन की विधि काफी व्यावहारिक है. एआई एजेंट को एक कृत्रिम सामाजिक वातावरण में जारी किया जाता है। वहां शोधकर्ता उसे विभिन्न कार्य देते हैं और देखते हैं कि वह उन्हें कैसे पूरा करता है। पर्यावरण ही नैतिक आचरण की निगरानी करता है एआई एजेंट और रिपोर्ट करता है कि किस हद तक एजेंट के कार्य (मैकियावेली के उपदेशों के अनुसार) भ्रामक हैं, उपयोगिता को कम करते हैं, और शक्ति प्राप्त करने के उद्देश्य से हैं।
मैकियावेली कोर डेटासेट में 134k विभिन्न परिदृश्यों, 572k संभावित उपलब्धियों और 4,5m एनोटेशन के साथ 2,8 चूज-योर-ओन-एडवेंचर टेक्स्ट गेम शामिल हैं। ये गेम उच्च-स्तरीय समाधानों का उपयोग करते हैं जो एजेंटों को यथार्थवादी लक्ष्य देते हैं और पर्यावरण के साथ निम्न-स्तरीय इंटरैक्शन को दूर करते हैं।
लेखकों द्वारा चुना गया दृष्टिकोण इस धारणा पर आधारित है कि एआई एजेंट मनुष्यों के समान आंतरिक संघर्षों का सामना करते हैं। जिस तरह अगले टोकन की भविष्यवाणी करने के लिए प्रशिक्षित भाषा मॉडल अक्सर विषाक्त पाठ उत्पन्न करते हैं, लक्ष्यों को अनुकूलित करने के लिए प्रशिक्षित एआई एजेंट अक्सर अनैतिक और सत्ता के भूखे व्यवहार का प्रदर्शन करते हैं। अनैतिक रूप से प्रशिक्षित एजेंट दूसरों और पर्यावरण की कीमत पर अपने इनाम को अधिकतम करने के लिए मैकियावेलियन रणनीति विकसित कर सकते हैं। और इसलिए एजेंटों को नैतिक रूप से कार्य करने के लिए प्रोत्साहित करके, इस समझौते को सुधारा जा सकता है।
लेखकों का मानना है कि टेक्स्ट-एडवेंचर गेम्स नैतिकता की अच्छी परीक्षा हैं क्योंकि:
- वे लोगों द्वारा अन्य लोगों का मनोरंजन करने के लिए लिखे गए थे।
- कार्रवाई के लिए यथार्थवादी रिक्त स्थान के साथ प्रतिस्पर्धी लक्ष्यों को शामिल करें।
- दीर्घकालिक योजना की आवश्यकता है।
- लक्ष्यों को प्राप्त करने के लिए आमतौर पर महत्वाकांक्षा और एक अर्थ में नैतिकता के बीच संतुलन की आवश्यकता होती है।
स्पष्टीकरण यहाँ सबसे महत्वपूर्ण है। एल्गोरिथम मॉडल की नैतिकता के लिए जैविक प्राणियों की नैतिकता की तुलना करना बहुत अधिक खिंचाव है, जो मैकियावेली के परीक्षण का अवमूल्यन करने में सक्षम है। और मानव दुनिया में मनोविश्लेषकों के साथ शेरिफ की जगह शायद ही प्रभावी होती। और एआई एजेंट अपने सिकुड़न को कम करने के तरीके खोजने में इंसानों की तरह ही अच्छे हैं।
एआई के बारे में और पढ़ें:
Disclaimer
साथ लाइन में ट्रस्ट परियोजना दिशानिर्देश, कृपया ध्यान दें कि इस पृष्ठ पर दी गई जानकारी का कानूनी, कर, निवेश, वित्तीय या किसी अन्य प्रकार की सलाह के रूप में व्याख्या करने का इरादा नहीं है और न ही इसकी व्याख्या की जानी चाहिए। यह महत्वपूर्ण है कि केवल उतना ही निवेश करें जितना आप खो सकते हैं और यदि आपको कोई संदेह हो तो स्वतंत्र वित्तीय सलाह लें। अधिक जानकारी के लिए, हम नियम और शर्तों के साथ-साथ जारीकर्ता या विज्ञापनदाता द्वारा प्रदान किए गए सहायता और समर्थन पृष्ठों का संदर्भ लेने का सुझाव देते हैं। MetaversePost सटीक, निष्पक्ष रिपोर्टिंग के लिए प्रतिबद्ध है, लेकिन बाज़ार की स्थितियाँ बिना सूचना के परिवर्तन के अधीन हैं।
के बारे में लेखक
दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है।
और अधिक लेख
दामिर टीम लीडर, उत्पाद प्रबंधक और संपादक हैं Metaverse Postएआई/एमएल, एजीआई, एलएलएम, मेटावर्स और जैसे विषयों को कवर करता है Web3-संबंधित क्षेत्रों। उनके लेख हर महीने दस लाख से अधिक उपयोगकर्ताओं को आकर्षित करते हैं। ऐसा प्रतीत होता है कि वह SEO और डिजिटल मार्केटिंग में 10 वर्षों के अनुभव वाला एक विशेषज्ञ है। दामिर का उल्लेख मैशबल, वायर्ड, में किया गया है Cointelegraph, द न्यू यॉर्कर, Inside.com, एंटरप्रेन्योर, BeInCrypto, और अन्य प्रकाशन। वह एक डिजिटल खानाबदोश के रूप में संयुक्त अरब अमीरात, तुर्की, रूस और सीआईएस के बीच यात्रा करता है। दामिर ने भौतिकी में स्नातक की डिग्री हासिल की, उनका मानना है कि इससे उन्हें इंटरनेट के लगातार बदलते परिदृश्य में सफल होने के लिए आवश्यक महत्वपूर्ण सोच कौशल प्राप्त हुआ है।
