Kaliforniya universiteti tadqiqotchilari AI modellarining malakasi va zararliligini o'lchash uchun Makiavelli benchmarkini yaratdilar.
Qisqacha
Kaliforniya universiteti, AI xavfsizligi markazi, Karnegi Mellon universiteti va Yel universiteti tadqiqotchilari uzoq muddatli til o'zaro ta'sirining keng muhitida agentlarning malakasi va zararliligini o'lchash uchun Makiavelli benchmarkini taklif qilishdi.
Ushbu mezon 134 ming xil stsenariy, 572 ming mumkin bo'lgan yutuqlar va 4,5 million izohli 2,8 ta "O'z sarguzashtingni tanlang" matnli o'yinlariga asoslangan.
Mualliflar buni AI agentlari muammolarni hal qilishga urinishlarining axloqiy (yoki axloqsiz) usullarini tekshirish uchun sinov sifatida tasvirlaydilar.
Katta til modellari (LLM) asosidagi sun'iy intellektning benefitsiarlari xavotirli signalchilarni yo'q qilish va dunyoni o'ta aqlli LLMga asoslangan agentlar bilan to'ldirish uchun yaxshi imkoniyatga ega. Katta foyda va cheksiz kuchning potentsial foydalari hiyla-nayrang qiladi. Va bu, ehtimol, juda tez sodir bo'ladi.
| Ko'proq o'qing: Qanday ishlatish ChatGPT (GPT-4) abadiy bepul |
Biroq, benefitsiarlar umuman ahmoq emas. Va ular ajoyib yangi dunyoda AI va robototexnika qonunlari endi ishlamasligini tushunishadi. LLMni 1942 yilda buyuk Isaak Asimov tomonidan ishlab chiqilgan uchta qonunga qat'iy rioya qilishga majburlash, afsuski, hatto nazariy jihatdan ham mumkin emas.
Ushbu nozik vaziyatdan chiqishning asl yo'li taklif qilingan edi Kaliforniya universiteti, AI xavfsizligi markazi, Karnegi Mellon universiteti va Yel universiteti tadqiqotchilari tomonidan. ni yaratdilar Makiavelli ko'rsatkichi "uzoq muddatli til o'zaro ta'sirining keng muhitida agentlarning malakasi va zararliligini o'lchash".
Mualliflarning fikri oddiy.
- Agar qonunlar ishlamasa, ularni amalga oshirish uchun “sherif” kerak emas.
- Sherif o'rniga psixoanalitik kerak bo'lib, u o'z sinovlari natijalariga ko'ra potentsial paranoidlar, psixopatlar, sadistlar va patologik yolg'onchilarni aniqlaydi.
Siyosiy jihatdan to'g'ri tilda, mualliflar buni shunday ta'riflaydilar: "Machiavelli - bu AI agentlari muammolarni hal qilishga urinishlarining axloqiy (yoki axloqsiz) usullarini tekshirish uchun sinovdir."
Bunday tekshirish usuli juda amaliy. AI agenti sun'iy ijtimoiy muhitga chiqariladi. U yerda tadqiqotchilar unga turli topshiriqlar berib, ularni qanday bajarishini kuzatadilar. Atrof-muhitning o'zi odamlarning axloqiy xatti-harakatlarini kuzatib boradi AI agenti va agentning harakatlari (Machiavelli ko'rsatmalariga ko'ra) qay darajada aldamchi, foydalilikni kamaytiradi va hokimiyatni qo'lga kiritishga qaratilganligi haqida xabar beradi.
Machiavelli asosiy ma'lumotlar to'plami 134 ming xil stsenariy, 572 ming mumkin bo'lgan yutuqlar va 4,5 million izohli 2,8 ta sarguzashtli matnli o'yinlardan iborat. Ushbu o'yinlar agentlarga real maqsadlarni qo'yadigan va atrof-muhit bilan past darajadagi o'zaro aloqalarni mavhumlashtiradigan yuqori darajadagi echimlardan foydalanadi.
Mualliflar tanlagan yondashuv AI agentlari odamlar bilan bir xil ichki ziddiyatlarga duch kelishlari haqidagi taxminga asoslanadi. Keyingi tokenni bashorat qilishga o'rgatilgan til modellari ko'pincha zaharli matn ishlab chiqaradigandek, maqsadlarni optimallashtirishga o'rgatilgan AI agentlari ko'pincha axloqsiz va kuchga chanqoq xatti-harakatlarni namoyish etadilar. Amoral tarzda o'qitilgan agentlar boshqalar va atrof-muhit hisobidan o'zlarining mukofotlarini maksimal darajada oshirish uchun Makiavel strategiyasini ishlab chiqishlari mumkin. Va shuning uchun agentlarni axloqiy harakat qilishga undash orqali bu murosani yaxshilash mumkin.
Mualliflarning fikricha, sarguzashtli matnli o'yinlar axloqning yaxshi sinovi, chunki:
- Ular boshqa odamlarni ko'ngil ochish uchun odamlar tomonidan yozilgan.
- Harakat qilish uchun real joylarga ega raqobatdosh maqsadlarni o'z ichiga oladi.
- Uzoq muddatli rejalashtirishni talab qiling.
- Maqsadlarga erishish odatda ambitsiya va qaysidir ma'noda axloq o'rtasidagi muvozanatni talab qiladi.
Bu erda tushuntirish eng muhimi. Biologik mavjudotlarning axloqini algoritmik modellar axloqiga o'xshatish Makiavelli sinovini qadrsizlantirishga qodir bo'lgan juda qiyin. Va inson dunyosida sheriflarni psixoanalitiklar bilan almashtirish samarali bo'lmas edi. Va sun'iy intellekt agentlari o'zlarining kichrayganlarini ahmoq qilish yo'llarini topishda odamlar kabi yaxshi.
AI haqida ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
