Tadqiqotchilar yirik til modellarining “rivojlanayotgan qobiliyatlari” tushunchasiga qarshi chiqishmoqda
Qisqacha
AGI apokalipsisi to'satdan katta til modellari fenomeni tufayli tashvish uyg'otadi. qobiliyatlarini namoyon etish Bu kichikroq modellarda yo'qdek tuyuladi.
Ushbu hodisa "katta til modellarining paydo bo'ladigan qobiliyatlari" deb ataladi.
Maqola mualliflari "Katta til modellarining favqulodda qobiliyatlari sarobmi?" paydo bo'ladigan qobiliyatlarning ta'siri sarob emas, balki vazifalarni bajarish qobiliyatining bashorat qilinadigan o'sishi ekanligini ta'kidlaydilar.
Ular Big Bench muammolarining kamida 92% katta modellar uchun to'satdan yutuq yo'qligini ko'rsatadilar va ularning modellari sifati modellarning o'lchamlari oshgani sayin muammosiz va taxminiy ravishda o'sib boradi.
Katta til modellarining potentsial imkoniyatlarini yaqinda o'rganishda tadqiqotchilar "paydo bo'layotgan qobiliyatlar" tushunchasini shubha ostiga qo'yishadi va ularning funksionalligining oldindan taxmin qilinadigan jihatiga oydinlik kiritishadi. sarlavhali maqolaKatta til modellarining paydo bo'ladigan qobiliyatlari haqiqatlarini ochish” ushbu modellar o'z-o'zidan ilg'or ko'nikmalarga ega bo'ladi degan noto'g'ri fikrga olib kelgan ko'rsatkichlarning noto'g'ri talqin qilinishiga e'tibor qaratadi.
Tushunchasirivojlanayotgan qobiliyatlar” kabi yirik til modellari kontekstida GPT seriyasi ushbu modellarning inson ongiga o'xshash kutilmagan qobiliyatlarni rivojlantirish potentsialiga oid xavotirlarni kuchaytirdi. Ushbu maqola ushbu taxminlar modellarning haqiqiy xatti-harakati va imkoniyatlarini noto'g'ri tushunishga asoslanganligini ta'kidlaydi.
Kattaroq modellar mavhum fikrlash, muammolarni hal qilish va hatto hazil kabi yangi qobiliyatlarga ega bo'ladigan keng tarqalgan hodisa "katta til modellarining paydo bo'ladigan qobiliyatlari" deb nomlandi. Maqola mualliflarining ta'kidlashicha, bu qobiliyatlar ko'rinadigan darajada o'z-o'zidan emas, balki noto'g'ri baholash ko'rsatkichlari natijasidir.
O'z fikrlarini isbotlash uchun tadqiqotchilar "topishmoqni toping" vazifasini ko'rib chiqadilar, bunda til modeli tabiiy til topishmoqni tushunish va tabiiy tilda to'g'ri javob bilan javob berish uchun talab qilinadi. An'anaga ko'ra, javoblar sifati ikkilik ko'rsatkich yordamida baholanadi: agar javob to'g'ri javobga to'liq mos kelsa, javobga 1 ball, aks holda 0 ball beriladi.
Masalaning mohiyati metrikaning vazifaning murakkabligiga va model parametrlari soniga nisbatan sezgirligidadir. Tadqiqotchilar bu ikkilik metrikaning a ga olib kelishini aniqladilar aldamchi idrok "Yangi rivojlanayotgan qobiliyatlar". Kichikroq modellar ko'pincha ushbu ko'rsatkich bo'yicha ahamiyatsiz aniqlik (eps) ko'rsatadi, kattaroq modellar, ayniqsa parametrlar soni yuqori bo'lganlar, ajoyib aniqlik darajalariga erishadi (acc > 0.5).
Maqolada ta'kidlanishicha, qobiliyatdagi bu aniq siljish modellarning o'z-o'zidan murakkab ko'nikmalarga ega bo'lishini ko'rsatmaydi. Buning o'rniga, modellarning yanada nozik javoblarni tushunish va ishlab chiqarish qobiliyati ularning natijalarini yanada sinchkovlik bilan baholashdan kelib chiqadi. Tadqiqotchilar aniq satr moslashuviga emas, balki ehtimollik moslashuvi va semantik muvofiqlikka e'tibor qaratish orqali shuni ko'rsatadiki, modellarning rivojlanishi ishlashda ularning o'lchamidan qat'i nazar, yanada mantiqiy traektoriyaga amal qiladi.
O'zgaruvchan parametrlar bilan ishlash modeli evolyutsiyasini o'rganish
Tahliliy tadqiqotda tadqiqotchilar sezilayotgan "paydo bo'layotgan qobiliyatlar" ortidagi nozik mexanikani aniqladilar. katta til modellari. Tadqiqot modelning ishlashini baholashda superdiskret ko'rsatkichlarning ta'sirini shubha ostiga qo'yadi va model parametrlari kengayganligi sababli ularning imkoniyatlarini yanada bashoratli tushunishni aniqlaydi.
Kengaytirilgan til modellarida ustun bo'lgan "paydo bo'ladigan qobiliyatlar" tushunchasi munozaralarni hayratda qoldirdi va potentsial yutuqlar haqida tashvish uyg'otdi. Ushbu tadqiqot ushbu hodisaning asosi bo'lgan mexanikani ajratib olishga va ushbu modellar haqiqatan ham to'satdan, misli ko'rilmagan qobiliyatlarni namoyish etadimi yoki bu idrok etilgan yutuqlar boshqa sababga bog'liqmi yoki yo'qligini aniqlashga intiladi.
Tadqiqotning markazida model samaradorligini o'lchash uchun ishlatiladigan ko'rsatkichlarni sinchkovlik bilan baholash yotadi. Tadqiqotchilarning ta'kidlashicha, o'ta diskret ko'rsatkichlardan foydalanish, xususan, to'g'ri chiziq mosligini aniqlaydigan an'anaviy ikkilik metrikani qo'llash katta ma'lumotlarning talqinini buzishi mumkin. til modeli qobiliyatlari. Tadqiqot model parametrlari shkalasi sifatida model tomonidan yaratilgan javoblarning ehtimollik taqsimoti qanday rivojlanishini sinchkovlik bilan tahlil qiladi.
"Yangilanayotgan qobiliyatlar" tushunchasidan farqli o'laroq, tadqiqot yanada tizimli tendentsiyani ochib beradi. Modelning o'lchami oshgani sayin, uning mos javoblarga yuqori ehtimolliklarni, noto'g'ri javoblarga esa pastroq ehtimolliklarni belgilash qobiliyati yaxshilanadi. Bu modelning keng o'lchamdagi muammolarni mohirlik bilan hal qilish qobiliyatining izchil yaxshilanishini aks ettiradi. Aslini olganda, tadqiqot shuni ko'rsatadiki, modellarni o'rganish jarayoni yaxshidefito'satdan sakrash emas, balki yaxshilanish traektoriyasi.
Mualliflar diskret ko'rsatkichlarni uzluksiz ko'rsatkichlar bilan almashtirishni taklif qilish orqali paradigma o'zgarishini kiritadilar. Ushbu o'zgarish ishlash evolyutsiyasining aniqroq rasmini taqdim etadi. O'z tahlillari natijasida tadqiqotchilar taxminan 92% ni aniqladilar Katta skameyka muammolari model hajmi kengayib borishi bilan sifatning silliq va bashorat qilinadigan o'sishini namoyish etadi. Ushbu topilma kattaroq modellar to'satdan yutuqlarni boshdan kechiradi degan tushunchani shubha ostiga qo'yadi va buning o'rniga asta-sekin va kutilgan rivojlanishni ta'kidlaydi.
Tadqiqot o'z da'volarini tasdiqlash uchun o'z tushunchalarini kengaytiradi. Bu xuddi shunday "paydo bo'layotgan qobiliyat" effektini an'anaviy avtokoderlar yordamida sun'iy ravishda simulyatsiya qilish mumkinligini ko'rsatadi, bu ko'rsatkichlarni tanlash qabul qilingan natijalarga sezilarli darajada ta'sir qilishini ko'rsatadi. Ushbu vahiy tadqiqot natijalari doirasini kengaytirib, uning faqat til modellaridan tashqari dolzarbligini ko'rsatadi.
Tadqiqotchilarning ta'kidlashicha, ularning natijalari bunday emas defiKatta til modellarida "paydo bo'layotgan qobiliyatlar" yoki ong uchun potentsialni nitiv tarzda inkor eting. Biroq, ularning topilmalari tadqiqotchilarni bunday da'volarga nozik nuqtai nazar bilan yondashishga undaydi. Tadqiqot shoshilinch ravishda ekstrapolyatsiya qilish va ekstremal xulosalar chiqarish o'rniga, sinchkovlik bilan tekshirish va har tomonlama tahlil qilish muhimligini ta'kidlaydi.
AI haqida ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
