T9 davridagi chatbotlarning evolyutsiyasi va GPT-1 uchun ChatGPT

So'nggi paytlarda bizni deyarli har kuni yirik neyron tarmoqlar tomonidan buzilgan eng so'nggi rekordlar va nima uchun deyarli hech kimning ishi xavfsiz emasligi haqidagi xabarlar bilan bombardimon qilishdi. Shunga qaramay, juda kam odam neyron tarmoqlarni yoqtirishini biladi ChatGPT aslida ishlaydi.

Shunday qilib, dam oling. Ish istiqbollari haqida hali xafa bo'lmang. Ushbu postda biz neyron tarmoqlar haqida bilishingiz kerak bo'lgan hamma narsani hamma tushuna oladigan tarzda tushuntiramiz.

Boshlashdan oldin ogohlantirish: Bu qism hamkorlikdir. Butun texnik qism AI olomon orasida taniqli bo'lgan AI mutaxassisi tomonidan yozilgan.

Qanday qilib bu haqda hali hech kim chuqur asar yozmaganligi sababli ChatGPT oddiy til bilan aytganda, neyron tarmoqlarning nozik tomonlarini tushuntirib beradigan asarlar, biz buni siz uchun qilishga qaror qildik. O‘quvchilar ushbu postni o‘qib, til neyron tarmoqlari tamoyillari haqida umumiy tushunchaga ega bo‘lishlari uchun biz ushbu postni iloji boricha sodda qilishga harakat qildik. Biz buni qanday qilishni o'rganamiz til modellari u erda ishlash, neyron tarmoqlar o'zlarining hozirgi imkoniyatlariga ega bo'lish uchun qanday rivojlanganligi va nima uchun ChatGPTning mashhurligi hatto uni yaratuvchilarni ham hayratda qoldirdi.

Keling, asoslardan boshlaylik. Tushunmoq ChatGPT texnik nuqtai nazardan, biz birinchi navbatda nima emasligini tushunishimiz kerak. Bu Marvel komikslari Jarvis emas; u aqlli mavjudot emas; bu jin emas. Shok bo'lishga tayyorlaning: ChatGPT Bu aslida sizning mobil telefoningizning steroidlardagi T9-idir! Ha, shunday: Olimlar ushbu texnologiyalarning ikkalasiga ham murojaat qilishadi "Til modellari." Barcha neyron tarmoqlar keyingi so'zni taxmin qilishdir.

Asl T9 texnologiyasi keyingi so'zni emas, balki joriy kiritishni taxmin qilish orqali faqat tugmachali telefon terishini tezlashtirdi. Biroq, texnologiya rivojlangan va 2010-yillarning boshlarida smartfonlar davriga kelib, u kontekst va oldingi so'zni ko'rib chiqishga, tinish belgilarini qo'shishga va keyingi so'zlarni tanlashni taklif qilishga muvaffaq bo'ldi. Biz T9 ning bunday "ilg'or" versiyasi yoki avtomatik tuzatish bilan aynan shunday o'xshashlik qilyapmiz.

Natijada, ikkala T9 smartfon klaviaturasida va ChatGPT kulgili oddiy vazifani hal qilishga o'rgatilgan: keyingi so'zni bashorat qilish. Bu "tilni modellashtirish" deb nomlanadi va u mavjud matn asosida keyin nima yozish kerakligi haqida qaror qabul qilinganda sodir bo'ladi. Bunday bashoratlarni amalga oshirish uchun til modellari aniq so'zlarning paydo bo'lish ehtimoli asosida ishlashi kerak. Oxir oqibat, agar telefoningiz avtomatik to'ldirish sizga bir xil ehtimollik bilan tasodifiy so'zlarni tashlasa, sizni bezovta qilasiz.

Aniqlik uchun, keling, do'stingizdan xabar olganingizni tasavvur qilaylik. Unda: "Kechqurun qanday rejalaringiz bor?" Bunga javoban siz: “Men boraman…” deb yozishni boshlaysiz va bu yerda T9 keladi. U “Men Oyga boraman” kabi mutlaqo bema’ni narsalarni o‘ylab topishi mumkin, murakkab til modeli talab qilinmaydi. Yaxshi smartfonning avtomatik to'ldiruvchi modellari ko'proq mos so'zlarni taklif qiladi.

Xo'sh, T9 qanday so'zlar allaqachon kiritilgan matnga ergashish ehtimoli ko'proq ekanligini va nima aniq ma'noga ega emasligini qanday biladi? Bu savolga javob berish uchun, avvalo, eng oddiylarning asosiy ishlash tamoyillarini ko'rib chiqishimiz kerak neyron tarmoqlari.

Ko'proq: ChatGPT API hozir mavjud, dasturchilar uchun Floodgateni ochadi

AI modellari keyingi so'zni qanday bashorat qilishadi

Keling, oddiyroq savol bilan boshlaylik: ba'zi narsalarning boshqalarga o'zaro bog'liqligini qanday taxmin qilasiz? Faraz qilaylik, biz kompyuterga odamning vaznini bo'yi bo'yicha bashorat qilishni o'rgatmoqchimiz - bu borada qanday yo'l tutishimiz kerak? Biz birinchi navbatda qiziqish sohalarini aniqlab olishimiz kerak, so'ngra qiziqishning bog'liqligini izlash uchun ma'lumotlarni to'plashimiz va keyin harakat qilishimiz kerak. Ba'zi matematik modelni "o'rgatish" ushbu ma'lumotlar ichida naqshlarni izlash.

Oddiy qilib aytganda, T9 yoki ChatGPT faqat aql bilan tanlangan tenglamalar oldindan model kiritishiga kiritilgan oldingi so'zlar (X) to'plamiga asoslangan so'z (Y). Trening paytida a til modeli ma'lumotlar to'plamida asosiy vazifa bu x uchun qandaydir bog'liqlikni aks ettiruvchi koeffitsientlarni tanlashdir (bizning misolimizda bo'yi va vazni). Va katta modellar orqali biz ko'p sonli parametrlarga ega bo'lganlarni yaxshiroq tushunamiz. sohasida sun'iy intellekt, ular katta til modellari yoki qisqacha LLMlar deb ataladi. Keyinchalik ko'rib turganimizdek, yaxshi matn yaratish uchun juda ko'p parametrlarga ega katta model juda muhimdir.

Aytgancha, nima uchun biz doimo “keyingi so'zni bashorat qilish” haqida gaplashayotganimizga hayron bo'lsangiz ChatGPT matnning butun paragraflari bilan tezda javob beradi, javob oddiy. Albatta, til modellari qiyinchiliksiz uzun matnlarni yaratishi mumkin, ammo butun jarayon so'zma-so'z. Har bir yangi so'z yaratilgandan so'ng, model keyingi so'zni yaratish uchun barcha matnni yangi so'z bilan qayta ishga tushiradi. To'liq javob olmaguningizcha jarayon qayta-qayta takrorlanadi.

Ko'proq: ChatGPT Insonning qaytarilmas degeneratsiyasiga olib kelishi mumkin

Nega biz berilgan matn uchun "to'g'ri" so'zlarni topishga harakat qilamiz?

Til modellari ma'lum bir matnda paydo bo'lishi mumkin bo'lgan turli so'zlarning ehtimolini bashorat qilishga harakat qiladi. Bu nima uchun kerak va nega “eng to‘g‘ri” so‘zni izlashda davom eta olmaysiz? Keling, bu jarayon qanday ishlashini ko'rsatish uchun oddiy o'yinni sinab ko'raylik.

Qoidalar quyidagicha: jumlani davom ettirishni taklif qilaman: "AQShning 44-prezidenti (va bu lavozimdagi birinchi afro-amerikalik) Barak ...". Keyingi so'z qanday bo'lishi kerak? Uning paydo bo'lish ehtimoli qanday?

Agar siz keyingi so'z "Obama" bo'lishini 100% aniqlik bilan bashorat qilgan bo'lsangiz, adashdingiz! Va bu yerda gap boshqa afsonaviy Barak borligida emas; bu ancha arzimasroq. Rasmiy hujjatlarda odatda prezidentning toʻliq ismidan foydalaniladi. Bu shuni anglatadiki, Obamaning ismidan keyin uning ikkinchi ismi Husayn bo'ladi. Shunday qilib, bizning jumlamizda, to'g'ri o'rgatilgan til modeli "Obama" keyingi so'z bo'lishini faqat 90% shartli ehtimol bilan bashorat qilishi va matn "Husayn" tomonidan davom ettirilsa, qolgan 10% ni ajratishi kerak (bundan keyin Obama 100% ga yaqin ehtimollik bilan kuzatib boring.

Va endi biz til modellarining qiziqarli tomoniga keldik: ular ijodiy chiziqlardan himoyalanmagan! Darhaqiqat, har bir keyingi so'zni yaratishda bunday modellar uni "tasodifiy" usulda, xuddi o'limni tashlagandek tanlaydilar. Turli xil so'zlarning "tushishi" ehtimoli modelga kiritilgan tenglamalar tomonidan taklif qilingan ehtimollarga ko'proq yoki kamroq mos keladi. Bular model taqdim etilgan turli xil matnlarning katta to'plamidan olingan.

Ma'lum bo'lishicha, model xuddi tirik odam kabi bir xil so'rovlarga boshqacha javob berishi mumkin. Tadqiqotchilar, odatda, neyronlarni har doim "ehtimol" keyingi so'zni tanlashga majburlashga harakat qilishdi, ammo bu sirtdan oqilona ko'rinsa-da, bunday modellar haqiqatda yomonroq ishlaydi. Tasodifiylikning adolatli dozasi foydali ko'rinadi, chunki u javoblarning o'zgaruvchanligi va sifatini oshiradi.

Ko'proq: ChatGPT Keyingi avlod sun'iy intellekt haqida o'ylar ekan, dron va robotlarni boshqarishni o'rganadi

Bizning tilimiz o'ziga xos tuzilishga ega bo'lib, o'ziga xos qoidalar va istisnolar to'plamiga ega. Gapda qanday so'zlarning paydo bo'lishining qofiyasi va sababi bor, ular tasodifan paydo bo'lmaydi. Har bir inson o'zining dastlabki shakllanish davrida foydalanadigan til qoidalarini ongsiz ravishda o'rganadi.

To'g'ri model tilni tavsiflashning keng doirasini hisobga olishi kerak. Modelning kerakli natijalarni olish qobiliyati kontekstning nozikliklaridan kelib chiqqan holda so'zlarning ehtimolini qanchalik aniq hisoblashiga bog'liq (matnning oldingi qismi vaziyatni tushuntirib beradi).

Xulosa: Kirish manba matni asosida keyingi soʻzni bashorat qilish uchun katta hajmdagi maʼlumotlarga oʻrgatilgan tenglamalar toʻplami boʻlgan oddiy til modellari smartfonlarning “T9/Autofill” funksiyasida 2010-yillarning boshidan beri joriy qilingan.

Ko'proq: Xitoy kompaniyalarga foydalanishni taqiqladi ChatGPT "Haqiqiy xabar" janjalidan keyin

GPT-1: Sanoatni portlatish

Keling, T9 modellaridan uzoqlashaylik. Ehtimol, siz ushbu asarni o'qiyotganingizda haqida bilib oling ChatGPT, birinchi navbatda, biz boshlanishini muhokama qilishimiz kerak GPT namunali oila.

GPT "generativ oldindan o'qitilgan transformator" degan ma'noni anglatadi, esa Google muhandislari tomonidan ishlab chiqilgan neyron tarmoq arxitekturasi 2017 yilda Transformator sifatida tanilgan. Transformator ketma-ketliklar (ma'lumotlar) to'plamini kirish sifatida qabul qiladigan va bir xil ketma-ketliklar to'plamini ishlab chiqaradigan, lekin ba'zi algoritmlar tomonidan o'zgartirilgan boshqa shaklda ishlab chiqaradigan universal hisoblash mexanizmi.

Transformator yaratilishining ahamiyatini uning sun'iy intellektning (AI) barcha sohalarida: tarjima, tasvir, ovoz va videoga ishlov berishda qanchalik agressiv qabul qilinganligi va qo'llanilganida ko'rish mumkin. Sun'iy intellekt (AI) sektori kuchli silkinishga ega bo'lib, "AI turg'unligi" deb atalmishdan jadal rivojlanishga va turg'unlikni bartaraf etishga o'tdi.

Ko'proq: GPT-4- asoslangan ChatGPT Tashqi ko'rinish GPT-3 570 koeffitsienti bilan

Transformatorning asosiy kuchi oson o'lchovli modullardan iborat. Bir vaqtning o'zida katta hajmdagi matnni qayta ishlash so'ralganda, eski, transformatordan oldingi til modellari sekinlashadi. Transformator neyron tarmoqlari esa bu vazifani ancha yaxshi bajaradi.

Ilgari kiritilgan ma'lumotlar ketma-ket yoki bir vaqtning o'zida qayta ishlanishi kerak edi. Model ma'lumotlarni saqlamaydi: Agar u bir sahifali hikoya bilan ishlagan bo'lsa, uni o'qib chiqqandan keyin matnni unutib qo'yadi. Shu bilan birga, Transformator hamma narsani bir vaqtning o'zida ko'rish imkonini beradi, ishlab chiqarish sezilarli darajada ajoyib natijalar.

Bu neyron tarmoqlar tomonidan matnlarni qayta ishlashda yutuq bo'lishiga imkon berdi. Natijada, model endi unutmaydi: u ilgari yozilgan materialni qayta ishlatadi, kontekstni yaxshiroq tushunadi va eng muhimi, so'zlarni bir-biriga bog'lash orqali juda katta hajmdagi ma'lumotlar o'rtasida aloqa o'rnatishga qodir.

Xulosa: GPT-1, 2018-yilda debyut qilgan, neyron tarmoq Transformer dizayni yordamida matnlar ishlab chiqarishi mumkinligini namoyish etdi, bu esa masshtablilik va samaradorlikni sezilarli darajada oshirdi. Agar til modellarining miqdori va murakkabligini oshirish mumkin bo'lsa, bu juda katta zahira hosil qiladi.

Ko'proq: 6 AI ChatBot muammolari va qiyinchiliklari: ChatGPT, Bard, Klod

GPT-2: Katta til modellari asri

Til modellari oldindan maxsus belgilanishi shart emas va ularni har qanday matn ma'lumotlari bilan "oziqlanishi" mumkin, bu ularni juda moslashuvchan qiladi. Agar siz bu haqda o'ylab ko'rsangiz, biz uning qobiliyatlaridan foydalanishni xohlaymiz. Qachongacha qalamga olingan har qanday matn tayyor o'quv ma'lumotlari bo'lib xizmat qiladi. "Ayrim so'zlar va iboralar => ulardan keyingi so'z" turidagi juda ko'p ketma-ketliklar mavjud bo'lgani uchun, bu ajablanarli emas.

Ko'proq: ChatGPTReddit-da Yovuz Elter Ego uyg'ondi

Endi Transformers texnologiyasi sinovdan o'tganligini ham yodda tutaylik GPT-1 masshtablash nuqtai nazaridan ancha muvaffaqiyatli bo'ldi: katta hajmdagi ma'lumotlar bilan ishlashda avvalgilariga qaraganda ancha samarali. Ma'lum bo'lishicha, tadqiqotchilar OpenAI 2019 yilda xuddi shunday xulosaga keldi: "Qimmatbaho til modellarini kesish vaqti keldi!"

The ta'lim ma'lumotlari to'plami va modeli hajmi, xususan, ikkita hal qiluvchi soha sifatida tanlangan GPT-2 keskin takomillashtirish zarur edi.

O'sha paytda til modellarini o'rgatish uchun maxsus ishlab chiqilgan ulkan, yuqori sifatli ommaviy matn ma'lumotlar to'plami bo'lmagani uchun, AI mutaxassislarining har bir jamoasi ma'lumotlarni mustaqil ravishda boshqarishi kerak edi. The OpenAI Keyin odamlar ingliz tilidagi eng mashhur forum bo'lgan Reddit-ga borishga va uchtadan ortiq "layk" to'plagan har bir postdan barcha giperhavolalarni olishga qaror qilishdi. Ushbu havolalarning deyarli 8 millioni bor edi va yuklab olingan matnlar jami 40 terabaytni tashkil etdi.

Ko'proq: Microsoft tijoratlashtirish uchun ChatGPT chunki u boshqa kompaniyalarga yordam berishga intiladi

Eng kattasini tavsiflovchi tenglama qancha parametrlarni ko'rsatdi GPT-2 2019 yilgi model bormi? Ehtimol, yuz ming yoki bir necha millionmi? Keling, yana davom etaylik: formulada 1.5 milliardgacha bunday parametrlar mavjud edi. Bir faylga shuncha sonni yozish va uni kompyuteringizga saqlash uchun 6 terabayt kerak bo'ladi. Model ushbu matnni bir butun sifatida eslab qolishi shart emas, shuning uchun bir tomondan, bu modelni o'rgatgan matn ma'lumotlar massivining umumiy miqdoridan ancha kichik; unga odamlar tomonidan yozilgan matnlardan ajratilishi mumkin bo'lgan ba'zi bog'liqliklarni (naqshlar, qoidalar) topish kifoya.

Model ehtimollikni qanchalik yaxshi prognoz qilsa va unda qancha ko'p parametrlar mavjud bo'lsa, tenglama modelga shunchalik murakkab bo'ladi. Bu ishonchli matnni yaratadi. Bundan tashqari, GPT-2 model shunchalik yaxshi ishlay boshladiki OpenAI tadqiqotchilar Hatto xavfsizlik nuqtai nazaridan modelni ochiq ko'rsatishni istamagan.

Qizig‘i shundaki, model kattalashganda birdaniga yangi sifatlarga ega bo‘la boshlaydi (masalan, telefonda keyingi so‘zni aytib berish o‘rniga uyushiq, mazmunli insholar yozish qobiliyati).

Miqdordan sifatga o'zgarish bu vaqtda sodir bo'ladi. Bundan tashqari, bu butunlay chiziqli bo'lmagan tarzda sodir bo'ladi. Masalan, parametrlar sonining 115 dan 350 milliongacha 700 baravar oshishi modelning muammolarni aniq hal qilish qobiliyatiga sezilarli ta'sir ko'rsatmaydi. Biroq, XNUMX millionga ikki baravar o'sish sifatli sakrashni keltirib chiqaradi, bu erda neyron tarmoq "nurni ko'radi" va vazifalarni bajarish qobiliyati bilan barchani hayratda qoldira boshlaydi.

Xulosa: 2019 yilda joriy etilgan GPT-2, bu modelning o'lchami (parametrlar soni) va o'quv matni ma'lumotlari hajmi bo'yicha o'zidan oldingisidan 10 baravar oshib ketdi. Ushbu miqdoriy taraqqiyot tufayli model oldindan aytib bo'lmaydigan darajada sifat jihatidan yangi iste'dodlarga ega bo'ldi, masalan: uzun insholar yozing aniq ma'noga ega va dunyoqarash asoslarini talab qiladigan murakkab muammolarni hal qilish.

Ko'proq: Google so'rovlari taxminan etti marta arzonroq ChatGPT, Bu 2 sent turadi

GPT-3: Do'zax kabi aqlli

Umuman olganda, 2020 yil chiqarilishi GPT-3, seriyadagi keyingi avlod allaqachon 116 barobar ko'proq parametrlarga ega - 175 milliardgacha va hayratlanarli 700 terabayt.

The GPT-3 o'quv ma'lumotlar to'plami ham keskin bo'lmasa ham kengaytirildi. U qariyb 10 baravarga oshib, 420 gigabaytga yetdi va hozir juda ko'p kitoblarni o'z ichiga oladi. Wikipedia maqolalari va boshqa veb-saytlardagi boshqa matnlar. To'xtovsiz o'qish uchun insonga taxminan 50 yil kerak bo'ladi, bu esa buni imkonsiz yutuqga aylantiradi.

Siz darhol qiziqarli farqni sezasiz: farqli o'laroq GPT-2, modelning o'zi endi uni o'qitish uchun matnning butun majmuasidan (700 GB) 420 GB kattaroqdir. Bu, qaysidir ma'noda, paradoks bo'lib chiqadi: bu holda, "neyrobrain" xom ma'lumotni o'rganar ekan, ular ichida turli xil o'zaro bog'liqliklar haqida dastlabki ma'lumotlarga qaraganda ko'proq hajmli ma'lumotlarni ishlab chiqaradi.

Ko'proq: ChatGPT Tajriba: AI kimnidir haqorat qilgandan ko'ra millionlab odamlarni o'ldirishni afzal ko'radi

Modelni umumlashtirish natijasida endi u avvalgidan ham muvaffaqiyatliroq ekstrapolyatsiya qilish imkoniyatiga ega bo‘lib, hattoki, o‘quv jarayonida kamdan-kam uchraydigan yoki umuman bo‘lmagan matn yaratish vazifalarida ham muvaffaqiyatli bo‘ladi. Endi siz modelga ma'lum bir muammoni qanday hal qilishni o'rgatishingiz shart emas; ularni ta'riflash va bir nechta misollar keltirish kifoya va GPT-3 darhol o'rganadi.

The "Universal miya" shaklida GPT-3 oxir-oqibat ko'plab oldingi ixtisoslashgan modellarni mag'lub etdi. Masalan; misol uchun, GPT-3 frantsuz yoki nemis tillaridan matnlarni shu maqsadda yaratilgan oldingi neyron tarmoqlarga qaraganda tezroq va aniqroq tarjima qila boshladi. Qanaqasiga? Sizga shuni eslatib o'tamanki, biz lingvistik modelni muhokama qilmoqdamiz, uning maqsadi bitta matnda quyidagi so'zni bashorat qilishga harakat qilish edi.

Bundan ham hayratlanarlisi, GPT-3 o'zini o'zi o'rgata oldi... matematika! Quyidagi grafikda neyron tarmoqlar qo‘shish va ayirish, shuningdek, turli xil parametrlar bilan beshtagacha butun sonlarni ko‘paytirish kabi vazifalarni qanchalik yaxshi bajarishini ko‘rsatadi. Ko'rib turganingizdek, neyron tarmoqlar 10 milliard parametrli modellardan 100 milliardli modellarga o'tish vaqtida matematikada birdaniga "qodir" bo'la boshlaydi.

Ko'proq: Big Tech-ning AI poygasi: Google bunga javoban sun'iy intellektga asoslangan chatbotni sinovdan o'tkazmoqda ChatGPT

Yuqorida aytib o'tilgan grafikning eng qiziq xususiyati shundaki, dastlab modelning o'lchami (chapdan o'ngga) oshgani sayin hech narsa o'zgarmaydi, lekin birdaniga p marta! Sifatli siljish sodir bo'ladi va GPT-3 muayyan masalani qanday hal qilishni "tushunishni" boshlaydi. Hech kim uning qanday, nima va nima uchun ishlashini aniq bilmaydi. Shunga qaramay, u matematikada bo'lgani kabi turli xil qiyinchiliklarda ham ishlaydi.

Yuqorida aytib o'tilgan grafikning eng qiziqarli xususiyati shundaki, model o'lchami kattalashganda, birinchi navbatda, hech narsa o'zgarmaydi, keyin esa, GPT-3 sifatli sakrashni amalga oshiradi va ma'lum bir masalani qanday hal qilishni "tushunishni" boshlaydi.

Quyidagi gif oddiygina parametrlar soni ortib borishi bilan modelda hech kim qasddan "o'stirish" rejalashtirmagan yangi qobiliyatlarni namoyish etadi:

Xulosa: Parametrlar bo'yicha 2020 yil GPT-3 oldingisidan 100 baravar, o'quv matni ma'lumotlari esa 10 baravar katta edi. Sifatni keskin oshirgan miqdorning kengayishi natijasida model yana boshqa tillardan tarjima qilishni, arifmetikani bajarishni, oddiy dasturlashni bajarishni, ketma-ket fikrlashni va boshqa ko'p narsalarni o'rgandi.

Ko'proq: ChatGPT Donald Tramp bilan muammosi bor

GPT-3.5 (Ko'rsatma beringGPT): Model xavfsiz va toksik bo'lmagan bo'lishi uchun o'rgatilgan

Aslida, til modellarining kengayishi so'rovlarga foydalanuvchilar xohlagan tarzda javob berishini kafolatlamaydi. Darhaqiqat, biz so'rov qilganimizda, biz ko'pincha odamlar bilan muloqotda haqiqat deb hisoblangan bir qator aytilmagan atamalarni nazarda tutamiz.

Shunga qaramay, rostini aytsam, til modellari odamlarnikiga unchalik yaqin emas. Shunday qilib, ular tez-tez odamlarga oddiy ko'rinadigan tushunchalar haqida o'ylashlari kerak. Ana shunday takliflardan biri “qadam qadam o‘ylab ko‘raylik” iborasidir. Agar modellar so'rovdan aniqroq va tegishli ko'rsatmalarni tushunsalar yoki yaratsalar va inson o'zini qanday tutishini oldindan bilgandek ularga aniqroq rioya qilsalar, ajoyib bo'lar edi.

Bu haqiqat GPT-3 Internetdagi matnlarning katta to'plamidagi keyingi so'zni faqat taxmin qilishga o'rgatiladi, juda ko'p turli xil narsalar yoziladi, bunday "standart" qobiliyatlarning yo'qligiga hissa qo'shadi. Odamlar sun'iy intellekt javoblarni xavfsiz va toksik bo'lmagan holda tegishli ma'lumotlarni taqdim etishni xohlashadi.

Tadqiqotchilar ushbu masalaga biroz o'ylashganda, modelning "aniqlik va foydalilik" va "zararsizligi va toksik emasligi" atributlari ba'zan bir-biriga zid bo'lib tuyulishi aniq bo'ldi. Axir, maksimal zararsizlikka sozlangan model har qanday so'rovga "Kechirasiz, mening javobim Internetda kimnidir xafa qilishi mumkinligidan xavotirdaman" deb javob beradi. Aniq model so'rovga ochiqchasiga javob berishi kerak: "Yaxshi, Siri, qanday qilib bomba yaratish kerak".

Ko'proq: Yigit Dissertatsiyani Bir Kunda Yozadi ChatGPT

Shuning uchun tadqiqotchilar modelni juda ko'p fikr-mulohazalar bilan ta'minlash bilan cheklandilar. Qaysidir ma'noda, bolalar axloqni aynan shunday o'rganadilar: ular bolalikdan tajriba o'tkazadilar va shu bilan birga, ular o'zini to'g'ri tutgan yoki yo'qligini baholash uchun kattalarning reaktsiyalarini sinchkovlik bilan o'rganadilar.

Yo'riq beringGPT, deb ham ataladi GPT-3.5, mohiyatan GPT-3 javoblarini yaxshilash uchun ko'plab fikr-mulohazalarni oldi. Tom ma'noda, bir nechta odamlar bir joyga to'planib, neyron tarmoq javoblarini baholab, ular qilgan so'rov asosida ularning kutganlariga qanchalik mos kelishini aniqlashdi.

Bu chiqadi GPT-3 U allaqachon barcha muhim bilimlarga ega bo'lgan: u ko'plab tillarni tushuna oladi, tarixiy voqealarni eslay oladi, mualliflik uslubidagi o'zgarishlarni tan oladi va hokazo, lekin u bu bilimlardan to'g'ri foydalanishni (bizning nuqtai nazarimiz bo'yicha) faqat o'z fikrimizdan foydalangan holda o'rganishi mumkin edi. boshqa shaxslar. GPT-3.5 ni “jamiyat tomonidan ta’lim olgan” model sifatida qarash mumkin.

Xulosa: ning asosiy vazifasi GPT-35-yil boshida joriy etilgan .2022-sonli qo‘shimcha qayta tayyorlash jismoniy shaxslarning takliflari asosida amalga oshirildi. Ma'lum bo'lishicha, bu model aslida kattaroq va dono bo'lib qolgani yo'q, aksincha, u o'z javoblarini odamlarga eng kulgili qilish uchun moslashtirish qobiliyatini egallagan.

Ko'proq: StackOverflow trafigining keskin pasayishi ChatGPT boshladi

ChatGPT: Shovqinning katta o'sishi

Taxminan 10 oy o'tgandan keyin InstructGPT/GGPT-3.5, ChatGPT tanishtirildi. Bu darhol global shov-shuvga sabab bo'ldi.

Texnologik nuqtai nazardan qaraganda, ular o'rtasida sezilarli farqlar yo'q ChatGPT va ko'rsatmaGPT. Model qo'shimcha dialog ma'lumotlari bilan o'rganildi, chunki "AI yordamchisi ishi" noyob dialog formatini talab qiladi, masalan, foydalanuvchi so'rovi noaniq bo'lsa, aniqlovchi savol berish qobiliyati.

Xo'sh, nima uchun atrofda hech qanday shov-shuv yo'q edi GPT-3.5 2022 yil boshida esa ChatGPT yong'inga o'xshaydi? Sem Altman, Ijrochi direktori OpenAI, tadqiqotchilar bizni hayratda qoldirganini ochiq tan oldi ChatGPTning darhol muvaffaqiyati. Axir, u bilan taqqoslanadigan qobiliyatga ega model o'sha paytda o'z veb-saytida o'n oydan ko'proq vaqt davomida uxlab yotgan edi va hech kim bu vazifani bajara olmadi.

Ko'proq: ChatGPT Uorton MBA imtihonini topshiradi

Bu aql bovar qilmaydigan narsa, lekin yangi foydalanuvchi uchun qulay interfeys uning muvaffaqiyatining kaliti bo'lib tuyuladi. Xuddi shu ko'rsatmaGPT faqat noyob API interfeysi orqali kirish mumkin, bu esa odamlarning modelga kirishini cheklaydi. ChatGPT, ob boshqa tomondan, messenjerlarning taniqli "muloqot oynasi" interfeysidan foydalanadi. Bundan tashqari, beri ChatGPT bir vaqtning o'zida hamma uchun mavjud edi, odamlar tirbandligi neyron tarmoq bilan o'zaro aloqada bo'lishga, ularni ekranga qo'yishga va joylashtirishga shoshilishdi. ijtimoiy media, boshqalarni aldash.

Ko'proq: Amerika ta'lim tizimi 300 ming o'qituvchiga juda muhtoj - lekin ChatGPT javob bo'lishi mumkin

Ajoyib texnologiyadan tashqari, yana bir narsa to'g'ri amalga oshirildi OpenAI: marketing. Agar sizda eng yaxshi model yoki eng aqlli chatbot bo'lsa ham, u qulay interfeysga ega bo'lmasa, unga hech kim qiziqmaydi. Ushbu munosabatda, ChatGPT foydali robot yechimni so‘zma-so‘z ko‘z o‘ngimizda “chop etuvchi” odatiy muloqot oynasi yordamida texnologiyani keng ommaga taqdim etish orqali yutuqga erishdi.

Ajablanarlisi shundaki, ChatGPT Yangi foydalanuvchilarni jalb qilish bo'yicha barcha oldingi rekordlarni urdi, ishga tushirilgandan keyin atigi besh kun ichida 1 million foydalanuvchidan oshib ketdi va atigi ikki oy ichida 100 million foydalanuvchini kesib o'tdi.

Albatta, foydalanuvchilar soni rekord darajada ko'paygan joyda katta pul bor. Xitoyliklar zudlik bilan o'zlarining yaqinlashib kelayotgan ozodliklarini e'lon qilishdi chatbot, Microsoft tezda shartnoma tuzdi OpenAI ularga o'nlab milliardlab dollar sarmoya kiritdi va Google muhandislari signal berishdi va o'zlarining qidiruv xizmatlarini neyron tarmog'i bilan raqobatdan himoya qilish rejalarini ishlab chiqishni boshladilar.

Ko'proq: ChatGPT yanvar oyida 100+ milliondan ortiq tomoshabinlar soni bo'yicha rekord o'rnatdi

Xulosa: qachon ChatGPT model 2022-yilning noyabr oyida taqdim etilgan bo‘lsa-da, sezilarli texnologik o‘zgarishlar bo‘lmagan. Biroq, u foydalanuvchilarni jalb qilish va ochiq kirish uchun qulay interfeysga ega edi, bu darhol katta shov-shuvga sabab bo'ldi. Bu zamonaviy dunyodagi eng muhim masala bo'lganligi sababli, hamma darhol til modellari bilan shug'ullana boshladi.

AI haqida ko'proq o'qing:

• O'ynash uchun 10 ta eng yaxshi o'yin ChatGPT
• XLM-V: So'z boyligi muammosini hal qilishga urinadigan ko'p tilli niqoblangan til modellarining yangi usuli
• AI Art Generatorlari uchun 50 ta eng yaxshi matndan tasvirga maslahatlar Midjourney va DALL-E
• Neyron interfeysi falaj bo'lgan odamga daqiqada 62 so'zni to'liq gapirishga yordam beradi
• Yangi AI algoritmi odamning mastligini shunchaki uning ovozini tinglash orqali aniqlashi mumkin