AIdagi eng yaxshi 30+ transformator modellari: ular nima va ular qanday ishlaydi

Ushbu maqolani baham ko'ring

• 
• 
• 
• 
• 

by Damir Yalolov

Nashr qilingan: 12 yil 2023 iyun, 6:52 Yangilangan: 12 yil 2023 iyun, 6:52

by Karolina Gashcz

Tahrirlangan va faktlar tekshirilgan: 12-yil 2023-iyun, soat 6:52

Mahalliy tildagi tajribangizni yaxshilash uchun ba'zida biz avtomatik tarjima plaginidan foydalanamiz. Avtomatik tarjima aniq boʻlmasligi mumkin, shuning uchun oʻqing original aniq ma'lumot uchun maqola.

So'nggi oylarda sun'iy intellektda ko'plab Transformer modellari paydo bo'ldi, ularning har biri o'ziga xos va ba'zan kulgili nomlarga ega. Biroq, bu nomlar ushbu modellar aslida nima qilishlari haqida ko'p ma'lumot bermasligi mumkin. Ushbu maqola eng mashhur Transformator modellarining to'liq va sodda ro'yxatini taqdim etishga qaratilgan. U ushbu modellarni tasniflaydi, shuningdek, Transformatorlar oilasiga muhim jihatlar va yangiliklarni kiritadi. Yuqori ro'yxat qamrab oladi modellar tayyorlandi BERT yoki kabi o'z-o'zini nazorat qilish orqali o'rganish GPT-3, shuningdek, Instruct kabi inson ishtirokida qo'shimcha treningdan o'tadigan modellarGPT tomonidan foydalanilgan model ChatGPT.

AIda transformatorlar nima?

Transformatorlar chuqur o'rganish modellarining bir turi bo'lib, ular "" deb nomlangan tadqiqot maqolasida taqdim etilgan.Sizga kerak bo'lgan narsa - diqqat” Google tadqiqotchilari tomonidan 2017-yilda. Bu maqola bor-yo‘g‘i besh yil ichida 38,000 XNUMX dan ortiq iqtibos to‘plagan holda ulkan e’tirofga sazovor bo‘ldi.

Transformatorning asl arxitekturasi kodlovchi-dekoder modellarining o'ziga xos shakli bo'lib, u joriy etilishidan oldin mashhurlikka erishgan. Ushbu modellar asosan tayangan LSTM va takroriy neyron tarmoqlarining boshqa o'zgarishlari (RNNlar), e'tibor faqat foydalaniladigan mexanizmlardan biridir. Biroq, Transformer qog'ozi e'tibor kirish va chiqish o'rtasidagi bog'liqlikni o'rnatishning yagona mexanizmi bo'lib xizmat qilishi mumkinligi haqidagi inqilobiy g'oyani taklif qildi.

Transformerlar kontekstida kirish tokenlar ketma-ketligidan iborat bo'lib, ular tabiiy tilni qayta ishlashda so'zlar yoki pastki so'zlar bo'lishi mumkin (NLP). Pastki so'zlar odatda NLP modellarida lug'atdan tashqari so'zlar muammosini hal qilish uchun qo'llaniladi. Kodlovchining chiqishi butun ketma-ketlik uchun alohida o'rnatish bilan birga har bir token uchun qat'iy o'lchamli tasvirni ishlab chiqaradi. Dekoder kodlovchining chiqishini oladi va uning chiqishi sifatida tokenlar ketma-ketligini hosil qiladi.

Transformator qog'ozi nashr etilgandan beri mashhur modellar kabi BERT va GPT kodlovchi yoki dekoder komponentlaridan foydalangan holda asl arxitekturaning aspektlarini qabul qilgan. Ushbu modellar orasidagi asosiy o'xshashlik qatlam arxitekturasida yotadi, u o'z-o'ziga e'tibor qaratish mexanizmlari va oldinga siljish qatlamlarini o'z ichiga oladi. Transformers-da har bir kirish tokeni kirish ketma-ketligidagi har bir boshqa token bilan to'g'ridan-to'g'ri bog'liqlikni saqlab, qatlamlar bo'ylab o'z yo'lini kesib o'tadi. Ushbu noyob xususiyat kontekstli token namoyishlarini parallel va samarali hisoblash imkonini beradi, bu qobiliyat RNN kabi ketma-ket modellar bilan amalga oshirilmaydi.

Ushbu maqola faqat Transformator arxitekturasining sirtini tirnalgan bo'lsa-da, u uning asosiy jihatlarini ko'rib chiqadi. To'liqroq tushunish uchun asl tadqiqot maqolasiga yoki The Illustrated Transformer postiga murojaat qilishni tavsiya etamiz.

AIda kodlovchilar va dekoderlar nima?

Tasavvur qiling-a, sizda ikkita model bor: kodlovchi va dekoder. birga ishlash jamoa kabi. Kodlovchi kirishni oladi va uni qattiq uzunlikdagi vektorga aylantiradi. Keyin dekoder ushbu vektorni oladi va uni chiqish ketma-ketligiga aylantiradi. Ushbu modellar chiqish imkon qadar kirishga mos kelishiga ishonch hosil qilish uchun birgalikda o'qitiladi.

Kodlovchi ham, dekoder ham bir nechta qatlamlarga ega edi. Kodlovchining har bir qatlami ikkita pastki qatlamga ega edi: ko'p boshli o'z-o'ziga e'tibor qatlami va oddiy uzatish tarmog'i. O'z-o'ziga e'tibor qatlami kirishdagi har bir tokenga boshqa barcha tokenlar bilan munosabatlarni tushunishga yordam beradi. Ushbu pastki qatlamlarda o'quv jarayonini yumshoqroq qilish uchun qoldiq ulanish va qatlamni normallashtirish ham mavjud.

Dekoderning ko'p boshli o'z-o'ziga e'tibor qatlami enkoderdagidan biroz boshqacha ishlaydi. U e'tibor qaratayotgan tokenning o'ng tomonidagi tokenlarni maskalaydi. Bu dekoder faqat bashorat qilmoqchi bo'lganidan oldin keladigan tokenlarga qarashini ta'minlaydi. Ushbu niqoblangan ko'p boshli e'tibor dekoderga aniq bashoratlarni yaratishga yordam beradi. Bundan tashqari, dekoder boshqa pastki qatlamni o'z ichiga oladi, bu kodlovchining barcha chiqishlari ustidan ko'p boshli diqqat qatlamidir.

Shuni ta'kidlash kerakki, ushbu aniq tafsilotlar Transformer modelining turli xil variantlarida o'zgartirilgan. BERT va kabi modellar GPT, masalan, asl arxitekturaning kodlovchi yoki dekoder tomoniga asoslanadi.

AIda diqqat qatlamlari nima?

Biz ilgari muhokama qilgan model arxitekturasida ko'p boshli diqqat qatlamlari uni kuchli qiladigan maxsus elementlardir. Ammo diqqat nimada? Buni savolni ma'lumotlar to'plamiga moslashtiradigan va natija beradigan funktsiya sifatida tasavvur qiling. Kirishdagi har bir tokenda soʻrov, kalit va u bilan bogʻliq qiymat mavjud. Har bir tokenning chiqish ko'rinishi qiymatlarning vaznli yig'indisini olish yo'li bilan hisoblanadi, bunda har bir qiymat uchun og'irlik so'rovga qanchalik mos kelishi bilan aniqlanadi.

Transformatorlar ushbu og'irliklarni hisoblash uchun o'lchovli nuqta mahsuloti deb ataladigan moslik funktsiyasidan foydalanadilar. Transformers-da e'tiborning qiziq tomoni shundaki, har bir token o'z hisoblash yo'lidan o'tadi, bu esa kirish ketma-ketligidagi barcha tokenlarni parallel hisoblash imkonini beradi. Bu oddiygina bir nechta diqqat bloklari bo'lib, ular har bir token uchun taqdimotlarni mustaqil ravishda hisoblab chiqadilar. Keyinchalik bu tasvirlar tokenning yakuniy tasvirini yaratish uchun birlashtiriladi.

Recurrent va kabi tarmoqlarning boshqa turlari bilan solishtirganda konvolyutsion tarmoqlar, diqqat qatlamlari bir nechta afzalliklarga ega. Ular hisoblash jihatidan samarali, ya'ni ular ma'lumotni tezda qayta ishlashlari mumkin. Ular, shuningdek, uzoq muddatli munosabatlarni ketma-ketlikda qo'lga kiritish uchun foydali bo'lgan yuqori ulanishga ega.

AIda nozik sozlangan modellar nima?

Asosiy modellar katta hajmdagi umumiy ma'lumotlarga o'rgatilgan kuchli modellardir. Keyin ularni kichikroq to'plamga o'rgatish orqali muayyan vazifalarga moslash yoki nozik sozlash mumkin maqsadli ma'lumotlar. tomonidan ommalashgan ushbu yondashuv BERT qog'ozi, til bilan bog'liq mashina o'rganish vazifalarida Transformerga asoslangan modellarning ustunligiga olib keldi.

BERT kabi modellarga kelsak, ular kirish tokenlarining ko'rinishlarini ishlab chiqaradilar, lekin o'zlari aniq vazifalarni bajarmaydilar. Ularni foydali qilish uchun qo'shimcha nerv qatlamlari tepaga qo'shiladi va model uchdan uchgacha o'rgatiladi, bu jarayon nozik sozlash deb nomlanadi. Biroq, bilan generativ modellar kabi GPT, yondashuv biroz boshqacha. GPT gapdagi keyingi soʻzni bashorat qilishga oʻrgatilgan dekoder tili modelidir. Katta hajmdagi veb-ma'lumotlarga o'rgatish orqali, GPT kirish so'rovlari yoki takliflari asosida oqilona natijalarni yaratishi mumkin.

qilish uchun GPT ko'proq foydali, OpenAI tadqiqotchilar ishlab chiqdilar Yo'riq beringGPT, bu inson ko'rsatmalariga rioya qilishga o'rgatilgan. Bunga nozik sozlash orqali erishiladi GPT turli vazifalardan inson tomonidan belgilangan ma'lumotlardan foydalanish. Ko'rsatma berishGPT keng ko'lamli vazifalarni bajarishga qodir va kabi mashhur dvigatellar tomonidan qo'llaniladi ChatGPT.

Nozik sozlash, shuningdek, optimallashtirilgan poydevor modellarining variantlarini yaratish uchun ham ishlatilishi mumkin aniq maqsadlar tilni modellashtirishdan tashqari. Masalan, matnni tasniflash va qidiruvni izlash kabi semantik bilan bog'liq vazifalar uchun nozik sozlangan modellar mavjud. Bundan tashqari, transformator enkoderlari ko'p vazifa doirasida muvaffaqiyatli sozlandi o'quv ramkalari bitta umumiy model yordamida bir nechta semantik vazifalarni bajarish.

Bugungi kunda nozik sozlash poydevor modellarining ko'p sonli foydalanuvchilar tomonidan ishlatilishi mumkin bo'lgan versiyalarini yaratish uchun ishlatiladi. Jarayon kirishga javoblarni yaratishni o'z ichiga oladi taklif qiladi va odamlar natijalarni tartiblaydi. Ushbu reyting a ni tayyorlash uchun ishlatiladi mukofot modeli, bu har bir chiqish uchun ballarni belgilaydi. Insoniy fikr-mulohazalar bilan ta'limni mustahkamlash Keyinchalik modelni o'rgatish uchun foydalaniladi.

Nima uchun Transformers AIning kelajagi?

Kuchli modelning bir turi bo'lgan transformatorlar birinchi marta til tarjimasi sohasida namoyish etilgan. Shu bilan birga, tadqiqotchilar Transformerlarni katta hajmdagi yorliqsiz matnga o'rgatish va keyin ularni kichikroq etiketli ma'lumotlar to'plamida nozik sozlash orqali tilga oid turli vazifalar uchun ishlatilishi mumkinligini tezda anglab yetdi. Ushbu yondashuv Transformerlarga til haqida muhim bilimlarni olish imkonini berdi.

Dastlab til vazifalari uchun mo'ljallangan Transformer arxitekturasi boshqa ilovalarga ham qo'llanilgan tasvirlarni yaratish, audio, musiqa va hatto harakatlar. Bu Transformerlarni jamiyatning turli tomonlarini o'zgartiradigan Generativ AI sohasidagi asosiy komponentga aylantirdi.

kabi vositalar va ramkalar mavjudligi PyTorch va TensorFlow Transformator modellarining keng qo'llanilishida hal qiluvchi rol o'ynadi. Huggingface kabi kompaniyalar o'zlarini qurdilar g'oya atrofidagi biznes Ochiq manbali Transformator kutubxonalarini va NVIDIA Hopper Tensor Cores kabi ixtisoslashtirilgan apparatlarni tijoratlashtirish ushbu modellarni o'qitish va xulosa chiqarish tezligini yanada tezlashtirdi.

Transformerlarning diqqatga sazovor ilovalaridan biri ChatGPT, tomonidan chiqarilgan chatbot OpenAI. U juda mashhur bo'lib, qisqa vaqt ichida millionlab foydalanuvchilarni qamrab oldi. OpenAI chiqarilishini ham e’lon qildi GPT-4, kabi vazifalarda insonga o'xshash ko'rsatkichlarga erishishga qodir kuchliroq versiya tibbiy va yuridik imtihonlar.

Transformatorlarning sun'iy intellekt sohasidagi ta'siri va ularning keng ko'lamli ilovalari shubhasizdir. Ularda .. Bor yo'lni o'zgartirdi biz til bilan bog'liq vazifalarga yaqinlashamiz va generativ AIda yangi yutuqlarga yo'l ochamiz.

Tayyorgarlikdan oldingi arxitekturaning 3 turi

Transformator arxitekturasi dastlab kodlovchi va dekoderdan iborat bo'lib, muayyan ehtiyojlarga asoslangan turli xil o'zgarishlarni o'z ichiga olgan holda rivojlandi. Keling, ushbu o'zgarishlarni oddiy so'zlar bilan ajratamiz.

1. Kodlovchini oldindan tayyorlash: Ushbu modellar to'liq jumlalarni yoki parchalarni tushunishga qaratilgan. Oldindan tayyorgarlik paytida kodlovchi kirish jumlasida niqoblangan tokenlarni qayta tiklash uchun ishlatiladi. Bu modelga umumiy kontekstni tushunishni o'rganishga yordam beradi. Bunday modellar matnni tasniflash, kiritish va ekstraktiv savollarga javob berish kabi vazifalar uchun foydalidir.
2. Dekoderni oldindan tayyorlash: Dekoder modellari oldingi tokenlar ketma-ketligi asosida keyingi tokenni yaratishga o'rgatilgan. Ular avto-regressiv til modellari sifatida tanilgan. Dekoderdagi o'z-o'ziga e'tibor qatlamlari faqat jumladagi berilgan tokendan oldin tokenlarga kirishi mumkin. Ushbu modellar matn yaratish bilan bog'liq vazifalar uchun idealdir.
3. Transformator (kodlovchi-dekoder) oldindan tayyorlash: Bu variatsiya ham kodlovchi, ham dekoder komponentlarini birlashtiradi. Kodlovchining o'z-o'ziga e'tibor qatlamlari barcha kirish tokenlariga kirishlari mumkin, dekoderning o'z-o'ziga e'tibor qatlamlari esa faqat ma'lum bir token oldidan tokenlarga kirishlari mumkin. Ushbu arxitektura dekoderga kodlovchi tomonidan o'rganilgan tasvirlardan foydalanish imkonini beradi. Kodlovchi-dekoder modellari umumlashtirish, tarjima yoki generativ savollarga javob berish kabi vazifalar uchun juda mos keladi.

Treningdan oldingi maqsadlar denoising yoki causal til modellashni o'z ichiga olishi mumkin. Bu maqsadlar kodlovchi-dekoder modellari uchun faqat kodlovchi yoki faqat dekoderli modellarga nisbatan murakkabroq. Transformator arxitekturasi modelning diqqat markaziga qarab turli xil o'zgarishlarga ega. To'liq jumlalarni tushunish, matn yaratish yoki ikkalasini turli vazifalar uchun birlashtirish bo'ladimi, Transformers til bilan bog'liq turli muammolarni hal qilishda moslashuvchanlikni taklif qiladi.

Oldindan tayyorlangan modellar uchun 8 turdagi topshiriqlar

Modelni o'rgatishda biz unga o'rganish uchun vazifa yoki maqsad berishimiz kerak. Tabiiy tilni qayta ishlashda (NLP) turli vazifalar mavjud bo'lib, ular modellarni oldindan tayyorlash uchun ishlatilishi mumkin. Keling, ushbu vazifalarning ba'zilarini oddiy so'zlar bilan ajratamiz:

1. Tilni modellashtirish (LM): Model jumladagi keyingi tokenni bashorat qiladi. U kontekstni tushunishni va izchil jumlalarni yaratishni o'rganadi.
2. Sababli tilni modellashtirish: Model keyingi tokenni matn ketma-ketligida chapdan o‘ngga tartib bilan bashorat qiladi. Bu bir vaqtning o'zida bitta so'zdan jumlalar yaratadigan hikoya qilish modeliga o'xshaydi.
3. Prefiks tilini modellashtirish: Model "prefiks" bo'limini asosiy ketma-ketlikdan ajratadi. U prefiks ichidagi har qanday tokenga qatnashishi mumkin va keyin ketma-ketlikning qolgan qismini avtoregressiv tarzda hosil qiladi.
4. Niqoblangan tilni modellashtirish (MLM): Kirish jumlalaridagi ba'zi tokenlar maskalanadi va model atrofdagi kontekstga asoslangan holda etishmayotgan tokenlarni bashorat qiladi. Bo'sh joylarni to'ldirishni o'rganadi.
5. Permuted Language Modeling (PLM): Model kirish ketma-ketligini tasodifiy almashtirish asosida keyingi tokenni bashorat qiladi. U tokenlarning turli buyurtmalarini boshqarishni o'rganadi.
6. Denoising Autoencoder (DAE): Model qisman buzilgan kirishni oladi va asl, buzilmagan kirishni tiklashga qaratilgan. U shovqin yoki matnning etishmayotgan qismlarini boshqarishni o'rganadi.
7. O'zgartirilgan tokenni aniqlash (RTD): Model tokenning asl matndan yoki yaratilgan versiyadan kelishini aniqlaydi. U almashtirilgan yoki manipulyatsiya qilingan tokenlarni aniqlashni o'rganadi.
8. Keyingi jumlani bashorat qilish (NSP): Model ikkita kirish jumlalari o'quv ma'lumotlaridan uzluksiz segmentlar yoki yo'qligini ajratishni o'rganadi. U gaplar orasidagi munosabatni tushunadi.

Ushbu vazifalar modelga tilning tuzilishi va ma'nosini o'rganishga yordam beradi. Ushbu vazifalar bo'yicha oldindan tayyorgarlik ko'rish orqali modellar muayyan ilovalar uchun sozlanishidan oldin tilni yaxshi tushunadilar.

AIdagi eng yaxshi 30+ transformatorlar

tez so'raladigan savollar

AIdagi transformatorlar bir turi chuqur o'rganish arxitekturasi bu tabiiy tilni qayta ishlash va boshqa vazifalarni o'zgartirdi. Ular jumladagi so'zlar orasidagi munosabatlarni aniqlash uchun o'z-o'ziga e'tibor berish mexanizmlaridan foydalanadilar, bu ularga insonga o'xshash matnni tushunish va yaratishga imkon beradi.

Koderlar va dekoderlar ketma-ketlik modellarida keng qo'llaniladigan komponentlardir. Kodlovchilar matn yoki tasvir kabi kirish maʼlumotlarini qayta ishlaydi va ularni siqilgan tasvirga aylantiradi, dekoderlar esa kodlangan koʻrinishga asoslangan chiqish maʼlumotlarini hosil qiladi, bu esa tilni tarjima qilish yoki tasvirga sarlavha qoʻyish kabi vazifalarni bajarish imkonini beradi.

Diqqat qatlamlari ishlatiladigan komponentlardir neyron tarmoqlari, ayniqsa Transformator modellarida. Ular modelga kirish ketma-ketligining turli qismlariga tanlab e'tibor qaratish, har bir elementga o'z ahamiyatiga qarab og'irliklarni belgilash, elementlar orasidagi bog'liqlik va munosabatlarni samarali aniqlash imkonini beradi.

Nozik sozlangan modellar ma'lum bir vazifa yoki ma'lumotlar to'plami bo'yicha ularning ishlashini yaxshilash va ularni ushbu vazifaning o'ziga xos talablariga moslashtirish uchun qo'shimcha o'qitilgan oldindan o'qitilgan modellarga ishora qiladi. Ushbu nozik sozlash jarayoni uning bashoratlarini optimallashtirish va maqsadli vazifaga ko'proq ixtisoslashgan qilish uchun model parametrlarini sozlashni o'z ichiga oladi.

Transformatorlar sun'iy intellektning kelajagi hisoblanadi, chunki ular tabiiy tilni qayta ishlash, tasvirni yaratish va boshqalarni o'z ichiga olgan keng ko'lamli vazifalarda ajoyib samaradorlikni namoyish etgan. Ularning uzoq muddatli bog'liqliklarni qo'lga kiritish va ketma-ket ma'lumotlarni samarali qayta ishlash qobiliyati ularni turli xil ilovalar uchun yuqori darajada moslashuvchan va samarali qiladi, generativ AI sohasidagi yutuqlarga yo'l ochadi va jamiyatning ko'p jihatlarini inqilob qiladi.

AIdagi eng mashhur transformator modellariga BERT (Transformatorlardan ikki tomonlama kodlovchi tasvirlari) kiradi. GPT (Generativ oldindan o'qitilgan transformator) va T5 (Matndan matnga uzatish transformatori). Ushbu modellar turli xil tabiiy tillarni qayta ishlash vazifalarida ajoyib natijalarga erishdi va AI tadqiqot hamjamiyatida sezilarli mashhurlikka erishdi.

AI haqida ko'proq o'qing:

• Texas universiteti: odamlarning ongini miya faoliyati dekoderi yordamida ochish mumkin
• Facebook sun'iy intellekt transformatorlarining samaradorligini ikki baravar oshirishning yangi usulini ishlab chiqdi
• GPT-4 Tasvirlar, hujjatlar, diagrammalar va skrinshotlar bo'yicha so'rovlaringizni ko'rib chiqa oladi

Muallif haqida

Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi. 

Boshqa maqolalar

Damir Yalolov

• 
• 

Damir Yalolov

Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi. 

• 

Boshqa maqolalar