Facebook sun'iy intellekt transformatorlarining samaradorligini ikki baravar oshirishning yangi usulini ishlab chiqdi

Ushbu maqolani baham ko'ring

• 
• 
• 
• 
• 

by Damir Yalolov

Nashr qilingan: 15 yil 2023 mart soat 4:00 Yangilangan: 15 yil 2023 mart soat 4:00

Mahalliy tildagi tajribangizni yaxshilash uchun ba'zida biz avtomatik tarjima plaginidan foydalanamiz. Avtomatik tarjima aniq boʻlmasligi mumkin, shuning uchun oʻqing original aniq ma'lumot uchun maqola.

Facebook ishlab chiqdi yangi usul AI transformatorlarining ishlashini ikki baravar oshirish uchun. Usul shunday transformator arxitekturasiga asoslangan va maxsus kitoblar, maqolalar va bloglar kabi uzun shakldagi matnlar uchun mo'ljallangan. Yangi AI transformatorining maqsadi ish faoliyatini yaxshilashdir transformatorga asoslangan modellar uzun shaklli matnda ularni uzoq ketma-ketliklarni boshqarishda samaraliroq va samaraliroq qilish orqali. AI transformatorining natijalari juda istiqbolli va bu yangi usul turli xil vazifalarda transformatorga asoslangan modellarning ishlashini yaxshilashga yordam berish imkoniyatiga ega.

Ushbu yangi usul tilni tarjima qilish, umumlashtirish va savol-javob tizimlari kabi tabiiy tilni qayta ishlash vazifalariga sezilarli ta'sir ko'rsatishi kutilmoqda. Bundan tashqari, uzoqroq va murakkabroq matnlarni boshqarishga qodir bo'lgan yanada murakkab AI modellarini ishlab chiqishga olib kelishi kutilmoqda.

Tasvirni qayta ishlash uchun zamonaviy transformatorlar uni yamoqlarga (odatda kvadratchalar: quyidagi gifga qarang) kesib tashlaydi va keyin har biri "token" bilan ifodalangan ushbu zarrachalarning tasvirlari ustida ishlaydi. Transformatorlar, biz bilganimizdek, bu token qismlari qancha ko'p bo'lsa, sekinroq ishlaydi (bu matnlarga ham, tasvirlarga ham tegishli) va eng keng tarqalgan transformator kvadratik munosabatlarga ega. Ya'ni, ko'proq tokenlar qo'shilsa, ishlov berish sekinlashadi. Ushbu muammoni hal qilish uchun tadqiqotchilar tasvirni qayta ishlash uchun zarur bo'lgan tokenlar sonini kamaytirish uchun turli usullarni taklif qilishdi, masalan, ierarxik va moslashuvchan birlashma. Ushbu usullar ishlab chiqarish sifatini saqlab qolish va hisoblash xarajatlarini minimallashtirishga qaratilgan.

Yangi usul turli bloklarni qayta ishlash orasidagi bo'shliqlarda eng o'xshash yamoqlarni topadi va hisoblash murakkabligini kamaytirish uchun ularni birlashtiradi. Birlashtirilgan tokenlarning ulushi giperparametrdir; qanchalik baland bo'lsa, sifat shunchalik past bo'ladi, lekin tezlashuv ham shunchalik yuqori bo'ladi. Tajribalar shuni ko'rsatadiki, 40-0.1% sifat yo'qotilishi bilan tokenlarning taxminan 0.4% ni birlashtirish va ikki marta tezlashtirishga erishish mumkin (shunday qilib, kamroq xotira sarflanadi). Ushbu yangi usul tasvirni qayta ishlashning hisoblash murakkabligini kamaytirish uchun istiqbolli yechim bo'lib, yakuniy mahsulot sifatiga putur etkazmasdan tezroq va samaraliroq ishlov berishga imkon beradi.

Aqllilik va biror narsaning qanday ishlashini tushunishga asoslangan bunday muhandislik yondashuvlari juda jozibali ko'rinadi. Bundan tashqari, Meta-ning ishlab chiquvchilari StableDiffusion-ga ko'proq narsalarni olib kelishga va'da berishadi, bu erda ham ishlarni tezlashtirish. Ajoyib, chunki transformatorlar hamma joyda mavjud, shuning uchun bunday fokuslar tezda keng turdagi modellarda amalga oshirilishi mumkin. Bu muhandislik yechimlarining turli sohalarda keng ta'sir ko'rsatishi potentsialini ko'rsatadi. Ushbu yutuqlar qanday bo'lishini ko'rish qiziq transformator modellari vaqt o'tishi bilan rivojlanishda va takomillashishda davom etadi.

• Meta AI va Paperswithcode Ilmiy matnlar bo'yicha o'qitilgan Galactica birinchi 120B modelini chiqardi, bu esa aniqroq va tezroq bashorat qilish imkonini beradi. Galactica-ning maqsadi tadqiqotchilarga muhimni ahamiyatsizdan ajratishga yordam berishdir.

Batafsil tegishli yangiliklarni o'qing:

• Meta tibbiy tadqiqotlarga, avatarlarni yangilashga yordam beradigan yangi sun'iy intellekt platformasini yaratadi
• Koinotdagi aql miqdori har 18 oyda ikki barobar ortadi, deydi Sem Altman
• Meta Ethereum va Polygon bilan tajriba o'tkazmoqda NFTs Facebookda 

Muallif haqida

Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi. 

Boshqa maqolalar

Damir Yalolov

• 
• 

Damir Yalolov

Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi. 

• 

Boshqa maqolalar