XLM-V: So'z boyligi muammosini hal qilishga urinadigan ko'p tilli niqoblangan til modellarining yangi usuli
Qisqacha
Maqolada quyidagi muammo ko'tariladi: til modellari parametrlarni oshirish, chuqurlikda o'sish, lekin lug'at hajmi hali ham bir xil.
Tadqiqotchilar kutilmagan tarzda lug'atdan 1 million tokenga ega yangi modelni tayyorlashni boshlaydilar.
Tadqiqotchilar tokenlarning bunday sezilarli o'sishi bilan qanday yaxshilanishlarni ko'rishga qaror qilishdi.
tomonidan ko'tarilgan masala Maqola “XLM-V: Ko‘p tilli niqoblangan til modellarida lug‘at darbog‘ini yengish” deb nomlangan bo‘lib, til modellarining parametrlari va chuqurligi oshganda, ularning lug‘at hajmi o‘zgarishsiz qoladi. Misol uchun, mT5 modeli 13B parametrga ega, ammo 250 dan ortiq tillarni qo'llab-quvvatlaydigan 100K so'zli lug'atga ega. Shunday qilib, har bir tilda taxminan 2,500 ta noyob token mavjud, bu juda kichik raqam.
Mualliflar qanday choralar ko'radi? Ular kutilmagan tarzda lug'atdan 1 million token bilan yangi modelni o'rgatishni boshlaydilar. XLM-R ilgari mavjud edi, ammo bu yangilanish bilan u XLM-Vga aylanadi. Yozuvchilar tokenlarning bunday sezilarli o'sishi bilan qanday yaxshilanishlarni ko'rishga qaror qilishdi.
| O'xshash maqola: 100-yilga borib sunʼiy intellekt modelini oʻqitish xarajatlari 500 million dollardan 2030 million dollargacha oshishi kutilmoqda. |
XLM-V haqida nima deyish mumkin, XLM-R yangi emas?
Yaxshilash Ko'p tilli modellar Til-klasterli lug'atlar usuli bilan har bir til uchun leksik ifoda vektorlarini quyidagicha qurish uchun foydalaniladi: tillar to'plamidagi har bir til uchun ular ikkilik vektorni tashkil qiladi, ularning har bir elementi tildagi o'ziga xos so'zdir. Ulardan biri bu so‘z tilning lug‘atiga kiritilganligini bildiradi (siz qo‘shimchalarda grafik tavsifi bilan tasvirni ko‘rishingiz mumkin.) Biroq, har bir leksemaning paydo bo‘lishining manfiy logarifmik ehtimolidan foydalangan holda vektor yaratish orqali mualliflar murojaat qilish usullarini yaxshilaydilar. .
- Vektorlar shundan keyin guruhlanadi. Bundan tashqari, leksik jihatdan bir-biriga bog'liq bo'lmagan tillar o'rtasida lug'atning o'tkazilishini to'xtatish uchun har bir alohida klasterda jumla modeli o'qitiladi.
- ALP lug'atning ma'lum bir tilni ifodalash qobiliyatini baholaydi.
- Yaratish algoritmidan foydalanish Ultra yengil lug'atlar keyingi bosqichdir. Bu katta boshlang'ich lug'at bilan boshlanadi va tokenlar soni lug'at hajmi uchun ma'lum bir chegaradan past bo'lgunga qadar uni bosqichma-bosqich qisqartiradi.
AI haqida ko'proq o'qing:
Masʼuliyatdan voz kechish
Bunga javoban Ishonch loyihasi bo'yicha ko'rsatmalar, iltimos, ushbu sahifada taqdim etilgan ma'lumotlar yuridik, soliq, investitsiya, moliyaviy yoki boshqa har qanday maslahat shakli sifatida talqin qilinmasligi va talqin qilinmasligini unutmang. Faqat yo'qotishingiz mumkin bo'lgan narsaga investitsiya qilish va agar shubhangiz bo'lsa, mustaqil moliyaviy maslahat olish muhimdir. Qo'shimcha ma'lumot olish uchun biz shartlar va emitent yoki reklama beruvchi tomonidan taqdim etilgan yordam va qo'llab-quvvatlash sahifalariga murojaat qilishni tavsiya qilamiz. MetaversePost to'g'ri, xolis hisobot berish majburiyatini oladi, lekin bozor sharoitlari ogohlantirilmasdan o'zgarishi mumkin.
Muallif haqida
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
Boshqa maqolalar
Damir - guruh rahbari, mahsulot menejeri va muharrir Metaverse Post, AI/ML, AGI, LLMs, Metaverse va kabi mavzularni qamrab oladi Web3- tegishli sohalar. Uning maqolalari har oy milliondan ortiq foydalanuvchilarning katta auditoriyasini jalb qiladi. U SEO va raqamli marketing bo'yicha 10 yillik tajribaga ega mutaxassis bo'lib ko'rinadi. Damir haqida Mashable, Wired nashrlarida tilga olingan. Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto va boshqa nashrlar. U BAA, Turkiya, Rossiya va MDH davlatlari oʻrtasida raqamli koʻchmanchi sifatida sayohat qiladi. Damir fizika bo'yicha bakalavr darajasini oldi, uning fikricha, bu unga internetning doimiy o'zgaruvchan manzarasida muvaffaqiyatga erishish uchun zarur bo'lgan tanqidiy fikrlash qobiliyatlarini berdi.
