XLM-V: Lüğət darboğazı problemini həll etməyə çalışan çoxdilli maskalı dil modellərinin yeni metodu
Qısaca
Məqalə aşağıdakı problemi qaldırır: dil modelləri parametrlərdə artım, dərinlikdə böyüyür, lakin lüğət hələ də ölçüdə eynidir.
Tədqiqatçılar gözlənilməz bir şəkildə lüğətdən 1 milyon jetonla yeni bir model hazırlamağa başlayırlar.
Tədqiqatçılar tokenlərdə bu qədər əhəmiyyətli artımla hansı təkmilləşdirməyə nail ola biləcəklərini görməyə qərar verdilər.
tərəfindən qaldırılan məsələ məqalə “XLM-V: Çoxdilli Maskalı Dil Modellərində Lüğət Darboğazının aradan qaldırılması” başlığı ilə qeyd olunur ki, dil modellərinin parametrləri və dərinliyi artdıqca onların lüğət ölçüləri dəyişməz qalır. Məsələn, mT5 modelinin 13B parametrləri var, lakin 250-dən çox dili dəstəkləyən 100K sözlük lüğət var. Beləliklə, hər bir dildə təxminən 2,500 unikal əlamət var ki, bu da çox kiçik rəqəmdir.
Müəlliflər hansı tədbirləri görürlər? Onlar gözlənilməz bir şəkildə lüğətdən 1 milyon jetonla yeni model hazırlamağa başlayırlar. XLM-R əvvəllər mövcud idi, lakin bu təkmilləşdirmə ilə XLM-V olacaq. Yazıçılar, tokenlərdə bu qədər əhəmiyyətli artımla hansı təkmilləşdirməyə nail ola biləcəklərini görməyə qərarlı idilər.
| Əlaqədar məqalə: 100-cu ilə qədər süni intellekt modelinin təlim xərclərinin 500 milyon dollardan 2030 milyon dollara yüksələcəyi gözlənilir |
XLM-R-nin etmədiyi yeni XLM-V haqqında nə demək olar?
Təkmilləşdirmə Çoxdilli Modellər ilə Language-Clustered Vocabularies metodu hər bir dil üçün leksik təmsil vektorlarını aşağıdakı kimi qurmaq üçün istifadə olunur: dillər toplusunda hər bir dil üçün onlar ikili vektor təşkil edir, hər bir elementi dildə konkret sözdür. Biri sözün dilin lüğətinə daxil olduğunu göstərir (əlavələrdə qrafik təsviri olan şəkilə baxa bilərsiniz.) Bununla belə, hər bir leksemin baş verməsinin mənfi loqarifmik ehtimalından istifadə edərək vektor yaratmaqla müəlliflər istinadların necə edildiyini artırırlar. .
- Bundan sonra vektorlar qruplaşdırılır. Bundan əlavə, leksik cəhətdən əlaqəsi olmayan dillər arasında lüğətin ötürülməsini dayandırmaq üçün hər bir xüsusi klasterdə bir cümlə modeli hazırlanır.
- ALP lüğətin müəyyən bir dili təmsil etmək qabiliyyətini qiymətləndirir.
- Yaratmaq üçün alqoritmdən istifadə ULM lüğətlər aşağıdakı addımdır. böyük ilkin lüğətlə başlayır və tokenlərin sayı lüğət ölçüsü üçün müəyyən hədddən aşağı olana qədər onu tədricən azaldır.
AI haqqında daha çox oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
