КСЛМ-В: Нови метод вишејезичних маскираних језичких модела који покушава да реши проблем уског грла речника
Укратко
Чланак покреће следећи проблем: језички модели повећање параметара, раст у дубину, али је речник и даље исте величине.
Истраживачи почињу да обучавају нови модел са милион токена из речника на неочекиван начин.
Истраживачи су били одлучни да виде какву врсту побољшања могу направити са тако значајним повећањем токена.
Питање које је покренуо чланак под насловом „КСЛМ-В: Превазилажење уског грла речника у вишејезичним маскираним језичким моделима“ је да када се параметри језичких модела и дубина повећају, њихове величине речника остају непромењене. На пример, мТ5 модел има 13Б параметара, али речник од 250 речи који подржава више од 100 језика. Дакле, сваки језик има приближно 2,500 јединствених токена, што је очигледно веома мали број.
Коју акцију предузимају аутори? Почињу да обучавају нови модел са милион токена из речника на неочекиван начин. КСЛМ-Р је раније постојао, међутим, са овом надоградњом, постаће КСЛМ-В. Писци су били одлучни да виде какву врсту побољшања могу направити са тако значајним повећањем токена.
| Повезани чланак: Очекује се да ће трошкови обуке АИ модела порасти са 100 милиона долара на 500 милиона долара до 2030. |
Шта је са новим КСЛМ-В који КСЛМ-Р није?
Тхе Импровинг Вишејезични модели витх Лангуаге-Цлустеред Воцабулариес метода се користи за конструисање вектора лексичке репрезентације за сваки језик на следећи начин: за сваки језик у скупу језика они чине бинарни вектор, чији је сваки елемент специфична реч у језику. Један указује на то да је реч укључена у речник језика (слику са графичким описом можете погледати у прилозима.) Међутим, креирањем вектора који користи негативну логаритамску вероватноћу појављивања сваке лексеме, аутори побољшавају начин на који се референце праве .
- После тога се вектори групишу. Поред тога, модел реченичног дела се обучава на сваком одређеном кластеру како би се зауставио пренос речника између лексички неповезаних језика.
- АЛП процењује способност речника да представља одређени језик.
- Користећи алгоритам за креирање УЛМ речници је следећи корак. који почиње великим почетним речником и постепено га скраћује све док број токена не буде испод одређеног прага за величину речника.
Прочитајте више о АИ:
Одрицање од одговорности
У складу са Смернице пројекта Труст, имајте на уму да информације дате на овој страници нису намењене и не треба да се тумаче као правни, порески, инвестициони, финансијски или било који други облик савета. Важно је да инвестирате само оно што можете приуштити да изгубите и да тражите независан финансијски савет ако сумњате. За додатне информације, предлажемо да погледате одредбе и услове, као и странице помоћи и подршке које пружа издавач или оглашивач. MetaversePost је посвећен тачном, непристрасном извештавању, али тржишни услови су подложни променама без претходне најаве.
О аутору
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
više чланака
Дамир је вођа тима, менаџер производа и уредник у Metaverse Post, покривајући теме као што су АИ/МЛ, АГИ, ЛЛМ, Метаверсе и Web3-сродна поља. Његови чланци привлаче огромну публику од преко милион корисника сваког месеца. Чини се да је стручњак са 10 година искуства у СЕО и дигиталном маркетингу. Дамир се помиње у Масхабле, Виред, Cointelegraph, Тхе Нев Иоркер, Инсиде.цом, Ентрепренеур, БеИнЦрипто и друге публикације. Путује између УАЕ, Турске, Русије и ЗНД као дигитални номад. Дамир је стекао диплому физике, за коју верује да му је дало вештине критичког размишљања које су му потребне да буде успешан у свету интернета који се стално мења.
