XLM-V: naujas daugiakalbių maskuotų kalbų modelių metodas, kuriuo bandoma išspręsti žodyno kliūties problemą
Trumpai
Straipsnyje iškeliama tokia problema: kalbos modeliai parametrų padidėjimas, gylis, bet žodynas vis tiek yra tokio pat dydžio.
Tyrėjai netikėtu būdu pradeda mokyti naują modelį su 1 milijonu žetonų iš žodyno.
Tyrėjai buvo pasiryžę išsiaiškinti, kokius patobulinimus jie galėtų padaryti taip žymiai padidinę žetonų skaičių.
Problema, kurią iškėlė straipsnis „XLM-V: žodyno kliūties įveikimas daugiakalbiuose maskuotų kalbų modeliuose“ reiškia, kad kai kalbos modelių parametrai ir gylis didėja, jų žodyno dydis nesikeičia. Pavyzdžiui, mT5 modelis turi 13B parametrų, bet 250 100 žodžių žodyną, kuris palaiko daugiau nei 2,500 kalbų. Taigi kiekviena kalba turi maždaug XNUMX unikalių žetonų, o tai akivaizdžiai yra labai mažas skaičius.
Kokių veiksmų imasi autoriai? Jie netikėtu būdu pradeda mokyti naują modelį su 1 milijonu žetonų iš žodyno. XLM-R egzistavo anksčiau, tačiau su šiuo atnaujinimu jis taps XLM-V. Rašytojai buvo pasiryžę pažiūrėti, kokį patobulinimą jie galėtų padaryti taip žymiai padidinę žetonų skaičių.
| Susijęs straipsnis: Tikimasi, kad dirbtinio intelekto modelio mokymo išlaidos iki 100 m. padidės nuo 500 mln. iki 2030 mln. |
O kaip XLM-V yra naujas, kurio XLM-R nedarė?
Tobulėjimas Daugiakalbiai modeliai su Language-Clustered Vocabularies metodas naudojamas kiekvienos kalbos leksiniams vaizdavimo vektoriams sudaryti taip: kiekvienai kalbų rinkinio kalbai jie sudaro dvejetainį vektorių, kurio kiekvienas elementas yra konkretus kalbos žodis. Vienas rodo, kad žodis įtrauktas į kalbos žodyną (vaizdą su grafiniu aprašymu galite peržiūrėti prieduose). Tačiau sukūrę vektorių, panaudojant neigiamą logaritminę kiekvienos leksemos atsiradimo tikimybę, autoriai pagerina nuorodų sudarymą. .
- Po to vektoriai grupuojami. Be to, kiekviename konkrečiame klasteryje apmokomas sakinio modelis, kad būtų sustabdytas žodyno perkėlimas tarp leksiškai nesusijusių kalbų.
- ALP įvertina žodyno gebėjimą reprezentuoti konkrečią kalbą.
- Sukūrimo algoritmo naudojimas Ultralengvas žodynai yra toks žingsnis. kuris prasideda dideliu pradiniu žodynu ir palaipsniui jį mažina, kol žetonų skaičius nesiekia tam tikros žodyno dydžio ribos.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
