XLM-V: Isang Bagong Paraan ng Multilingual Masked Language Models na Nagsisikap na Tugunan ang Problema ng Bottleneck ng Bokabularyo
Sa madaling sabi
Itinaas ng artikulo ang sumusunod na problema: mga modelo ng wika pagtaas ng mga parameter, lumalaki nang malalim, ngunit ang bokabularyo ay pareho pa rin sa laki.
Sinimulan ng mga mananaliksik ang pagsasanay ng bagong modelo na may 1 milyong token mula sa bokabularyo sa hindi inaasahang paraan.
Ang mga mananaliksik ay determinado na makita kung anong uri ng pagpapabuti ang maaari nilang gawin sa ganoong malaking pagtaas sa mga token.
Ang isyung itinaas ng artikulo pinamagatang “XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models” ay kapag tumaas ang mga parameter at lalim ng mga modelo ng wika, nananatiling hindi nagbabago ang mga sukat ng kanilang bokabularyo. Halimbawa, ang modelo ng mT5 ay may 13B na mga parameter ngunit isang 250K-salitang bokabularyo na sumusuporta sa higit sa 100 mga wika. Kaya, ang bawat wika ay may humigit-kumulang 2,500 natatanging mga token, na malinaw na napakaliit na bilang.
Anong aksyon ang ginagawa ng mga may-akda? Nagsisimula silang magsanay ng bagong modelo na may 1 milyong token mula sa bokabularyo sa hindi inaasahang paraan. Ang XLM-R ay dati nang umiral, gayunpaman, sa pag-upgrade na ito, ito ay magiging XLM-V. Ang mga manunulat ay determinado na makita kung anong uri ng pagpapabuti ang maaari nilang gawin sa isang makabuluhang pagtaas sa mga token.
| Kaugnay na artikulo: Ang Mga Gastos sa Pagsasanay ng Modelo ng AI ay Inaasahang Tataas mula $100 Milyon hanggang $500 Milyon pagdating ng 2030 |
Paano ang XLM-V ay bago na hindi ginawa ng XLM-R?
Ang Pagpapabuti Mga Modelong Multilingguwal gamit ang Language-Clustered Vocabularies method ay ginagamit upang bumuo ng lexical representation vectors para sa bawat wika tulad ng sumusunod: para sa bawat wika sa hanay ng mga wika, bumubuo sila ng binary vector, bawat elemento nito ay isang partikular na salita sa wika. Ang isa ay nagpapahiwatig na ang salita ay kasama sa diksyunaryo ng wika (maaari mong tingnan ang isang imahe na may isang graphic na paglalarawan sa mga attachment.) Gayunpaman, sa pamamagitan ng paglikha ng isang vector na gumagamit ng negatibong logarithmic na posibilidad ng paglitaw ng bawat lexeme, pinapahusay ng mga may-akda kung paano ginagawa ang mga sanggunian .
- Ang mga vector ay pinagsama-sama pagkatapos nito. Bilang karagdagan, ang isang modelo ng sentencepiece ay sinanay sa bawat partikular na cluster upang ihinto ang paglilipat ng bokabularyo sa pagitan ng mga leksikal na hindi nauugnay na mga wika.
- Tinatasa ng ALP ang kapasidad ng diksyunaryo na kumatawan sa isang partikular na wika.
- Paggamit ng algorithm para sa paglikha Ulm ang mga diksyunaryo ay ang sumusunod na hakbang. na nagsisimula sa isang malaking paunang diksyunaryo at unti-unting pinuputol ito hanggang ang bilang ng mga token ay mas mababa sa isang tiyak na threshold para sa laki ng diksyunaryo.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
