XLM-V: mitmekeelsete maskeeritud keelemudelite uus meetod, mis püüab lahendada sõnavara kitsaskoha probleemi
Põgusalt
Artikkel tõstatab järgmise probleemi: keelemudelid parameetrite suurenemine, sügavuse suurenemine, kuid sõnavara on endiselt sama suur.
Teadlased hakkavad ootamatul viisil koolitama uut mudelit, mille sõnavarast on 1 miljon märki.
Teadlased olid otsustanud vaadata, milliseid parandusi nad saaksid märkide sellise olulise suurenemisega teha.
Küsimus, mille tõstatas artikkel Pealkirjaga "XLM-V: mitmekeelsete maskeeritud keelemudelite sõnavara pudelikaela ületamine" seisneb selles, et kui keelemudelite parameetrid ja sügavus suurenevad, jääb nende sõnavara suurus muutumatuks. Näiteks mudelil mT5 on 13B parameetrit, kuid 250 100 sõnast koosnev sõnavara, mis toetab enam kui 2,500 keelt. Seega on igal keelel ligikaudu XNUMX unikaalset märki, mis on ilmselgelt väga väike arv.
Milliseid meetmeid võtavad autorid? Nad hakkavad ootamatul viisil koolitama uut mudelit, mille sõnavarast on 1 miljon märki. XLM-R oli varem olemas, kuid selle uuendusega saab sellest XLM-V. Kirjanikud olid otsustanud vaadata, milliseid täiustusi nad saaksid märkide sellise olulise suurendamisega teha.
| Seotud artikkel: Tehisintellekti mudelite väljaõppe kulud tõusevad 100. aastaks 500 miljonilt dollarilt 2030 miljonile dollarile |
Aga XLM-V on uus, mida XLM-R ei teinud?
Paranemine Mitmekeelsed mudelid Language-Clustered Vocabularies meetodit kasutatakse leksikaalsete esitusvektorite konstrueerimiseks iga keele jaoks järgmiselt: iga keele jaoks keelte komplektis moodustavad need binaarvektori, mille iga element on keeles konkreetne sõna. Üks viitab sellele, et sõna sisaldub keele sõnastikus (manustes saate vaadata pilti koos graafilise kirjeldusega.) Kuid luues vektori, mis kasutab iga lekseemi negatiivset logaritmilist esinemise tõenäosust, täiustavad autorid viidete tegemist. .
- Vektorid rühmitatakse pärast seda. Lisaks koolitatakse iga konkreetse klastri kohta lauseosa mudelit, et peatada sõnavara ülekandmine leksikaalselt mitteseotud keelte vahel.
- ALP hindab sõnastiku võimet esindada konkreetset keelt.
- Algoritmi kasutamine loomiseks Ülikerge sõnaraamatud on järgmine samm. mis algab suure algsõnastikuga ja kärbib seda järk-järgult allapoole, kuni märkide arv jääb alla teatud sõnastiku suuruse läve.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
