XLM-V: O nouă metodă de modele de limbi mascate multilingve care încearcă să abordeze problema blocajului vocabularului
Pe scurt
Articolul ridică următoarea problemă: modele de limbaj creșterea parametrilor, creșterea în profunzime, dar vocabularul este în continuare același ca mărime.
Cercetătorii încep să antreneze un nou model cu 1 milion de jetoane din vocabular într-un mod neașteptat.
Cercetătorii au fost hotărâți să vadă ce fel de îmbunătățire ar putea face cu o creștere atât de semnificativă a jetoanelor.
Problema ridicată de articol intitulat „XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models” este că atunci când parametrii și adâncimea modelelor lingvistice cresc, dimensiunile vocabularului lor rămân neschimbate. De exemplu, modelul mT5 are 13B parametri, dar un vocabular de 250 de cuvinte care acceptă mai mult de 100 de limbi. Astfel, fiecare limbă are aproximativ 2,500 de jetoane unice, ceea ce este, evident, un număr foarte mic.
Ce măsuri întreprind autorii? Încep să antreneze un model nou cu 1 milion de jetoane din vocabular într-un mod neașteptat. XLM-R a existat anterior, însă, odată cu acest upgrade, va deveni XLM-V. Scriitorii au fost hotărâți să vadă ce fel de îmbunătățire ar putea face cu o creștere atât de semnificativă a jetoanelor.
| Articol asociat: Se preconizează că costurile de formare a modelelor AI vor crește de la 100 de milioane de dolari la 500 de milioane de dolari până în 2030 |
Dar XLM-V este nou și XLM-R nu?
Îmbunătățirea Modele multilingve cu metoda Language-Clustered Vocabularies este folosită pentru a construi vectori de reprezentare lexicală pentru fiecare limbă astfel: pentru fiecare limbă din setul de limbi, aceștia alcătuiesc un vector binar, fiecare element fiind un cuvânt specific în limbaj. Unul indică faptul că cuvântul este inclus în dicționarul limbii (puteți vizualiza o imagine cu o descriere grafică în atașamente.) Cu toate acestea, prin crearea unui vector care utilizează probabilitatea logaritmică negativă de apariție a fiecărui lexem, autorii îmbunătățesc modul în care sunt făcute referințele. .
- Vectorii sunt grupați după aceea. În plus, un model de propoziție este antrenat pe fiecare grup particular pentru a opri transferul de vocabular între limbi care nu au legătură lexical.
- ALP evaluează capacitatea unui dicționar de a reprezenta o anumită limbă.
- Utilizarea algoritmului de creare Ultralight dicționarele este următorul pas. care începe cu un dicționar inițial mare și îl reduce treptat până când numărul de jetoane este sub un anumit prag pentru dimensiunea dicționarului.
Citiți mai multe despre AI:
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
Mai multe articole
Damir este liderul echipei, manager de produs și editor la Metaverse Post, care acoperă subiecte precum AI/ML, AGI, LLM-uri, Metaverse și Web3-domenii conexe. Articolele sale atrag o audiență masivă de peste un milion de utilizatori în fiecare lună. El pare a fi un expert cu 10 ani de experiență în SEO și marketing digital. Damir a fost menționat în Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto și alte publicații. Călătorește între Emiratele Arabe Unite, Turcia, Rusia și CSI ca nomad digital. Damir a obținut o diplomă de licență în fizică, despre care crede că i-a oferit abilitățile de gândire critică necesare pentru a avea succes în peisajul în continuă schimbare al internetului.
