XLM-V: En ny metod för flerspråkiga maskerade språkmodeller som försöker lösa problemet med ordförrådsflaskhals
I korthet
Artikeln tar upp följande problem: språkmodeller öka i parametrar, växa på djupet, men ordförrådet är fortfarande detsamma i storlek.
Forskare börjar träna en ny modell med 1 miljon tokens från vokabulären på ett oväntat sätt.
Forskarna var fast beslutna att se vilken typ av förbättring de kunde göra med en så betydande ökning av tokens.
Frågan som tagits upp av Artikeln med titeln "XLM-V: Att övervinna ordförrådets flaskhals i flerspråkiga maskerade språkmodeller" är att när språkmodellernas parametrar och djup ökar, förblir deras ordförrådsstorlek oförändrad. Till exempel har mT5-modellen 13B parametrar men en 250K-ords vokabulär som stöder mer än 100 språk. Således har varje språk cirka 2,500 XNUMX unika tokens, vilket uppenbarligen är ett mycket litet antal.
Vilka åtgärder vidtar författarna? De börjar träna en ny modell med 1 miljon tokens från vokabulären på ett oväntat sätt. XLM-R fanns tidigare, men med denna uppgradering kommer den att bli XLM-V. Författarna var fast beslutna att se vilken typ av förbättring de kunde göra med en så betydande ökning av tokens.
| Relaterad artikel: AI-modellutbildningskostnaderna förväntas stiga från 100 miljoner dollar till 500 miljoner dollar fram till 2030 |
Vad sägs om XLM-V är nytt som XLM-R inte gjorde?
Förbättringen Flerspråkiga modeller med Language-Clustered Vocabularies-metoden används för att konstruera lexikaliska representationsvektorer för varje språk enligt följande: för varje språk i uppsättningen språk utgör de en binär vektor, vars varje element är ett specifikt ord i språket. En indikerar att ordet finns med i språkets ordbok (du kan se en bild med en grafisk beskrivning i bilagorna.) Men genom att skapa en vektor som använder den negativa logaritmiska sannolikheten för förekomst av varje lexem, förbättrar författarna hur referenser görs .
- Vektorerna grupperas efter det. Dessutom tränas en meningsmodell på varje enskilt kluster för att stoppa överföringen av ordförråd mellan lexikalt orelaterade språk.
- ALP bedömer en ordboks förmåga att representera ett specifikt språk.
- Använder algoritmen för att skapa Ultralätt ordböcker är följande steg. som börjar med en stor initial ordbok och trimmar ner den stegvis tills antalet tokens är under en viss tröskel för ordboksstorlek.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
