XLM-V: En ny metode til flersprogede maskerede sprogmodeller, der forsøger at løse problemet med flaskehals i ordforråd
Kort sagt
Artiklen rejser følgende problem: sprogmodeller stigning i parametre, vokse i dybden, men ordforrådet er stadig det samme i størrelse.
Forskere begynder at træne en ny model med 1 million tokens fra ordforrådet på en uventet måde.
Forskerne var fast besluttet på at se, hvilken slags forbedring de kunne gøre med en så betydelig stigning i tokens.
Spørgsmålet rejst af artikel med titlen "XLM-V: Overcoming the Vocabulary Bottneck in Multilingual Masked Language Models" er, at når sprogmodellernes parametre og dybde øges, forbliver deres ordforrådsstørrelser uændrede. For eksempel har mT5-modellen 13B parametre, men et 250K-ord ordforråd, der understøtter mere end 100 sprog. Hvert sprog har således cirka 2,500 unikke tokens, hvilket naturligvis er et meget lille antal.
Hvad gør forfatterne? De begynder at træne en ny model med 1 million tokens fra ordforrådet på en uventet måde. XLM-R eksisterede tidligere, men med denne opgradering bliver den til XLM-V. Forfatterne var fast besluttede på at se, hvilken slags forbedring de kunne gøre med en så betydelig stigning i tokens.
| Relateret artikel: Uddannelsesomkostninger for AI-modeller forventes at stige fra $100 millioner til $500 millioner i 2030 |
Hvad med XLM-V er nyt, som XLM-R ikke gjorde?
Den Forbedring Flersprogede modeller med Language-Clustered Vocabularies metoden bruges til at konstruere leksikalske repræsentationsvektorer for hvert sprog som følger: for hvert sprog i sættet af sprog udgør de en binær vektor, hvor hvert element er et specifikt ord i sproget. Den ene angiver, at ordet er inkluderet i sprogets ordbog (du kan se et billede med en grafisk beskrivelse i de vedhæftede filer). Men ved at skabe en vektor, der udnytter den negative logaritmiske sandsynlighed for forekomst af hvert leksem, forbedrer forfatterne, hvordan referencer laves .
- Vektorerne grupperes derefter. Derudover trænes en sætningsmodel på hver bestemt klynge for at stoppe overførslen af ordforråd mellem leksikalsk ikke-relaterede sprog.
- ALP vurderer en ordbogs evne til at repræsentere et bestemt sprog.
- Brug af algoritmen til at skabe Ultralet ordbøger er det følgende trin. som begynder med en stor indledende ordbog og trimmer den trinvist ned, indtil antallet af tokens er under en vis tærskel for ordbogsstørrelse.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
