XLM-V: Uusi menetelmä monikielisille naamiokielimalleille, joka yrittää ratkaista sanaston pullonkaulaongelman
Lyhyesti
Artikkeli herättää seuraavan ongelman: kielimalleja parametrien kasvu, syvyys kasvaa, mutta sanasto on silti samankokoinen.
Tutkijat alkavat kouluttaa uutta mallia, jossa on miljoona sanastoa odottamattomalla tavalla.
Tutkijat päättivät nähdä, millaista parannusta he voisivat tehdä niin merkittävällä rahakkeiden lisäyksellä.
Ongelma, jonka esitti artikkeli "XLM-V: Sanaston pullonkaulan voittaminen monikielisissä naamioituneissa kielimalleissa" on se, että kun kielimallien parametrit ja syvyys kasvavat, niiden sanaston koko pysyy ennallaan. Esimerkiksi mT5-mallissa on 13B parametreja, mutta 250 100 sanan sanasto, joka tukee yli 2,500 kieltä. Jokaisella kielellä on siis noin XNUMX XNUMX yksilöllistä merkkiä, mikä on ilmeisesti hyvin pieni määrä.
Mihin toimiin kirjoittajat ryhtyvät? He alkavat kouluttaa uutta mallia, jossa on 1 miljoona sanastoa odottamattomalla tavalla. XLM-R oli olemassa aiemmin, mutta tämän päivityksen myötä siitä tulee XLM-V. Kirjoittajat olivat päättäneet nähdä, millaisia parannuksia he voisivat tehdä niin merkittävällä rahakkeiden lisäyksellä.
| Aiheeseen liittyvä artikkeli: Tekoälymallin koulutuskustannusten odotetaan nousevan 100 miljoonasta 500 miljoonaan dollariin vuoteen 2030 mennessä |
Entä XLM-V on uusi, jota XLM-R ei tehnyt?
Paraneminen Monikieliset mallit Language-Clustered Vocabularies -menetelmää käytetään leksikaalisten esitysvektorien rakentamiseen kullekin kielelle seuraavasti: jokaiselle kielijoukon kielelle ne muodostavat binäärivektorin, jonka jokainen elementti on tietty sana kielessä. Yksi osoittaa, että sana on sisällytetty kielen sanakirjaan (voit tarkastella kuvaa graafisella kuvauksella liitteissä.) Kuitenkin luomalla vektorin, joka hyödyntää kunkin lekseemin negatiivista logaritmista esiintymistodennäköisyyttä, kirjoittajat parantavat viittausten tekemistä. .
- Vektorit ryhmitellään tämän jälkeen. Lisäksi jokaisessa klusterissa opetetaan lausekappalemalli, joka estää sanaston siirron leksiaalisesti toisiinsa liittymättömien kielten välillä.
- ALP arvioi sanakirjan kyvyn edustaa tiettyä kieltä.
- Algoritmin käyttäminen luomiseen Ulm sanakirjat on seuraava vaihe. joka alkaa suurella alkusanakirjalla ja leikkaa sitä asteittain alaspäin, kunnes merkkien määrä on alle tietyn sanakirjan koon kynnyksen.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
