FLM-101B: Super stroškovno učinkovit jezikovni model v merilu 101B tekmuje z vodilnimi modeli AI
Na kratko
Kitajski LLM, LM-101B, je mogoče usposobiti s proračunom 100 $, pri čemer doseže zmogljivost, primerljivo z dobro znanimi modeli, kot je GPT-3 in GLM-130B.
Kitajski raziskovalci so predstavili nov LLM, FLM-101B, LLM samo za dekoder, ki se ponaša z osupljivo 101 milijardo parametrov. Ta razvoj zagotavlja stroškovno učinkovito alternativo tako za raziskave kot za praktično uporabo.
Kar FLM-101B izstopa, je njegova izjemna zmogljivost, dosežena z razmeroma skromnim proračunom. Medtem ko je dobro znano, da lahko usposabljanje LLM-jev iz nič zahteva astronomske naložbe, so ustvarjalci FLM-101B pokazali, da je mogoče usposobiti model s 101 milijardo parametrov z uporabo samo 100 $ proračuna.
Eksperimentalni rezultati niso nič manj kot impresivni. FLM-101B je pokazal raven zmogljivosti, ki je primerljiva z uveljavljenimi in zahteva veliko virov modeli kot GPT-3 in GLM-130B. Ta primerjava poudarja izjemen potencial tega stroškovno učinkovitega modela, zlasti na merilih IQ s kompleksnimi konteksti, ki niso prisotni v podatkih o usposabljanju.
Ustvarjalci FLM-101B so ta model naredili odprtokodnim, s potezo, ki poudarja njihovo zavezanost napredovanju raziskav in razvoja umetne inteligence. Raziskovalci in razvijalci po vsem svetu lahko zdaj dostopajo in uporabljajo ta LLM na lestvici 101B za različne aplikacije, ki zajemajo tako kitajski kot angleški jezik.
Model FLM-101B uporablja edinstven pristop k usposabljanju. Hitro zbira znanje iz manjšega modela s 16 milijardami parametrov v začetnih fazah usposabljanja in postopoma povečuje do 101 milijarde parametrov. Ta postopni pristop bistveno zmanjša stroške usposabljanja, zaradi česar je finančno izvedljiv za širši nabor projektov.
Ena izjemna značilnost FLM-101B je njegova podpora za učinkovito razširitev velikosti okna med sklepanjem. To je doseženo z uporabo vdelave vrtljivega položaja xPos, ki modelu omogoča obvladovanje širšega konteksta, kar izboljša njegovo prilagodljivost in uporabnost.
FLM-101B je bil usposobljen na gruči 24 strežnikov GPU DGX-A800 v manj kot 26 dneh. Ta impresiven dosežek poudarja razširljivost modela in učinkovito uporabo virov. Kodna baza za usposabljanje modela, prilagojena iz Megatron-LM, bo kmalu na voljo kot odprtokodna in bo skupnosti AI zagotavljala dragocene vpoglede.
Ustvarjalci FLM-101B priznavajo morebitne omejitve, vključno z izpostavljenostjo modela nevarnim primerom v učnem korpusu zaradi odprte narave nabora podatkov. To opozorilo služi kot opomnik o pomembnosti odgovorne uporabe AI in moderiranje vsebine.
Medtem ko je FLM-101B dosegel izjemne rezultate, ustvarjalci priznavajo področja za izboljšave. Postopek sklepanja modela, čeprav je zmogljiv, še ni popolnoma optimiziran, kar vodi do večje porabe virov in zmanjšane hitrosti. Vendar so v teku načrti za uvedbo Flash Attention v sklepanje, ki obravnava to omejitev.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
