FLM-101B: īpaši rentabls 101B mēroga valodas modelis konkurē ar vadošajiem mākslīgā intelekta modeļiem
Īsumā
Ķīniešu LLM, LM-101B, var apmācīt ar 100 XNUMX USD budžetu, nodrošinot veiktspēju, kas ir salīdzināma ar labi zināmiem modeļiem, piemēram, GPT-3 un GLM-130B.
Ķīniešu pētnieki ir atklājuši jaunu LLM, FLM-101B, tikai dekodētājam paredzēta LLM, kas lepojas ar ievērojamu 101 miljardu parametru. Šī izstrāde nodrošina rentablu alternatīvu gan pētniecībai, gan praktiskiem lietojumiem.
FLM-101B izceļas ar tā izcilo veiktspēju, kas sasniegta ar salīdzinoši pieticīgu budžetu. Lai gan ir labi zināms, ka LLM apmācība no nulles var prasīt astronomiskus ieguldījumus, FLM-101B veidotāji ir parādījuši, ka ir iespējams apmācīt modeli ar 101 miljardu parametru, izmantojot tikai 100 XNUMX USD budžetu.
Eksperimenta rezultāti nav nekas cits kā iespaidīgs. FLM-101B ir demonstrējis veiktspējas līmeni, kas ir salīdzināms ar pastāvīgo un resursu ietilpīgo modeļi patīk GPT-3 un GLM-130B. Šis salīdzinājums izceļ šī rentablā modeļa milzīgo potenciālu, jo īpaši IQ etalonos ar sarežģītiem kontekstiem, kas nav iekļauti apmācības datos.
FLM-101B veidotāji ir padarījuši šo modeli par atvērtā pirmkoda darbību, kas apliecina viņu apņemšanos veicināt mākslīgā intelekta pētniecību un izstrādi. Pētnieki un izstrādātāji visā pasaulē tagad var piekļūt un izmantot šo 101B mēroga LLM dažādām lietojumprogrammām, kas aptver gan ķīniešu, gan angļu valodu.
FLM-101B modelī tiek izmantota unikāla apmācības pieeja. Tas ātri uzkrāj zināšanas no mazāka 16 miljardu parametru modeļa apmācības sākumposmā un pakāpeniski palielina līdz 101 miljardam parametru. Šī pakāpeniskā pieeja ievērojami samazina apmācības izmaksas, padarot to finansiāli iespējamu plašākam projektu lokam.
Viena no FLM-101B izcilajām iezīmēm ir tā atbalsts efektīvai loga izmēra paplašināšanai secinājumu veikšanas laikā. Tas tiek panākts, izmantojot xPos rotācijas pozīcijas iegulšanu, ļaujot modelim rīkoties plašākā kontekstā, uzlabojot tā pielāgošanās spēju un lietojamību.
FLM-101B tika apmācīts 24 DGX-A800 GPU serveru klasterī mazāk nekā 26 dienu laikā. Šis iespaidīgais sasniegums uzsver modeļa mērogojamību un efektīvu resursu izmantošanu. Modeļa apmācības kodu bāze, kas pielāgota no Megatron-LM, drīzumā būs pieejama kā atvērtā pirmkoda versija, sniedzot vērtīgu ieskatu AI kopienai.
FLM-101B veidotāji atzīst iespējamos ierobežojumus, tostarp modeļa pakļaušanu nedrošiem piemēriem apmācības korpusā datu kopas atvērtā rakstura dēļ. Šis brīdinājums kalpo kā atgādinājums par atbildīgas AI lietošanas nozīmi un satura moderēšana.
Lai gan FLM-101B ir sasniegusi ievērojamus rezultātus, veidotāji atzīst jomas, kuras jāuzlabo. Modeļa secinājumu process, lai arī jaudīgs, vēl nav pilnībā optimizēts, tādējādi palielinot resursu izmantošanu un samazinātu ātrumu. Tomēr tiek plānots ieviest Flash Attention secinājumus, novēršot šo ierobežojumu.
Lasiet vairāk par AI:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
