FLM-101B: Super-Effektiv 101B Ölçekli Dil Modeli Aparıcı Süni İntellekt Modelləri ilə Rəqabət edir
Qısaca
Çin LLM, LM-101B, kimi tanınmış modellərlə müqayisə edilə bilən performansa nail olmaqla, 100 min dollarlıq büdcə ilə öyrədilə bilər. GPT-3 və GLM-130B.
Çinli tədqiqatçılar yeni LLM-ni təqdim ediblər FLM-101B, əlamətdar 101 milyard parametri ilə öyünən yalnız dekoder olan LLM. Bu inkişaf həm tədqiqat, həm də praktik tətbiqlər üçün sərfəli alternativ təmin edir.
FLM-101B-ni fərqləndirən onun nisbətən təvazökar büdcə ilə əldə edilən müstəsna performansıdır. LLM-ləri sıfırdan öyrətmək üçün astronomik investisiyalar tələb oluna biləcəyi məlum olsa da, FLM-101B-nin yaradıcıları cəmi 101 min dollarlıq büdcədən istifadə etməklə 100 milyard parametrli bir modeli öyrətməyin mümkün olduğunu göstərdilər.
Eksperimental nəticələr təsir edici deyil. FLM-101B qurulmuş və resurs tutumlu ilə müqayisə edilə bilən performans səviyyələrini nümayiş etdirdi kimi modellər GPT-3 və GLM-130B. Bu müqayisə bu qənaətcil modelin böyük potensialını vurğulayır, xüsusən də təlim məlumatlarında mövcud olmayan mürəkkəb kontekstləri olan IQ meyarlarında.
FLM-101B-nin yaradıcıları süni intellekt üzrə tədqiqat və inkişafa sadiqliklərini vurğulayan bir hərəkətlə bu modeli açıq mənbəyə çevirdilər. Dünya üzrə tədqiqatçılar və tərtibatçılar indi həm Çin, həm də İngilis dillərini əhatə edən müxtəlif proqramlar üçün bu 101B miqyaslı LLM-ə daxil ola və istifadə edə bilərlər.
FLM-101B modeli unikal təlim yanaşmasından istifadə edir. O, təlimin ilkin mərhələlərində daha kiçik 16 milyard parametrli modeldən bilikləri sürətlə toplayır və tədricən 101 milyard parametrə qədər genişləndirir. Bu artımlı yanaşma təlim xərclərini əhəmiyyətli dərəcədə azaldır və onu daha geniş layihələr üçün maliyyə cəhətdən mümkün edir.
FLM-101B-nin diqqətəlayiq bir xüsusiyyəti, nəticə çıxararkən pəncərə ölçüsünün səmərəli genişləndirilməsinə dəstəyidir. Bu, modelə daha geniş kontekstdə işləməyə imkan verən, onun uyğunlaşma qabiliyyətini və istifadə qabiliyyətini artıran xPos fırlanan mövqe yerləşdirməsindən istifadə etməklə əldə edilir.
FLM-101B 24 gündən az müddətdə 800 DGX-A26 GPU serverindən ibarət klasterdə təlim keçib. Bu təsirli cəsarət modelin miqyaslılığını və resursdan səmərəli istifadəni vurğulayır. Megatron-LM-dən uyğunlaşdırılmış modelin təlim kod bazası tezliklə açıq mənbə kimi əlçatan olacaq və süni intellekt icması üçün dəyərli fikirlər təqdim edəcək.
FLM-101B yaradıcıları potensial məhdudiyyətləri, o cümlədən verilənlər bazasının açıq təbiəti səbəbindən modelin təlim korpusunda təhlükəli nümunələrə məruz qalmasını etiraf edirlər. Bu xəbərdarlıq süni intellektdən məsuliyyətli istifadənin vacibliyini xatırladır və məzmun moderasiyası.
FLM-101B əlamətdar nəticələr əldə etsə də, yaradıcılar təkmilləşdirilməsi lazım olan sahələri etiraf edirlər. Modelin nəticə çıxarma prosesi güclü olsa da, hələ tam optimallaşdırılmayıb və bu, daha yüksək resurs istifadəsinə və sürətin azalmasına gətirib çıxarır. Bununla belə, bu məhdudiyyəti aradan qaldıraraq, nəticədə Flash Diqqəti tətbiq etmək planları davam edir.
AI haqqında daha çox oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
