Tədqiqatçılar Böyük Dil Modellərinin “İnkişaf etməkdə olan Qabiliyyətləri” anlayışına qarşı çıxırlar
Qısaca
AGI apokalipsisi birdən-birə böyük dil modellərinin fenomeni ilə əlaqədar narahatlıq doğurur. bacarıqlarını nümayiş etdirir daha kiçik modellərdə görünmür.
Bu fenomen "Böyük Dil Modellərinin ortaya çıxan qabiliyyətləri" adlanır.
Məqalənin müəllifləri “Böyük dil modellərinin fövqəladə bacarıqları bir ilğımdırmı?” ortaya çıxan qabiliyyətlərin təsirinin ilğım deyil, tapşırıqları yerinə yetirmək qabiliyyətinin proqnozlaşdırıla bilən bir artım olduğunu iddia edirlər.
Onlar göstərir ki, Big Bench problemlərinin ən azı 92%-də böyük modellər üçün qəfil irəliləyiş yoxdur və modellərin ölçüsü artdıqca onların modellərinin keyfiyyəti rəvan və proqnozlaşdırıla bilən şəkildə artır.
Böyük dil modellərinin potensial imkanlarının bu yaxınlarda araşdırılması zamanı tədqiqatçılar “təkrarlanan qabiliyyətlər” anlayışına qarşı çıxır və onların funksionallığının daha proqnozlaşdırıla bilən aspektinə işıq tutur. sərlövhəli məqaləBöyük Dil Modellərinin Fövqəladə Qabiliyyətlərinin Reallıqlarının Açılması” bu modellərin kortəbii olaraq qabaqcıl bacarıqlar əldə etməsi ilə bağlı yanlış təsəvvürə səbəb olan metriklərin yanlış şərhinə diqqəti cəlb edir.
“Anlayışıortaya çıxan qabiliyyətlər” kimi böyük dil modelləri kontekstində GPT seriyası, bu modellərin insan şüuruna bənzər gözlənilməz qabiliyyətləri inkişaf etdirmə potensialı ilə bağlı narahatlıqları artırdı. Bu yazı təsdiq edir ki, bu fərziyyələr modellərin faktiki davranışı və imkanlarının səhv başa düşülməsinə əsaslanıb.
Daha böyük modellərin mücərrəd düşünmə, problem həll etmə və hətta yumor kimi yeni qabiliyyətlər əldə etdiyi, adətən müşahidə edilən fenomen “Böyük Dil Modellərinin ortaya çıxan qabiliyyətləri” adlandırılmışdır. Məqalə müəllifləri iddia edirlər ki, bu qabiliyyətlər göründüyü qədər kortəbii deyil, daha çox yanlış qiymətləndirmə ölçülərinin nəticəsidir.
Tədqiqatçılar öz fikirlərini nümayiş etdirmək üçün “tapmacanı təxmin et” tapşırığını, dil modelindən təbii dil tapmacasını başa düşmək və təbii dildə düzgün cavab vermək üçün tələb olunan problem hesab edirlər. Ənənəvi olaraq, cavabların keyfiyyəti ikili metrikdən istifadə etməklə qiymətləndirilir: cavab düzgün cavaba tam uyğundursa 1, əks halda isə 0 xal verilir.
Məsələnin mahiyyəti metrikanın tapşırığın mürəkkəbliyinə və model parametrlərinin sayına həssaslığındadır. Tədqiqatçılar bu ikili metrikanın a aldadıcı qavrayış "Yeniləşən qabiliyyətlər". Kiçik modellər tez-tez bu metrikdə əhəmiyyətsiz dərəcədə dəqiqlik (eps) nümayiş etdirir, daha böyük modellər, xüsusən də yüksək parametr sayına malik modellər diqqətəlayiq dəqiqlik səviyyələrinə nail olur (acc > 0.5).
Məqalədə iddia olunur ki, qabiliyyətdəki bu açıq dəyişiklik modellərin kortəbii olaraq mürəkkəb bacarıqlar əldə etməsinin göstəricisi deyil. Əksinə, modellərin daha nüanslı cavabları anlamaq və yaratmaq qabiliyyəti onların nəticələrinin daha dəqiq qiymətləndirilməsindən irəli gəlir. Tədqiqatçılar dəqiq simli uyğunluqdan daha çox ehtimal uyğunluğu və semantik uyğunluğa diqqət yetirərək göstərir ki, modellərin inkişafı performansda ölçülərindən asılı olmayaraq daha məntiqli bir trayektoriya izləyir.
Dəyişən Parametrlərlə Model Performans Təkamülünün Tədqiqi
Tədqiqatçılar analitik araşdırma zamanı “incə inkişaf etməkdə olan qabiliyyətlərin” arxasında olan incə mexanikanı aşkar edirlər. böyük dil modelləri. Tədqiqat model performansının qiymətləndirilməsində superdiskret ölçülərin təsirini şübhə altına alır və model parametrləri genişləndikcə onların imkanlarının daha proqnozlaşdırılan başa düşülməsini aydınlaşdırır.
Geniş dil modellərində üstünlük təşkil edən “təkrarlanan qabiliyyətlər” anlayışı müzakirələri cəlb etdi və potensial irəliləyişlərlə bağlı narahatlıqları artırdı. Bu araşdırma, bu fenomenin altında yatan mexanikanı ayırmağa və bu modellərin həqiqətən qəfil, görünməmiş qabiliyyətlər nümayiş etdirib-etmədiyini və ya bu qəbul edilən irəliləyişlərin fərqli bir səbəbə aid edilə biləcəyini deşifrə etməyə çalışır.
Tədqiqatın mərkəzində model performansını ölçmək üçün istifadə olunan ölçülərin dəqiq qiymətləndirilməsi dayanır. Tədqiqatçılar iddia edirlər ki, superdiskret metriklərin, xüsusən də dəqiq sətir uyğunluqlarını təyin edən adi ikili metrikanın istifadəsi böyük ölçülərin şərhini təhrif edə bilər. dil modeli bacarıqları. Tədqiqat model tərəfindən yaradılan cavabların ehtimal paylanmasının model parametrləri miqyası kimi necə inkişaf etdiyini diqqətlə təhlil edir.
“Yeni yaranan qabiliyyətlər” anlayışının əksinə olaraq, tədqiqat daha sistemli bir tendensiya ortaya qoyur. Modelin ölçüsü artdıqca, uyğun cavablara daha yüksək ehtimalları, yanlış olanlara isə aşağı ehtimalları təyin etmək qabiliyyəti yaxşılaşır. Bu, modelin geniş ölçülər diapazonunda problemləri məharətlə həll etmək qabiliyyətinin ardıcıl təkmilləşməsini əks etdirir. Əslində, tədqiqat modellərin öyrənmə prosesinin yaxşı bir şəkildə izləndiyini göstərir.defiani sıçrayışdan daha çox təkmilləşmə trayektoriyası.
Müəlliflər diskret ölçüləri davamlı olanlarla əvəz etməyi təklif edərək paradiqma dəyişikliyini təqdim edirlər. Bu dəyişiklik performans təkamülünün daha aydın mənzərəsini təqdim edir. Təhlilləri nəticəsində tədqiqatçılar müəyyən edirlər ki, təxminən 92% Böyük Bench problemləri model ölçüsü genişləndikcə keyfiyyətdə hamar və proqnozlaşdırıla bilən artım nümayiş etdirir. Bu tapıntı daha böyük modellərin qəfil irəliləyişlərə məruz qalması və bunun əvəzinə daha tədrici və gözlənilən irəliləyişi vurğulayır.
Tədqiqat iddialarını təsdiqləmək üçün öz fikirlərini genişləndirir. Bu, eyni "yaradılan qabiliyyət" effektinin adi avtokodlayıcılardan istifadə edərək süni şəkildə simulyasiya edilə biləcəyini nümayiş etdirir ki, bu da göstəricilərin seçiminin qəbul edilən nəticələrə əhəmiyyətli dərəcədə təsir etdiyini göstərir. Bu vəhy tədqiqatın nəticələrinin əhatə dairəsini genişləndirərək, onun təkcə dil modellərindən kənarda aktuallığını nümayiş etdirir.
Tədqiqatçılar nəticələrinin belə olmadığını vurğulayırlar defiböyük dil modellərində “yenidən yaranan qabiliyyətlər” və ya şüur potensialını əsaslı şəkildə inkar edin. Bununla belə, onların tapıntıları tədqiqatçıları bu cür iddialara nüanslı perspektivlə yanaşmağa təşviq edir. Tədqiqat tələsik ekstrapolyasiya etmək və ekstremal nəticələr çıxarmaq əvəzinə, diqqətlə araşdırmanın və hərtərəfli təhlilin vacibliyini vurğulayır.
AI haqqında daha çox oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
