Böyük dil modelləri haqqında bilməli olduğunuz 8 şey
Qısaca
Böyük dil modelləri (LLM-lər) təbii dilin nüanslarını araşdırmaq, maşınların mətni anlamaq və yaratmaq qabiliyyətini təkmilləşdirmək, səsin tanınması və maşın tərcüməsi kimi tapşırıqları avtomatlaşdırmaq üçün istifadə olunur.
LLM-ləri idarə etmək üçün asan bir həll yoxdur, lakin onlar da insanlar kimi bacarıqlıdırlar.
Təbii dil emalının inkişafı və onun biznesdə istifadəsinin artması ilə böyük dil modellərinə maraq artır. Bu modellər təbii dilin nüanslarını araşdırmaq, maşınların mətni anlamaq və yaratmaq qabiliyyətini təkmilləşdirmək, səsin tanınması və maşın tərcüməsi kimi tapşırıqları avtomatlaşdırmaq üçün istifadə olunur. Böyük dil modelləri (LLM) haqqında bilməli olduğunuz səkkiz əsas şey bunlardır.
- Xərclər artmağa davam etdikcə LLM-lər daha “bacarıqlıdır”
- Necə tez bir nəzər salın GPT modellər təlim xərcləri artdıqca uyğunlaşır
- LLM-lər xarici dünyanın nümayəndəliklərindən istifadə edərək stolüstü oyunları oynamağı öyrənirlər
- LLM idarə etmək üçün asan həll yoxdur
- Mütəxəssislər LLM-nin necə işlədiyini izah etməkdə çətinlik çəkirlər
- LLM-lər də insanlar kimi bacarıqlıdırlar
- LLM-lər sadəcə olaraq “hər şeyin ən yaxşısı” deyil, daha çox olmalıdır.
- Modellər insanların ilk təəssüratlara əsaslanaraq düşündüklərindən daha “ağıllıdır”
Xərclər artmağa davam etdikcə LLM-lər daha “bacarıqlıdır”
LLM-lər hətta sərin yeniliklər olmadan da artan xərclərlə daha “bacarıqlı” olurlar. Burada əsas şey, haqqında məqalədə göstərilən proqnozlaşdırıla bilənlikdir GPT-4: 0.1% büdcə ilə beş-yeddi kiçik model öyrədildi və sonra bunun əsasında nəhəng bir model üçün proqnoz verildi. Müəyyən bir tapşırığın alt nümunəsi üzrə çaşqınlığın və ölçülərin ümumi qiymətləndirilməsi üçün belə bir proqnoz çox dəqiq idi. Bu proqnozlaşdırıla bilənlik, əməliyyatları üçün LLM-lərə güvənən müəssisələr və təşkilatlar üçün vacibdir, çünki onlar müvafiq olaraq büdcə tərtib edə və gələcək xərcləri planlaşdıra bilərlər. Bununla belə, qeyd etmək vacibdir ki, xərclərin artırılması imkanların təkmilləşdirilməsinə səbəb ola bilsə də, təkmilləşmə sürəti nəticə etibarilə yüksələ bilər ki, bu da irəliləməyə davam etmək üçün yeni innovasiyalara sərmayə qoymağı zəruri edir.
Necə tez bir nəzər salın GPT modellər təlim xərcləri artdıqca uyğunlaşır
Bununla belə, spesifik mühüm bacarıqlar gözlənilmədən artımın əlavə məhsulu kimi ortaya çıxır təlim xərcləri (daha uzun təlim, daha çox məlumat, daha böyük model) — modellərin müəyyən tapşırıqları yerinə yetirməyə nə vaxt başlayacağını təxmin etmək demək olar ki, mümkün deyil. Mövzunu daha dərindən araşdırdıq məqalə inkişaf tarixi haqqında GPT modellər. Şəkildə modellərin keyfiyyət artımının müxtəlif vəzifələr üzrə paylanması göstərilir. Yalnız böyük modellər müxtəlif tapşırıqları yerinə yetirməyi öyrənə bilər. Bu qrafik ölçüsünü böyütməyin əhəmiyyətli təsirini vurğulayır GPT modelləri müxtəlif vəzifələr üzrə performansları haqqında. Bununla belə, qeyd etmək lazımdır ki, bu, artan hesablama resursları və ətraf mühitə təsir bahasına başa gəlir.
LLM-lər xarici dünyanın nümayəndəliklərindən istifadə edərək stolüstü oyunları oynamağı öyrənirlər
LLM-lər tez-tez xarici dünyanın təsvirlərini öyrənir və istifadə edirlər. Burada bir çox nümunə var və onlardan biri budur: Modellər öyrədilib oyun sahəsinin şəklini görmədən fərdi hərəkətlərin təsviri əsasında stolüstü oyunlar oynamaq, hər bir hərəkətdə lövhənin vəziyyətinin daxili təsvirlərini öyrənmək. Bu daxili təmsillər daha sonra istifadə edilə bilər gələcəyi proqnozlaşdırmaq hərəkətlər və nəticələr, modelin oyunu yüksək səviyyədə oynamasına imkan verir. Təqdimatları öyrənmək və istifadə etmək bacarığı əsasdır maşın öyrənməsinin aspekti və süni intellekt.
LLM idarə etmək üçün asan həll yoxdur
LLM davranışına nəzarət etmək üçün etibarlı üsullar yoxdur. Baxmayaraq ki, müxtəlif problemlərin (o cümlədən ChatGPT və GPT-4 rəyin köməyi ilə), onları həll edə biləcəyimiz barədə konsensus yoxdur. Gələcəkdə daha böyük sistemlər yaradıldıqda bunun nəhəng, potensial fəlakətli problemə çevriləcəyi ilə bağlı artan narahatlıq var. Buna görə də, tədqiqatçılar süni intellekt sistemlərinin dəyər uyğunlaşdırılması və mükafat mühəndisliyi kimi insan dəyərlərinə və məqsədlərinə uyğun olmasını təmin etmək üçün yeni üsullar araşdırırlar. Bununla belə, zəmanət vermək çətin bir vəzifə olaraq qalır LLM-lərin təhlükəsizliyi və etibarlılığı mürəkkəb real dünya ssenarilərində.
| Daha ətraflı: OpenAI Təkmilləşdirmək üçün 50+ Mütəxəssisdən ibarət Komanda toplayır GPT-4Təhlükəsizlik |
Mütəxəssislər LLM-nin necə işlədiyini izah etməkdə çətinlik çəkirlər
Mütəxəssislər hələ LLM-nin daxili işini şərh edə bilmirlər. Heç bir texnika modelin hər hansı bir nəticə əldə edərkən hansı növ bilik, mülahizə və ya məqsədlərdən istifadə etdiyini hər hansı qənaətbəxş şəkildə ifadə etməyə imkan verməz. Bu şərh edilə bilməməsi LLM-nin qərarlarının etibarlılığı və ədalətliliyi ilə bağlı narahatlıqları artırır, xüsusən də cinayət ədaləti və ya kredit skorinqi kimi yüksək riskli tətbiqlərdə. O, həmçinin daha şəffaf və hesabatlı süni intellekt modellərinin inkişafı ilə bağlı əlavə tədqiqatlara ehtiyac olduğunu vurğulayır.
LLM-lər də insanlar kimi bacarıqlıdırlar
Baxmayaraq ki, LLM-lər ilk növbədə öyrədilmişdir mətn yazarkən insan davranışını təqlid edin, onlar bir çox vəzifələrdə bizi üstələmək potensialına malikdirlər. Bunu şahmat və ya Go oynayan zaman artıq görmək olar. Bu, onların böyük həcmdə məlumatı təhlil etmək və insanların uyğunlaşa bilməyəcəyi sürətlə bu analiz əsasında qərarlar qəbul etmək qabiliyyəti ilə bağlıdır. Bununla belə, LLM-lər hələ də insanların malik olduğu yaradıcılıq və intuisiyadan məhrumdur, bu da onları bir çox vəzifələr üçün daha az uyğun edir.
| Daha ətraflı: OpenAI Təkmilləşdirmək üçün 50+ Mütəxəssisdən ibarət Komanda toplayır GPT-4Təhlükəsizlik |
LLM-lər sadəcə olaraq “hər şeyin ən yaxşısı” deyil, daha çox olmalıdır.
LLM-lər öz yaradıcılarının dəyərlərini və ya İnternetdən seçimdə kodlanmış dəyərləri ifadə etməməlidirlər. Onlar stereotipləri və ya sui-qəsd nəzəriyyələrini təkrarlamamalı və kimisə incitməyə çalışmamalıdırlar. Bunun əvəzinə, LLM-lər mədəni və sosial fərqlərə hörmətlə yanaşmaqla öz istifadəçilərinə qərəzsiz və faktiki məlumat vermək üçün tərtib edilməlidir. Bundan əlavə, onlar bu standartlara cavab verməyə davam etmələrini təmin etmək üçün müntəzəm sınaq və monitorinqdən keçməlidirlər.
Modellər insanların ilk təəssüratlara əsaslanaraq düşündüklərindən daha “ağıllıdır”
İlk təəssüratlara əsaslanan modelin qabiliyyətinin təxminləri çox vaxt aldadıcı olur. Çox tez-tez düzgün təkliflə çıxış etməli, bir model təklif etməli və bəlkə də nümunələr göstərməlisən və bu, daha yaxşı öhdəsindən gəlməyə başlayacaq. Yəni ilk baxışdan göründüyündən “daha ağıllıdır”. Buna görə də, modelə ədalətli şans vermək və onu ən yaxşı şəkildə yerinə yetirmək üçün lazımi resurslarla təmin etmək çox vacibdir. Düzgün yanaşma ilə hətta qeyri-adekvat görünən modellər də öz imkanları ilə bizi təəccübləndirə bilər.
BIG-Bench verilənlər bazasından 202 tapşırığın nümunəsinə diqqət yetirsək (sınamaq xüsusi olaraq çətinləşdirilib) dil modelləri və sonra), bir qayda olaraq (orta hesabla) modellər artan miqyasla keyfiyyət artımını göstərir, lakin fərdi olaraq tapşırıqlardakı ölçülər:
- tədricən yaxşılaşdırmaq,
- kəskin şəkildə yaxşılaşdırmaq,
- dəyişməz qalır,
- azalma,
- heç bir əlaqə göstərmir.
Bütün bunlar hər hansı gələcək sistemin fəaliyyətini inamla ekstrapolyasiya etməyin mümkünsüzlüyünə gətirib çıxarır. Yaşıl hissə xüsusilə maraqlıdır - məhz burada keyfiyyət göstəriciləri heç bir səbəb olmadan kəskin şəkildə yüksəlir.
AI haqqında daha çox oxuyun:
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
