Süni İntellekt Tədqiqatçıları Böyük Dil Modellərinə Daha Az Yalan Deməyi Öyrəndilər
Sahənin müxtəlif guşələrindən olan 20-dən çox tədqiqatçının iştirak etdiyi birgə səy, inkişaf edən bir sahəni doğurdu - təmsil mühəndisliyi (RepE). Bu, bu tipli ilk kəşfiyyat olmasa da, müəlliflər həm təsviri fikirlər təqdim edir, həm də mühüm meyarlar yaradırlar.
Beləliklə, təmsil mühəndisliyi tam olaraq nədir? Bu, neyron şəbəkələrinin adlarına baxmayaraq, məxfiliklə örtülməyən “gizli vəziyyətlərə” malik olması anlayışı ətrafında fırlanır. Bu vəziyyətlər əlçatan, dəyişdirilə bilən və müşahidə edilə biləndir (birinin modelin çəkilərinə çıxışı olması şərti ilə). Parametrlərdən fərqli olaraq, bunlar şəbəkənin xüsusi girişlərə “reaksiyaları”dır, xüsusən də LLM-lər, mətn daxiletmələri. Bu gizli təsvirlər modelin idrak işlərinə açılan pəncərələrə bənzəyir, bu xüsusiyyət insan beynindən tamamilə fərqlidir.
Koqnitiv elmlə paralellər aparan müəlliflər analoji tədqiqatların potensialını vurğulayırlar. Beynin neyronlarına bənzər bir sahə olan sinir aktivasiyaları sahəsində məna vədi var. İnsan beynindəki müəyyən neyronlar Kanada və ya dürüstlük kimi anlayışlarla əlaqəli olduğu kimi, bu aktivləşdirmələr də fikirlərə sahib ola bilər.
Burada əsas fikir, modeli istədiyiniz istiqamətlərə yönəltmək üçün bu sinir aktivasiyalarına necə təsir edə biləcəyimizi deşifrə etməkdir. Məsələn, “dürüstlüyü” təmsil edən vektoru dəqiq müəyyən etmək məqsədəuyğun olur və sonra nəzəri olaraq modeli bu istiqamətə yönəltməklə onun aldadıcı nəticələr verməsi ehtimalını azaldır. Əvvəlki təcrübə, "Nəticə-Zaman Müdaxiləsi: Dil Modelindən Həqiqi Cavabların Alınması,” bu konsepsiyanın praktikliyini nümayiş etdirdi.
Hazırkı işlərində tədqiqatçılar əxlaq, emosionallıq, zərərsizlik və əzbərləmə də daxil olmaqla bir neçə sahəni araşdırırlar. Onlar təxminən 100 nümunədən ibarət kiçik etiketli verilənlər toplusunda təlimi əhatə edən bir texnika olan LoRRA (Aşağı Səviyyəli Nümayəndəlik Uyğunlaşması) şəklində bir həll təklif edirlər. Hər bir misal yalan kimi atributları göstərən annotasiya edilir (baxmayaraq ki, göstərişdən istifadə edən alternativ yanaşma mövcuddur).
Nəticələr cəlbedicidir. LLAMA-2-70B üstələyir GPT-4 Təxminən on faiz daha yaxşı dəqiqliyə nail olmaqla (təxminən 59 faizlə müqayisədə 69 faiz) TruthfulQA etalonunda nəzərəçarpacaq fərqlə. Bundan əlavə, tədqiqatçılar modelin müxtəlif istiqamətlərdə reaksiya dəyişikliyini nümayiş etdirən, onun çox yönlüliyinə və uyğunlaşma qabiliyyətinə işıq salan çoxsaylı nümunələri birləşdirdilər.
Yaşıl, əlbəttə ki, hər şeyin qaydasında olduğunu, qırmızı isə monitorinqin uğurlu olduğunu və siqnal verdiyini bildirir. Bu, hər bir fərdi əlamət (sözün bir hissəsi) səviyyəsində edilir.
Bu qabaqcıl yanaşma modelin uyğunlaşdırılmasına doğru alternativ yolu təcəssüm etdirir, eyni zamanda modelin şərhi və nəzarəti üzrə yeni perspektiv təklif edir. Bu, perspektivli bir sərhəddir və onun davamlı təkamülünü gözləmək hiss olunur.
Praktik nümunələrlə daha dərindən araşdırma üçün onların xüsusi veb saytına daxil ola bilərsiniz: AI-Transparency.org.
Məsuliyyətdən imtina
uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.
Müəllif haqqında
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
Ətraflı məqalələr
Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi.
