Xəbər Hesabatı Texnologiya
Mart 09, 2023

T9-Era-dan Chatbotların Təkamülü və GPT-1 üçün ChatGPT

Bu yaxınlarda, demək olar ki, hər gün geniş miqyaslı neyron şəbəkələri tərəfindən qırılan ən son rekordlar və niyə demək olar ki, heç kimin işinin təhlükəsiz olmadığı barədə xəbər postları ilə bombalandıq. Buna baxmayaraq, çox az adam neyron şəbəkələrin necə xoşlandığını bilir ChatGPT əslində fəaliyyət göstərir.

Beləliklə, rahatlayın. Hələlik iş perspektivləriniz barədə kədərlənməyin. Bu yazıda neyron şəbəkələr haqqında bilmək lazım olan hər şeyi hər kəsin qavraya biləcəyi şəkildə izah edəcəyik.

T9-Era-dan Chatbotların Təkamülü və GPT-1 üçün ChatGPT və Bart

Başlamazdan əvvəl bir xəbərdarlıq: Bu parça əməkdaşlıqdır. Bütün texniki hissə AI kütləsi arasında yaxşı tanınan AI mütəxəssisi tərəfindən yazılmışdır.

Çünki hələ heç kim necə haqqında dərin bir əsər yazmamışdır ChatGPT neyron şəbəkələrinin incəliklərini və incəliklərini sadə dillə izah edəcək əsərlər, biz bunu sizin üçün etməyə qərar verdik. Biz bu yazını mümkün qədər sadə saxlamağa çalışdıq ki, oxucular bu yazını oxuduqdan sonra dil neyron şəbəkələrinin prinsipləri haqqında ümumi anlayışla çıxa bilsinlər. Necə olduğunu araşdıracağıq dil modelləri orada işləmək, neyron şəbəkələrin mövcud imkanlarına sahib olmaq üçün necə inkişaf etdiyini və niyə ChatGPT's partlayıcı populyarlığı hətta yaradıcılarını da təəccübləndirdi.

Əsaslardan başlayaq. Başa düşmək ChatGPT texniki baxımdan, ilk növbədə bunun nə olmadığını başa düşməliyik. Bu Marvel Comics-dən Jarvis deyil; o, rasional varlıq deyil; cin deyil. Şoka hazır olun: ChatGPT əslində steroidlərdə cib telefonunuzun T9-udur! Bəli, belədir: Alimlər bu texnologiyaların hər ikisinə istinad edirlər "dil modelləri." Bütün neyron şəbəkələri bundan sonra hansı sözün gələcəyini təxmin etməkdir.

Orijinal T9 texnologiyası yalnız növbəti sözü deyil, cari girişi təxmin edərək düyməli telefon yığımını sürətləndirdi. Bununla belə, texnologiya inkişaf etdi və 2010-cu illərin əvvəllərindəki smartfonlar dövrünə qədər o, konteksti və əvvəlki sözü nəzərdən keçirə, durğu işarələri əlavə edə və sonrakı davam edə biləcək sözlərin seçimini təklif edə bildi. T9 və ya avtomatik düzəlişin belə "qabaqcıl" versiyası ilə etdiyimiz bənzətmə məhz budur.

Nəticədə həm smartfon klaviaturasında həm T9, həm də ChatGPT gülünc sadə tapşırığı həll etmək üçün təlim keçmişlər: növbəti sözü proqnozlaşdırmaq. Bu, “dil modelləşdirməsi” kimi tanınır və mövcud mətn əsasında növbəti yazının yazılması barədə qərar qəbul edildikdə baş verir. Dil modelləri bu cür proqnozlar vermək üçün konkret sözlərin baş vermə ehtimalları üzərində işləməlidir. Axı, telefonunuzun avtomatik doldurulması sizə eyni ehtimalla tamamilə təsadüfi sözlər atsa, əsəbləşərdiniz.

Aydınlıq üçün təsəvvür edək ki, bir dostunuzdan mesaj alırsınız. Orada deyilir: "Axşam üçün planlarınız nədir?" Cavab olaraq, siz yazmağa başlayırsınız: “Mən gedirəm…” və burada T9 gəlir. O, “Mən Aya gedirəm” kimi tamamilə cəfəng şeylərlə çıxış edə bilər, heç bir mürəkkəb dil modeli tələb olunmur. Yaxşı smartfonun avtomatik tamamlama modelləri daha uyğun sözlər təklif edir.

Beləliklə, T9 haradan bilir ki, hansı sözlərin artıq yazılmış mətni izləmək ehtimalı daha yüksəkdir və nəyin məntiqli olmadığı aydındır? Bu suala cavab vermək üçün əvvəlcə ən sadəinin əsas iş prinsiplərini araşdırmaq lazımdır sinir şəbəkələri.

Ətraflı: ChatGPT API İndi Mövcuddur, Tərtibatçılar üçün Floodgate açır

AI modelləri növbəti sözü necə proqnozlaşdırır

Gəlin daha sadə bir sualla başlayaq: Bəzi şeylərin digərlərindən qarşılıqlı asılılığını necə proqnozlaşdırırsınız? Təsəvvür edək ki, biz kompüterə insanın boyuna görə çəkisini proqnozlaşdırmağı öyrətmək istəyirik – buna necə yanaşmaq lazımdır? Biz əvvəlcə maraq sahələrini müəyyən etməli, sonra maraqların asılılıqlarını axtarmaq üçün məlumat toplamalı və sonra bəzi riyazi modeli “məşq et” bu məlumat daxilində nümunələri axtarmaq üçün.

AI modelləri növbəti sözü necə proqnozlaşdırır

Sadə dillə desək, T9 və ya ChatGPT cəhd edən ağıllı seçilmiş tənliklərdir qabaqcadan xəbər vermək model girişinə daxil edilmiş əvvəlki sözlər toplusuna (X) əsaslanan söz (Y). Təlim zamanı a dil modeli verilənlər toplusunda əsas vəzifə bu x üçün həqiqətən hansısa asılılığı əks etdirən əmsalları seçməkdir (boy və çəki nümunəmizdə olduğu kimi). Böyük modellərlə isə biz çox sayda parametrə malik olanları daha yaxşı başa düşəcəyik. Sahəsində süni intellekt, onlar böyük dil modelləri və ya qısaca LLM kimi istinad edilir. Daha sonra görəcəyimiz kimi, yaxşı mətn yaratmaq üçün çoxlu parametrləri olan böyük model vacibdir.

Yeri gəlmişkən, niyə davamlı olaraq “növbəti sözü proqnozlaşdırmaq” haqqında danışdığımızı maraqlandırırsınızsa ChatGPT mətnin bütün paraqrafları ilə tez cavab verir, cavab sadədir. Əlbəttə, dil modelləri çətinlik çəkmədən uzun mətnlər yarada bilər, lakin bütün proses sözbəsözdür. Hər yeni söz yaradıldıqdan sonra, model sadəcə olaraq növbəti sözü yaratmaq üçün bütün mətni yeni sözlə yenidən işlədir. Bütün cavabı alana qədər proses dəfələrlə təkrarlanır.

Ətraflı: ChatGPT Geri dönməz insan degenerasiyasına səbəb ola bilər

Nə üçün biz verilən mətn üçün “düzgün” sözləri tapmağa çalışırıq?

Dil modelləri verilmiş mətndə baş verə biləcək müxtəlif sözlərin ehtimallarını proqnozlaşdırmağa çalışır. Bu nə üçün lazımdır və niyə “ən düzgün” sözü axtarmağa davam edə bilmirsiniz? Bu prosesin necə işlədiyini göstərmək üçün sadə bir oyuna cəhd edək.

Qaydalar belədir: Cümləni davam etdirməyi təklif edirəm: “ABŞ-ın 44-cü prezidenti (və bu vəzifədə olan ilk afroamerikalı) Barakdır...”. Bundan sonra hansı söz getməlidir? Bunun baş vermə ehtimalı nədir?

Nə üçün biz verilən mətn üçün “düzgün” sözləri tapmağa çalışırıq?

Əgər növbəti sözün “Obama” olacağını 100% əminliklə proqnozlaşdırırdınızsa, yanıldınız! Və burada məsələ başqa bir mifik Barakın olması deyil; daha mənasızdır. Rəsmi sənədlərdə adətən prezidentin tam adından istifadə olunur. Bu o deməkdir ki, Obamanın ilk adından sonra onun ikinci adı Hüseyn olacaq. Beləliklə, cümləmizdə düzgün öyrədilmiş dil modeli "Obama" nın yalnız 90% şərti ehtimalla növbəti söz olacağını proqnozlaşdırmalı və mətn "Hüseyn" tərəfindən davam etdirilərsə, qalan 10% -ni ayırmalıdır (bundan sonra Obama 100%-ə yaxın ehtimalla izləyin.

İndi biz dil modellərinin maraqlı tərəfinə gəlirik: Onlar yaradıcılıq zolaqlarından immun deyillər! Əslində, hər bir növbəti sözü yaradanda, bu cür modellər onu "təsadüfi" şəkildə, sanki bir zərb atır kimi seçirlər. Müxtəlif sözlərin "düşməsi" ehtimalı modelin içərisinə daxil edilmiş tənliklərin təklif etdiyi ehtimallara az və ya çox uyğun gəlir. Bunlar modelin bəsləndiyi çoxlu müxtəlif mətnlərdən əldə edilmişdir.

Belə çıxır ki, model canlı insan kimi eyni istəklərə fərqli cavab verə bilər. Tədqiqatçılar ümumiyyətlə neyronları həmişə “çox güman ki” növbəti sözü seçməyə məcbur etməyə çalışdılar, lakin bu, zahirən rasional görünsə də, bu cür modellər reallıqda daha pis işləyir. Təsadüfiliyin ədalətli dozası cavabların dəyişkənliyini və keyfiyyətini artırdığı üçün sərfəlidir.

Tədqiqatçılar ümumiyyətlə neyronları həmişə "çox güman ki" növbəti sözü seçməyə məcbur etməyə çalışdılar, lakin bu, zahirən rasional görünsə də, bu cür modellər reallıqda daha pis çıxış edir.
Ətraflı: ChatGPT Gələcək nəsil süni intellekt üzərində düşünərkən dronları və robotları idarə etməyi öyrənir

Dilimiz fərqli qaydalar və istisnalar dəsti ilə unikal quruluşa malikdir. Bir cümlədə hansı sözlərin görünməsinin qafiyəsi və səbəbi var, onlar təsadüfi baş vermir. Hər kəs ilk formalaşma illərində istifadə etdiyi dilin qaydalarını şüursuz şəkildə öyrənir.

Layiqli model dilin geniş təsviri imkanlarını nəzərə almalıdır. Modelin arzu olunan nəticələri əldə etmək bacarığı kontekstin incəliklərinə əsaslanaraq sözlərin ehtimallarını nə qədər dəqiq hesablamasından asılıdır (mətnin vəziyyəti izah edən əvvəlki bölməsi).

o modelin arzu olunan nəticələri vermək qabiliyyəti kontekstin incəliklərinə əsaslanaraq sözlərin ehtimallarını nə qədər dəqiq hesablamasından asılıdır (mətnin əvvəlki bölməsi şəraiti izah edir).

Xülasə: Daxil edilmiş mənbə mətninə əsaslanaraq növbəti sözü proqnozlaşdırmaq üçün böyük miqdarda verilənlər üzərində öyrədilmiş tənliklər toplusu olan sadə dil modelləri 9-cu illərin əvvəlindən smartfonların “T2010/Autofill” funksionallığında tətbiq edilmişdir.

Ətraflı: Çin şirkətlərin istifadəsini qadağan etdi ChatGPT “Doğru xəbər” qalmaqalından sonra

GPT-1: Sənayeni partlatmaq

T9 modellərindən uzaqlaşaq. Siz yəqin ki, bu parçanı oxuyarkən haqqında məlumat ChatGPT, birincisi, başlanğıcları müzakirə etməliyik GPT model ailə.

GPT "generativ əvvəlcədən öyrədilmiş transformator" deməkdir, halbuki Google mühəndisləri tərəfindən hazırlanmış neyron şəbəkə arxitekturası 2017-ci ildə Transformator kimi tanınır. Transformator bir sıra ardıcıllığı (məlumatları) giriş kimi qəbul edən və eyni ardıcıllıq dəstini, lakin bəzi alqoritm tərəfindən dəyişdirilmiş fərqli formada istehsal edən universal hesablama mexanizmidir.

Transformatorun yaradılmasının əhəmiyyətini onun süni intellektin (AI) bütün sahələrində necə aqressiv şəkildə qəbul edilməsində və tətbiqində görmək olar: tərcümə, təsvir, səs və video emalı. Süni intellekt (AI) sektoru “süni intellekt”in durğunluğundan sürətli inkişafa və durğunluğun aradan qaldırılmasına doğru irəliləyərək güclü sarsıntı keçirdi.

Ətraflı: GPT-4-Əsas ChatGPT Xarici formalar GPT-3 570 əmsalı ilə

Transformatorun əsas gücü asan miqyaslı modullardan ibarətdir. Böyük miqdarda mətni bir anda emal etmək tələb olunduqda, köhnə, transformatordan əvvəlki dil modelləri yavaşlayardı. Transformator neyron şəbəkələri isə bu işi daha yaxşı idarə edir.

Əvvəllər daxil edilən məlumatlar ardıcıl və ya bir-bir işlənməli idi. Model məlumatları saxlamazdı: Bir səhifəlik hekayə ilə işləsəydi, oxuduqdan sonra mətni unudurdu. Bu arada, Transformator hər şeyi bir anda görmək imkanı verir, istehsal edir əhəmiyyətli dərəcədə daha heyrətamiz nəticələr.

Bu, neyroşəbəkələr tərəfindən mətnlərin emalında bir irəliləyişə imkan verdi. Nəticədə, model artıq unutmur: o, əvvəllər yazılmış materialdan təkrar istifadə edir, konteksti daha yaxşı başa düşür və ən başlıcası, sözləri bir-birinə qoşaraq son dərəcə böyük həcmli verilənlər arasında əlaqə yarada bilir.

Xülasə: GPT-12018-ci ildə debüt edən neyron şəbəkəsinin Transformer dizaynından istifadə edərək mətnlər istehsal edə biləcəyini nümayiş etdirdi ki, bu da miqyaslanma və səmərəliliyi əhəmiyyətli dərəcədə yaxşılaşdırdı. Dil modellərinin kəmiyyətini və mürəkkəbliyini artırmaq mümkün olsaydı, bu, böyük bir ehtiyat yaradardı.

Ətraflı: 6 AI ChatBot Problemləri və Problemləri: ChatGPT, Bard, Klod

GPT-2: Böyük dil modellərinin yaşı

Dil modellərinin əvvəlcədən xüsusi olaraq işarələnməsinə ehtiyac yoxdur və istənilən mətn məlumatı ilə “qidalana” bilər, bu da onları son dərəcə çevik edir. Biraz fikir versəniz, onun qabiliyyətlərindən istifadə etmək istəməyimiz ağlabatan görünür. İndiyə qədər qələmə alınmış hər hansı mətn hazır təlim məlumatları kimi xidmət edir. Artıq “bir çox söz və ifadələr => onlardan sonrakı söz” tipli çoxlu ardıcıllıqlar olduğundan, bu təəccüblü deyil.

GPT-2: Böyük dil modellərinin yaşı
Ətraflı: ChatGPT's Evil Elter Eqo Reddit-də Oyandı

İndi Transformers texnologiyasının sınaqdan keçirildiyini də xatırlayaq GPT-1 miqyaslandırma baxımından olduqca uğurlu olduğunu sübut etdi: Böyük həcmli məlumatların idarə edilməsində sələflərindən xeyli effektivdir. Belə çıxır ki, tədqiqatçılar OpenAI 2019-cu ildə eyni nəticəyə gəldi: "Bahalı dil modellərini kəsməyin vaxtı gəldi!"

The təlim məlumat dəsti və modeli Ölçülərin olduğu iki mühüm sahə olaraq xüsusilə seçildi GPT-2 köklü surətdə təkmilləşdirmək lazım idi.

O dövrdə xüsusi olaraq dil modellərini öyrətmək üçün nəzərdə tutulmuş nəhəng, yüksək keyfiyyətli ictimai mətn məlumat dəstləri olmadığından, süni intellekt üzrə ekspertlərdən ibarət hər bir komanda məlumatları təkbaşına manipulyasiya etməli idi. The OpenAI İnsanlar daha sonra ən məşhur ingilisdilli forum olan Reddit-ə getmək və üçdən çox bəyənmə toplayan hər bir yazıdan bütün hiperlinkləri çıxarmaq qərarına gəldilər. Bu linklərin təxminən 8 milyonu var idi və yüklənmiş mətnlərin çəkisi ümumilikdə 40 terabayt təşkil edirdi.

GPT-2: Böyük dil modellərinin yaşı
Ətraflı: Microsoft kommersiyalaşdıracaq ChatGPT digər şirkətlərə kömək etməyə çalışır

Ən böyük tənliyi təsvir edən parametrlərin sayı nə qədərdir GPT-2 2019 model var? Bəlkə yüz min və ya bir neçə milyon? Gəlin daha da irəli gedək: Düsturda 1.5 milyarda qədər belə parametr var idi. Bu qədər rəqəmi fayla yazmaq və onu kompüterinizdə saxlamaq üçün 6 terabayt vaxt lazım olacaq. Modelin bu mətni bütövlükdə yadda saxlaması lazım deyil, ona görə də bir tərəfdən bu, modeli öyrədən mətn məlumat massivinin ümumi məbləğindən xeyli kiçikdir; sadəcə olaraq insanlar tərəfindən yazılmış mətnlərdən təcrid oluna bilən bəzi asılılıqları (naxışlar, qaydalar) tapmaq kifayətdir.

Model ehtimalı nə qədər yaxşı proqnozlaşdırır və tərkibində nə qədər çox parametr varsa, tənlik modelə bir o qədər mürəkkəb qoşulur. Bu, etibarlı mətn yaradır. Bundan əlavə, GPT-2 model o qədər yaxşı performans göstərməyə başladı ki OpenAI Tədqiqatçılar təhlükəsizlik səbəbiylə modeli açıq şəkildə açıqlamaqdan belə çəkinirdilər.

Çox maraqlıdır ki, model böyüdükdə birdən-birə yeni keyfiyyətlərə sahib olmağa başlayır (məsələn, telefonda növbəti sözü diktə etmək əvəzinə, ardıcıl, mənalı esselər yazmaq bacarığı).

Kəmiyyətdən keyfiyyətə dəyişmə bu nöqtədə baş verir. Bundan əlavə, bu, tamamilə qeyri-xətti olaraq baş verir. Məsələn, parametrlərin sayının 115-dən 350 milyona üç dəfə artması modelin problemləri dəqiq həll etmək qabiliyyətinə heç bir nəzərə çarpan təsir göstərmir. Bununla belə, 700 milyona iki dəfə artım keyfiyyətcə sıçrayış yaradır, burada neyron şəbəkəsi “işığı görür” və tapşırıqları yerinə yetirmək qabiliyyəti ilə hər kəsi heyrətləndirməyə başlayır.

Xülasə: 2019-cu ildə təqdimat edildi GPT-2, bu, modelin ölçüsünə (parametrlərin sayı) və təlim mətn məlumatlarının həcminə görə sələfini 10 dəfə üstələdi. Bu kəmiyyət tərəqqi sayəsində model gözlənilmədən keyfiyyətcə yeni istedadlar əldə etdi, məsələn: uzun esselər yazın aydın mənası ilə və dünyagörüşünün əsaslarını tələb edən çətin problemləri həll edir.

Ətraflı: Google sorğuları ondan təxminən yeddi dəfə ucuzdur ChatGPT, 2 sentə başa gəlir

GPT-3: Cəhənnəm kimi ağıllı

Ümumiyyətlə, 2020-ci il buraxılışı GPT-3, seriyadakı növbəti nəsil artıq 116 dəfə daha çox parametrlərə malikdir - 175 milyarda və heyrətamiz 700 terabayt.

The GPT-3 o qədər də kəskin olmasa da, təlim məlumat dəsti də genişləndirildi. Təxminən 10 dəfə artaraq 420 giqabayta çatdı və indi çoxlu sayda kitabdan ibarətdir. Wikipedia məqalələri və digər saytlardan digər mətnlər. Bir insanın dayanmadan oxuması təxminən 50 il çəkər ki, bu da onu qeyri-mümkün bir uğura çevirir.

Siz dərhal maraqlı bir fərq görürsünüz: fərqli olaraq GPT-2, modelin özü indi təlim üçün bütün mətn massivindən (700 GB) 420 GB böyükdür. Bu, müəyyən mənada paradoks kimi ortaya çıxır: bu halda, “neyrobeyin” xam məlumatları öyrənərkən, onların daxilindəki müxtəlif qarşılıqlı asılılıqlar haqqında ilkin məlumatdan daha həcmli məlumat yaradır.

GPT-3: Cəhənnəm kimi ağıllı
Ətraflı: ChatGPT Təcrübə: Süni intellekt kimisə təhqir etməkdənsə, milyonlarla insanı öldürməyə üstünlük verərdi

Modelin ümumiləşdirilməsi nəticəsində o, indi əvvəlkindən daha uğurla ekstrapolyasiya edə bilir və hətta təlim zamanı nadir hallarda baş verən və ya ümumiyyətlə baş verməyən mətn yaratmaq tapşırıqlarında da uğurlu olur. İndi modelə müəyyən bir problemin həllini öyrətməyə ehtiyac yoxdur; onları təsvir etmək və bir neçə misal göstərmək kifayətdir və GPT-3 dərhal öyrənəcək.

The "Universal beyin" şəklində GPT-3 nəticədə bir çox əvvəlki ixtisaslaşmış modelləri məğlub etdi. Məsələn, GPT-3 fransız və ya alman dillərindən mətnləri bu məqsəd üçün xüsusi olaraq yaradılmış əvvəlki neyron şəbəkələrindən daha sürətli və daha dəqiq tərcümə etməyə başladı. Necə? Nəzərinizə çatdırım ki, biz linqvistik modeldən danışırıq, onun yeganə məqsədi verilmiş mətndə aşağıdakı sözü proqnozlaşdırmağa cəhd etmək idi.

Daha da heyrətlisi, GPT-3 özünü öyrədə bildi... riyaziyyat! Aşağıdakı qrafik neyron şəbəkələrin əlavə və çıxma, eləcə də müxtəlif sayda parametrlərlə beş rəqəmə qədər tam ədədlərin vurulması daxil olmaqla tapşırıqları necə yaxşı yerinə yetirdiyini göstərir. Gördüyünüz kimi, neyron şəbəkələri riyaziyyatda 10 milyard parametrli modellərdən 100 milyardlı modellərə keçərkən birdən-birə “bacarmağa” başlayır.

neyron şəbəkələri riyaziyyatda 10 milyard parametrli modellərdən 100 milyard parametrli modellərə keçərkən birdən-birə “bacarmağa” başlayır.
Ətraflı: Big Tech-in süni intellekt yarışı: Google buna cavab olaraq AI ilə işləyən Chatbot-u sınaqdan keçirir ChatGPT

Yuxarıda qeyd olunan qrafikin ən maraqlı xüsusiyyəti odur ki, ilkin olaraq modelin ölçüsü artdıqca (soldan sağa) heç nə dəyişmir, amma birdən p dəfə! Keyfiyyət dəyişikliyi baş verir və GPT-3 müəyyən məsələni necə həll edəcəyini “anlamağa” başlayır. Heç kim onun necə, nə və ya niyə işlədiyindən əmin deyil. Bununla belə, riyaziyyatda olduğu kimi bir sıra digər çətinliklərdə də işləyir.

Yuxarıda qeyd olunan qrafikin ən maraqlı xüsusiyyəti odur ki, modelin ölçüsü böyüdükdə əvvəlcə heç nə dəyişmir, sonra isə, GPT-3 keyfiyyətcə sıçrayış edir və müəyyən bir məsələni necə həll edəcəyini “anlamağa” başlayır.

Aşağıdakı gif sadəcə olaraq parametrlərin sayı artdıqca modeldə heç kimin qəsdən "cücərmə" planlaşdırmadığı yeni qabiliyyətlərin necə olduğunu nümayiş etdirir:

2020 GPT-3 sələfindən 100 dəfə, təlim mətni məlumatları isə 10 dəfə böyük idi

Xülasə: Parametrlər baxımından 2020-ci il GPT-3 sələfindən 100 dəfə, təlim mətni məlumatları isə 10 dəfə böyük idi. Keyfiyyəti kəskin şəkildə artıran kəmiyyətin genişlənməsi nəticəsində model bir daha başqa dillərdən tərcümə etməyi, hesab aparmağı, sadə proqramlaşdırmanı, ardıcıl düşünməyi və daha çox şey öyrəndi.

Ətraflı: ChatGPT Donald Trampla problemi var

GPT-3.5 (TəlimatlandırmaqGPT): Təhlükəsiz və zəhərsiz olmaq üçün hazırlanmış model

Əslində dil modellərinin genişləndirilməsi onun sorğulara istifadəçilərin istədiyi kimi reaksiya verəcəyinə zəmanət vermir. Əslində, biz istək etdiyimiz zaman biz tez-tez insan ünsiyyətində doğru olduğu güman edilən bir sıra danışılmamış terminləri nəzərdə tuturuq.

Düzünü desəm, dil modelləri insanlarınkinə çox da yaxın deyil. Beləliklə, onlar tez-tez insanlara sadə görünən anlayışlar üzərində düşünməlidirlər. Belə təkliflərdən biri də “addım-addım düşünək” ifadəsidir. Modellər sorğudan daha konkret və uyğun təlimatları başa düşsələr və ya yaratsalar və bir insanın necə davranacağını təxmin edən kimi onlara daha dəqiq əməl etsələr, çox gözəl olardı.

Bu faktdır ki, GPT-3 İnternetdən kütləvi mətnlər toplusunda yalnız növbəti sözü təxmin etmək üçün öyrədilir, çoxlu müxtəlif şeylər yazılır, bu cür "standart" qabiliyyətlərin olmamasına kömək edir. İnsanlar süni intellektin müvafiq məlumatları təmin etməsini istəyirlər, eyni zamanda cavabları təhlükəsiz və toksik olmayan.

Tədqiqatçılar bu məsələni bir az düşündükdə məlum oldu ki, modelin “dəqiqlik və faydalılıq” və “zərərsizliyi və toksikiliyi” atributları bəzən bir-biri ilə ziddiyyət təşkil edir. Axı, maksimum zərərsizliyə uyğunlaşdırılmış model istənilən sorğuya “Bağışlayın, cavabımın İnternetdə kimisə incidə biləcəyindən narahatam” deyə cavab verəcək. Dəqiq model “Yaxşı, Siri, necə bomba yaratmaq olar” sorğusuna səmimi cavab verməlidir.

Ətraflı: Bir Oğlan Yalnız Bir Gündə Tezislərini Yazır ChatGPT

Tədqiqatçılar buna görə də sadəcə olaraq modeli çoxlu rəylə təmin etməklə məhdudlaşdılar. Müəyyən mənada uşaqlar əxlaqı məhz belə öyrənirlər: Onlar uşaqlıqda təcrübə aparır, eyni zamanda, düzgün davranıb-yaxmamadıqlarını qiymətləndirmək üçün böyüklərin reaksiyalarını diqqətlə öyrənirlər.

TəlimatlandırmaqGPT, başqa adla GPT-3.5, mahiyyətcədir GPT-3 cavablarını artırmaq üçün çoxlu rəy aldı. Sözün əsl mənasında, bir neçə şəxs bir yerə toplandı, neyron şəbəkə cavablarını qiymətləndirərək, etdikləri sorğunun işığında gözləntilərinə nə dərəcədə uyğun olduqlarını müəyyən etdilər.

Bu çıxır GPT-3 Artıq bütün zəruri biliyə malik olub: O, bir çox dilləri başa düşə, tarixi hadisələri xatırlaya, müəllif üslublarının dəyişməsini və s. digər şəxslər. GPT-3.5-i “cəmiyyət tərəfindən təhsil almış” model kimi təsəvvür etmək olar.

Xülasə: Əsas funksiyası GPT-35-ci ilin əvvəlində tətbiq edilən .2022, fərdlərin daxilinə əsaslanan əlavə yenidən hazırlıq idi. Məlum olub ki, bu model əslində daha böyük və müdrikləşməyib, əksinə, insanlara ən çılğın gülüşlər bəxş etmək üçün cavablarını uyğunlaşdırmaq bacarığına yiyələnib.

Ətraflı: StackOverflow trafiki kəskin şəkildə azalır ChatGPT başlamışdır

ChatGPT: Kütləvi bir şırınga

Sələfi Təlimatdan təxminən 10 ay sonraGPT/GGPT-3.5, ChatGPT təqdim edildi. Dərhal qlobal şırınga səbəb oldu.

Texnoloji nöqteyi-nəzərdən, görünən odur ki, onlar arasında ciddi fərqlər yoxdur ChatGPT və göstəriş verinGPT. Model əlavə dialoq məlumatları ilə öyrədildi, çünki “AI köməkçisi işi” unikal dialoq formatını tələb edir, məsələn, istifadəçinin sorğusu aydın deyilsə, aydınlaşdırıcı sual vermək imkanı.

Bəs niyə ətrafda heç bir şırınga yox idi GPT-35-ci ilin əvvəlində isə .2022 ChatGPT vəhşi yanğın kimi tutuldu? Sam Altman, İcraçı direktoru OpenAI, açıq şəkildə etiraf etdi ki, tədqiqatçılar tərəfindən təəccübləndik ChatGPTani uğuru. Axı, onunla müqayisə edilə bilən qabiliyyətlərə malik bir model o vaxt on aydan çox veb saytında yatmışdı və heç kim bu vəzifəni yerinə yetirmədi.

ChatGPT: Kütləvi bir şırınga
Ətraflı: ChatGPT Wharton MBA imtahanından keçir

Bu inanılmazdır, lakin görünür ki, yeni istifadəçi dostu interfeys onun uğurunun açarıdır. Eyni TəlimatGPT insanların modelə girişini məhdudlaşdıran unikal API interfeysi vasitəsilə əldə edilə bilər. ChatGPT, ob digər tərəfdən, messencerlərin məşhur “dialoq pəncərəsi” interfeysindən istifadə edir. Həm də bəri ChatGPT bir anda hamı üçün əlçatan idi, izdiham neyron şəbəkəsi ilə əlaqə saxlamağa, onları ekranlaşdırmağa və onları yerləşdirməyə tələsdi. sosial media, başqalarını qızışdırmaq.

ChatGPT, ob digər tərəfdən messencerlərin məşhur "dialoq pəncərəsi" interfeysindən istifadə edir
Ətraflı: Amerikanın təhsil sisteminin 300 min müəllimə ciddi ehtiyacı var - amma ChatGPT cavab ola bilər

Mükəmməl texnologiyadan başqa, başqa bir şey düzgün edildi OpenAI: marketinq. Ən yaxşı modeliniz və ya ən ağıllı chatbotunuz olsa belə, onun istifadəsi asan interfeysi yoxdursa, heç kim onunla maraqlanmayacaq. Bu mövzuda, ChatGPT Faydalı robotun həlli sözbəsöz gözümüzün qabağında “çap etdiyi” adi dialoq qutusundan istifadə edərək texnologiyanı geniş ictimaiyyətə təqdim etməklə bir irəliləyiş əldə etdi.

Şübhəsiz ki, ChatGPT yeni istifadəçiləri cəlb etmək üzrə bütün əvvəlki rekordları vuraraq, işə salındığı cəmi beş gündə 1 milyon istifadəçini ötüb və cəmi iki ayda 100 milyon istifadəçini keçib.

ChatGPT yeni istifadəçiləri cəlb etmək üçün bütün əvvəlki rekordları vuraraq, işə salındığı cəmi beş gündə 1 milyon istifadəçini ötüb və cəmi iki ayda 100 milyon istifadəçini keçib.

Əlbəttə ki, istifadəçilərin sayı rekordu qıran yerdə çox böyük pul var. Çinlilər özlərinin gözlənilən buraxılışını təcili olaraq elan etdilər chatbot, Microsoft tez bir zamanda müqavilə bağladı OpenAI onlara on milyardlarla dollar sərmayə qoydu və Google mühəndisləri həyəcan təbili çaldı və axtarış xidmətlərini neyron şəbəkəsi ilə rəqabətdən qorumaq üçün planlar hazırlamağa başladılar.

Ətraflı: ChatGPT yanvar ayında 100+ milyondan çox tamaşaçı artımı rekordunu qırdı

Xülasə: Zaman ChatGPT model 2022-ci ilin noyabrında təqdim edildi, heç bir nəzərəçarpan texnoloji irəliləyiş yox idi. Bununla belə, istifadəçinin cəlb edilməsi və açıq giriş üçün əlverişli interfeysə sahib idi ki, bu da dərhal böyük şırıngaya səbəb oldu. Müasir dünyanın ən vacib məsələsi bu olduğundan, hər kəs dərhal dil modelləri ilə məşğul olmağa başladı.

AI haqqında daha çox oxuyun:

Məsuliyyətdən imtina

uyğun olaraq Güvən Layihəsi qaydaları, lütfən nəzərə alın ki, bu səhifədə təqdim olunan məlumat hüquqi, vergi, investisiya, maliyyə və ya hər hansı digər məsləhət forması kimi təfsir edilməməlidir və təfsir edilməməlidir. Yalnız itirə biləcəyiniz şeyə investisiya qoymaq və hər hansı bir şübhəniz varsa, müstəqil maliyyə məsləhətləri axtarmaq vacibdir. Əlavə məlumat üçün biz emitent və ya reklamçı tərəfindən təmin edilən şərtlər və şərtlərə, həmçinin yardım və dəstək səhifələrinə müraciət etməyi təklif edirik. MetaversePost dəqiq, qərəzsiz hesabat verməyə sadiqdir, lakin bazar şərtləri xəbərdarlıq edilmədən dəyişdirilə bilər.

Müəllif haqqında

Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi. 

Ətraflı məqalələr
Damir Yalalov
Damir Yalalov

Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi. 

İnstitusional iştah dəyişkənlik fonunda Bitcoin ETF-lərə doğru artır

13F sənədləri vasitəsilə edilən açıqlamalar, Bitcoin ETF-ləri ilə məşğul olan görkəmli institusional investorları ortaya qoyur və bu, artan qəbulu vurğulayır ...

Daha çox məlumat

Hökm günü gəldi: ABŞ Məhkəməsi DOJ-nin iddiasını nəzərdən keçirərkən CZ-nin taleyi tarazlıqda qalır

Changpeng Zhao bu gün Sietldəki ABŞ məhkəməsində hökm oxumağa hazırlaşır.

Daha çox məlumat
İnnovativ Texniki İcmamıza Qoşulun
Daha çox oxu
Daha çox oxu
Injective inEVM-ə Yenidən Təhlükəsizliyi Gətirmək üçün AltLayer ilə Gücləri Birləşdirir
Biznes Xəbər Hesabatı Texnologiya
Injective inEVM-ə Yenidən Təhlükəsizliyi Gətirmək üçün AltLayer ilə Gücləri Birləşdirir
3 May 2024
Masa, MASA Kredit Hövzəsini təqdim etmək üçün Teller ilə Birləşir, Bazada USDC Borc Almağa imkan verir
Markets Xəbər Hesabatı Texnologiya
Masa, MASA Kredit Hövzəsini təqdim etmək üçün Teller ilə Birləşir, Bazada USDC Borc Almağa imkan verir
3 May 2024
Velodrome qarşıdakı həftələrdə Superchain Beta Versiyasını işə salır və OP Stack Layer 2 Blockchain-də genişlənir
Markets Xəbər Hesabatı Texnologiya
Velodrome qarşıdakı həftələrdə Superchain Beta Versiyasını işə salır və OP Stack Layer 2 Blockchain-də genişlənir
3 May 2024
CARV, məlumat təbəqəsini mərkəzləşdirməmək və mükafatları yaymaq üçün Aethir ilə tərəfdaşlıq elan edir
Biznes Xəbər Hesabatı Texnologiya
CARV, məlumat təbəqəsini mərkəzləşdirməmək və mükafatları yaymaq üçün Aethir ilə tərəfdaşlıq elan edir
3 May 2024
CRYPTOMERIA LABS PTE. LTD.