Süni intellektdə ən yaxşı 30+ transformator modeli: onlar nədir və necə işləyirlər

Bu məqaləni paylaş

• 
• 
• 
• 
• 

by Damir Yalalov

Dərc olundu: 12 iyun 2023-cü il, saat 6:52-də Yeniləndi: 12 iyun 2023-cü il, saat 6:52-da

by Karolina Gaszcz

Redaktə edilib və fakt yoxlanılıb: 12 iyun 2023-cü il, saat 6:52

Yerli dil təcrübənizi yaxşılaşdırmaq üçün bəzən biz avtomatik tərcümə plaginindən istifadə edirik. Nəzərə alın ki, avtomatik tərcümə dəqiq olmaya bilər, ona görə də oxuyun orijinal dəqiq məlumat üçün məqalə.

Son aylarda süni intellektdə hər birinin özünəməxsus və bəzən əyləncəli adları olan çoxsaylı Transformer modelləri ortaya çıxdı. Bununla belə, bu adlar bu modellərin əslində nə etdiyi barədə çox məlumat verməyə bilər. Bu məqalə ən populyar Transformator modellərinin hərtərəfli və sadə siyahısını təqdim etmək məqsədi daşıyır. O, bu modelləri təsnif edəcək, həmçinin Transformator ailəsində mühüm aspektləri və yenilikləri təqdim edəcək. Üst siyahı əhatə edəcək modellər öyrədilir BERT və ya kimi öz-özünə nəzarət edilən öyrənmə vasitəsilə GPT-3, həmçinin Instruct kimi insan iştirakı ilə əlavə təlim keçən modellərGPT tərəfindən istifadə edilən model ChatGPT.

AI-də Transformatorlar nədir?

Transformatorlar, "adlı bir araşdırma məqaləsində təqdim edilmiş bir növ dərin öyrənmə modelləridir.Sizə lazım olan hər şey diqqətdir” 2017-ci ildə Google tədqiqatçıları tərəfindən. Bu məqalə cəmi beş il ərzində 38,000-dən çox sitat toplamaqla böyük tanınıb.

Orijinal Transformer arxitekturası, tətbiq olunmazdan əvvəl populyarlıq qazanmış kodlayıcı-dekoder modellərinin xüsusi formasıdır. Bu modellər əsasən etibar edir LSTM və təkrarlanan neyron şəbəkələrinin digər variasiyaları (RNN-lər), diqqət istifadə edilən mexanizmlərdən yalnız biridir. Bununla belə, Transformer sənədi diqqətin giriş və çıxış arasında asılılıq yaratmaq üçün yeganə mexanizm kimi xidmət edə biləcəyi inqilabi bir fikir təklif etdi.

Transformers kontekstində giriş təbii dil emalında sözlər və ya alt sözlər ola bilən işarələr ardıcıllığından ibarətdir (NLP). Lüğətdən kənar söz problemini həll etmək üçün NLP modellərində alt sözlər adətən istifadə olunur. Kodlayıcının çıxışı bütün ardıcıllıq üçün ayrıca yerləşdirmə ilə birlikdə hər bir işarə üçün sabit ölçülü təsvir yaradır. Dekoder enkoderin çıxışını götürür və çıxışı kimi tokenlər ardıcıllığını yaradır.

Transformer kağızının nəşrindən bəri məşhur modellər kimi BERT və GPT ya kodlayıcı və ya dekoder komponentlərindən istifadə edərək, orijinal arxitekturanın aspektlərini mənimsəmişlər. Bu modellər arasında əsas oxşarlıq özünə diqqət mexanizmlərini və irəli ötürülən təbəqələri özündə birləşdirən təbəqə arxitekturasındadır. Transformers-də hər bir giriş tokeni giriş ardıcıllığında hər bir digər işarə ilə birbaşa asılılıqları qoruyarkən təbəqələr vasitəsilə öz yolunu keçir. Bu unikal xüsusiyyət RNN kimi ardıcıl modellərlə mümkün olmayan kontekstli token təqdimatlarının paralel və səmərəli hesablanmasına imkan verir.

Bu məqalə yalnız Transformator memarlığının səthini cızsa da, onun əsas aspektlərinə nəzər salır. Daha ətraflı başa düşmək üçün orijinal tədqiqat məqaləsinə və ya The Illustrated Transformer yazısına istinad etməyi tövsiyə edirik.

AI-də kodlayıcılar və dekoderlər nədir?

Təsəvvür edin ki, iki modeliniz var, bir kodlayıcı və bir dekoder, birlikdə işləmək komanda kimi. Kodlayıcı bir giriş alır və onu sabit uzunluqlu vektora çevirir. Sonra dekoder həmin vektoru götürür və onu çıxış ardıcıllığına çevirir. Bu modellər çıxışın girişə mümkün qədər yaxından uyğun olduğundan əmin olmaq üçün birlikdə öyrədilir.

Həm kodlayıcı, həm də dekoder bir neçə təbəqədən ibarət idi. Kodlayıcıdakı hər bir təbəqənin iki alt təbəqəsi var idi: çox başlı özünə diqqət qatı və sadə irəli ötürülən şəbəkə. Özünə diqqət səviyyəsi girişdəki hər bir işarəyə bütün digər tokenlərlə əlaqələri anlamağa kömək edir. Bu alt təbəqələrdə öyrənmə prosesini daha hamar etmək üçün qalıq əlaqə və təbəqənin normallaşdırılması da var.

Dekoderin çox başlığı özünə diqqət təbəqəsi kodlayıcıda olandan bir qədər fərqli işləyir. O, diqqət yetirdiyi tokenin sağ tərəfindəki nişanları maskalayır. Bu, dekoderin yalnız proqnozlaşdırmağa çalışdığı tokenlərdən əvvəl gələn işarələrə baxmasını təmin edir. Bu maskalı çoxbaşlı diqqət dekoderə dəqiq proqnozlar yaratmağa kömək edir. Bundan əlavə, dekoderə kodlayıcının bütün çıxışları üzərində çox başlı diqqət qatı olan başqa bir alt qat daxildir.

Qeyd etmək vacibdir ki, bu xüsusi detallar Transformer modelinin müxtəlif variantlarında dəyişdirilib. BERT və kimi modellər GPTməsələn, orijinal arxitekturanın ya kodlayıcı, ya da dekoder aspektinə əsaslanır.

Süni intellektdə diqqət qatları nədir?

Daha əvvəl müzakirə etdiyimiz model arxitekturasında çox başlı diqqət təbəqələri onu güclü edən xüsusi elementlərdir. Bəs diqqət tam olaraq nədir? Bunu bir sualı məlumat dəstinə uyğunlaşdıran və nəticə verən funksiya kimi düşünün. Girişdəki hər bir işarənin sorğusu, açarı və onunla əlaqəli dəyəri var. Hər bir işarənin çıxış təsviri dəyərlərin çəkili cəmini götürməklə hesablanır, burada hər bir dəyər üçün çəki sorğuya nə dərəcədə uyğun olması ilə müəyyən edilir.

Transformatorlar bu çəkiləri hesablamaq üçün miqyaslı nöqtə məhsulu adlanan uyğunluq funksiyasından istifadə edirlər. Transformers-də diqqətin maraqlı tərəfi odur ki, hər bir token öz hesablama yolundan keçir və giriş ardıcıllığında bütün tokenlərin paralel hesablanmasına imkan verir. Bu, sadəcə olaraq, hər bir işarə üçün təmsilləri müstəqil hesablayan çoxsaylı diqqət bloklarıdır. Daha sonra bu təmsillər tokenin son təqdimatını yaratmaq üçün birləşdirilir.

Təkrarlanan və kimi digər şəbəkə növləri ilə müqayisədə bükülmə şəbəkələri, diqqət təbəqələrinin bir sıra üstünlükləri var. Onlar hesablama baxımından səmərəlidirlər, yəni məlumatı tez emal edə bilirlər. Onlar həmçinin daha yüksək əlaqəyə malikdirlər ki, bu da ardıcıllıqla uzunmüddətli əlaqələri ələ keçirmək üçün faydalıdır.

Süni intellektdə dəqiq tənzimlənmiş modellər hansılardır?

Əsas modellər böyük miqdarda ümumi məlumat üzərində öyrədilmiş güclü modellərdir. Daha sonra onları daha kiçik bir dəstdə öyrətməklə xüsusi tapşırıqlar üçün uyğunlaşdırıla və ya dəqiqləşdirilə bilər hədəfə məxsus məlumatlar. tərəfindən populyarlaşan bu yanaşma BERT kağızı, dillə əlaqəli maşın öyrənmə tapşırıqlarında Transformator əsaslı modellərin üstünlük təşkil etməsinə səbəb oldu.

BERT kimi modellərə gəldikdə, onlar giriş işarələrinin təqdimatını yaradırlar, lakin konkret tapşırıqları təkbaşına yerinə yetirmirlər. Onları faydalı etmək üçün əlavə sinir təbəqələri yuxarıya əlavə olunur və model uçdan-uca öyrədilir, bu proses incə tənzimləmə kimi tanınır. Bununla belə, ilə generativ modellər kimi GPT, yanaşma bir az fərqlidir. GPT cümlədəki növbəti sözü təxmin etmək üçün öyrədilmiş dekoder dili modelidir. Böyük həcmdə veb məlumatları üzrə təlim keçərək, GPT giriş sorğuları və ya göstərişlər əsasında ağlabatan nəticələr yarada bilər.

Etmək üçün GPT daha faydalı, OpenAI tədqiqatçılar inkişaf etdirdilər TəlimatlandırmaqGPT, insan göstərişlərinə əməl etmək üçün öyrədilir. Bu, incə tənzimləmə ilə əldə edilir GPT müxtəlif tapşırıqlardan insan etiketli məlumatlardan istifadə etməklə. TəlimatlandırmaqGPT kimi məşhur mühərriklər tərəfindən istifadə olunur və geniş tapşırıqları yerinə yetirməyə qadirdir ChatGPT.

İncə tənzimləmə, həmçinin təməl modellərinin optimallaşdırılmış variantlarını yaratmaq üçün istifadə edilə bilər xüsusi məqsədlər dil modelləşdirməsindən kənar. Məsələn, mətn təsnifatı və axtarış axtarışı kimi semantika ilə bağlı tapşırıqlar üçün dəqiq tənzimlənmiş modellər var. Bundan əlavə, transformator kodlayıcıları çoxlu tapşırıq çərçivəsində uğurla nizamlanmışdır öyrənmə çərçivələri vahid paylaşılan modeldən istifadə edərək birdən çox semantik işi yerinə yetirmək.

Bu gün çox sayda istifadəçi tərəfindən istifadə edilə bilən təməl modellərinin versiyalarını yaratmaq üçün incə tənzimləmə istifadə olunur. Proses daxilə cavabların yaradılmasını əhatə edir istəklər verir və insanların nəticələri sıralayır. Bu sıralama təlim üçün istifadə olunur a mükafat modeli, hər bir çıxış üçün xallar təyin edir. İnsan rəyi ilə öyrənmənin gücləndirilməsi sonra modeli daha da öyrətmək üçün istifadə olunur.

Transformers niyə süni intellektin gələcəyidir?

Güclü model növü olan transformatorlar ilk dəfə dil tərcüməsi sahəsində nümayiş etdirilmişdir. Bununla belə, tədqiqatçılar Transformatorların böyük miqdarda etiketlənməmiş mətn üzərində öyrətməklə və daha sonra daha kiçik etiketli verilənlər toplusunda dəqiq tənzimləməklə dillə bağlı müxtəlif tapşırıqlar üçün istifadə oluna biləcəyini tez başa düşdülər. Bu yanaşma Transformers-ə dil haqqında əhəmiyyətli biliklər əldə etməyə imkan verdi.

Əvvəlcə dil tapşırıqları üçün nəzərdə tutulmuş Transformator arxitekturası digər proqramlara da tətbiq edilmişdir şəkillər yaratmaq, audio, musiqi və hətta hərəkətlər. Bu, Transformerləri cəmiyyətin müxtəlif aspektlərini dəyişdirən Generativ AI sahəsində əsas komponentə çevirdi.

kimi alətlərin və çərçivələrin mövcudluğu PyTorch və TensorFlow Transformator modellərinin geniş yayılmasında həlledici rol oynamışdır. Huggingface kimi şirkətlər özlərini qurdular ideya ətrafında biznes açıq mənbəli Transformator kitabxanalarının və NVIDIA-nın Hopper Tensor Cores kimi xüsusi aparatlarının kommersiyalaşdırılması bu modellərin təlimini və nəticə çıxarma sürətini daha da sürətləndirdi.

Transformers-in diqqətəlayiq tətbiqlərindən biri ChatGPT, tərəfindən buraxılmış bir chatbot OpenAI. Qısa müddət ərzində milyonlarla istifadəçiyə çataraq inanılmaz dərəcədə populyarlaşdı. OpenAI buraxıldığını da açıqladı GPT-4, kimi vəzifələrdə insana bənzər performansa nail ola bilən daha güclü versiya tibbi və hüquqi imtahanlar.

Transformerlərin süni intellekt sahəsinə və onların geniş tətbiq sahəsinə təsiri danılmazdır. Onların var yolu dəyişdirdi biz dillə əlaqəli vəzifələrə yaxınlaşırıq və generativ süni intellektdə yeni irəliləyişlərə yol açırıq.

3 Hazırlıq Memarlığının Növləri

Əvvəlcə Kodlayıcı və Dekoderdən ibarət olan Transformator arxitekturası xüsusi ehtiyaclara əsaslanan müxtəlif variasiyaları daxil etmək üçün inkişaf etmişdir. Gəlin bu variasiyaları sadə sözlərlə parçalayaq.

1. Kodlayıcıya hazırlıq: Bu modellər tam cümlələri və ya keçidləri başa düşməyə yönəlmişdir. Əvvəlcədən məşq zamanı kodlayıcı giriş cümləsində maskalı işarələri yenidən qurmaq üçün istifadə olunur. Bu, modelə ümumi konteksti anlamağı öyrənməyə kömək edir. Bu cür modellər mətnin təsnifatı, cəlbedicilik və ekstraktiv suallara cavab kimi tapşırıqlar üçün faydalıdır.
2. Dekoderə hazırlıq: Dekoder modelləri tokenlərin əvvəlki ardıcıllığına əsaslanaraq növbəti nişanı yaratmaq üçün öyrədilir. Onlar avto-reqressiv dil modelləri kimi tanınır. Dekoderdəki özünə diqqət layları yalnız cümlədəki verilmiş işarədən əvvəl tokenlərə daxil ola bilər. Bu modellər mətnin yaradılması ilə bağlı tapşırıqlar üçün idealdır.
3. Transformator (Enkoder-Dekoder) Əvvəlcədən Təlim: Bu variasiya həm kodlayıcı, həm də dekoder komponentlərini birləşdirir. Kodlayıcının özünə diqqət layları bütün daxiletmə tokenlərinə daxil ola bilər, dekoderin özünə diqqət layları isə yalnız verilmiş tokendən əvvəl tokenlərə daxil ola bilər. Bu arxitektura dekoderə kodlayıcı tərəfindən öyrənilən təsvirlərdən istifadə etməyə imkan verir. Kodlayıcı-dekoder modelləri ümumiləşdirmə, tərcümə və ya generativ suala cavab kimi tapşırıqlar üçün çox uyğundur.

Təlimdən öncəki məqsədlərə denoising və ya səbəbli dil modelləşdirməsi daxil ola bilər. Bu məqsədlər yalnız kodlayıcı və ya yalnız dekoder modelləri ilə müqayisədə kodlayıcı-dekoder modelləri üçün daha mürəkkəbdir. Transformator arxitekturası modelin fokusundan asılı olaraq müxtəlif dəyişikliklərə malikdir. İstər tam cümlələri başa düşmək, mətn yaratmaq və ya hər ikisini müxtəlif tapşırıqlar üçün birləşdirmək olsun, Transformers dillə bağlı müxtəlif problemlərin həllində çeviklik təklif edir.

Əvvəlcədən hazırlanmış modellər üçün 8 tapşırıq növü

Bir modeli öyrədərkən, ona öyrənmək üçün tapşırıq və ya məqsəd verməliyik. Təbii dil emalında (NLP) müxtəlif tapşırıqlar mövcuddur ki, onlardan ilkin hazırlıq modelləri üçün istifadə edilə bilər. Gəlin bu tapşırıqlardan bəzilərini sadə dillə bölək:

1. Dil Modelləşdirməsi (LM): Model cümlədəki növbəti işarəni proqnozlaşdırır. Konteksti başa düşməyi və ardıcıl cümlələr yaratmağı öyrənir.
2. Səbəb dilinin modelləşdirilməsi: Model soldan sağa ardıcıllıqla mətn ardıcıllığında növbəti işarəni proqnozlaşdırır. Bu, hər dəfə bir sözdən ibarət cümlələr yaradan hekayə modelinə bənzəyir.
3. Prefiks Dil Modelləşdirməsi: Model əsas ardıcıllıqdan "prefiks" bölməsini ayırır. O, prefiks daxilində istənilən işarəyə qatıla bilər və sonra ardıcıllığın qalan hissəsini avtoreqressiv şəkildə yaradır.
4. Maskalı Dil Modelləşdirməsi (MLM): Giriş cümlələrindəki bəzi işarələr maskalanır və model ətrafdakı kontekst əsasında itkin işarələri proqnozlaşdırır. Boşluqları doldurmağı öyrənir.
5. Permuted Language Modeling (PLM): Model giriş ardıcıllığının təsadüfi dəyişdirilməsi əsasında növbəti işarəni proqnozlaşdırır. O, tokenlərin müxtəlif sifarişlərini idarə etməyi öyrənir.
6. Denoising Autoencoder (DAE): Model qismən zədələnmiş girişi qəbul edir və orijinal, təhrif olunmamış girişi bərpa etmək məqsədi daşıyır. Səs-küy və ya mətnin çatışmayan hissələrini idarə etməyi öyrənir.
7. Replaced Token Detection (RTD): Model işarənin orijinal mətndən və ya yaradılan versiyadan gəldiyini aşkarlayır. O, dəyişdirilmiş və ya manipulyasiya edilmiş tokenləri müəyyən etməyi öyrənir.
8. Sonrakı Cümlə Proqnozu (NSP): Model iki giriş cümləsinin təlim məlumatlarından davamlı seqmentlər olub-olmadığını ayırd etməyi öyrənir. Cümlələr arasındakı əlaqəni başa düşür.

Bu tapşırıqlar modelə dilin strukturunu və mənasını öyrənməyə kömək edir. Bu tapşırıqlar üzrə hazırlıq keçməklə, modellər xüsusi tətbiqlər üçün dəqiq tənzimlənməmişdən əvvəl dili yaxşı başa düşürlər.

Süni intellektdə ən yaxşı 30+ Transformator

FAQ

AI-də transformatorlar bir növdür dərin öyrənmə memarlığı təbii dilin işlənməsini və digər vəzifələri dəyişdirən. Onlar bir cümlədəki sözlər arasındakı əlaqələri ələ keçirmək üçün özünə diqqət mexanizmlərindən istifadə edərək, onlara insana bənzər mətni başa düşməyə və yaratmağa imkan verir.

Kodlayıcılar və dekoderlər ardıcıllıqdan ardıcıllığa modellərdə çox istifadə olunan komponentlərdir. Kodlayıcılar mətn və ya şəkillər kimi daxilolma məlumatlarını emal edir və onu sıxılmış təsvirə çevirir, dekoderlər isə kodlaşdırılmış təqdimat əsasında çıxış məlumatlarını yaradır, dil tərcüməsi və ya şəkil yazısı kimi tapşırıqları yerinə yetirir.

Diqqət təbəqələri istifadə olunan komponentlərdir sinir şəbəkələri, xüsusilə Transformator modellərində. Onlar modelə giriş ardıcıllığının müxtəlif hissələrinə seçici şəkildə fokuslanmağa, aktuallığına əsasən hər bir elementə çəkilər təyin etməyə imkan verir və elementlər arasında asılılıqları və əlaqələri effektiv şəkildə ələ keçirməyə imkan verir.

İncə tənzimlənmiş modellər, performanslarını yaxşılaşdırmaq və onları həmin tapşırığın xüsusi tələblərinə uyğunlaşdırmaq üçün xüsusi tapşırıq və ya verilənlər toplusu üzrə əlavə təlim keçmiş əvvəlcədən hazırlanmış modellərə istinad edir. Bu incə tənzimləmə prosesi onun proqnozlarını optimallaşdırmaq və onu hədəf tapşırıq üçün daha ixtisaslaşmış etmək üçün modelin parametrlərinin tənzimlənməsini nəzərdə tutur.

Transformatorlar süni intellektin gələcəyi hesab olunur, çünki onlar təbii dilin işlənməsi, təsvirin yaradılması və s. daxil olmaqla, geniş tapşırıqlarda müstəsna performans nümayiş etdiriblər. Onların uzunmüddətli asılılıqları ələ keçirmək və ardıcıl məlumatları səmərəli şəkildə emal etmək qabiliyyəti onları müxtəlif tətbiqlər üçün yüksək dərəcədə uyğunlaşmaq və effektiv edir, generativ süni intellektdə irəliləyişlərə yol açır və cəmiyyətin bir çox aspektlərində inqilab edir.

Süni intellektdə ən məşhur transformator modellərinə BERT (Transformerlərdən Bidirectional Encoder Representations) daxildir. GPT (General Pre-Təlimli Transformator) və T5 (Mətndən Mətnə Transfer Transformatoru). Bu modellər müxtəlif təbii dil emal tapşırıqlarında əla nəticələr əldə etmiş və AI tədqiqat cəmiyyətində əhəmiyyətli populyarlıq qazanmışdır.

AI haqqında daha çox oxuyun:

• Texas Universiteti: İnsanların şüurunu Beyin Fəaliyyətinin Dekoderindən istifadə etməklə aşkar etmək olar
• Facebook süni intellekt transformatorlarının performansını ikiqat artırmaq üçün yeni üsul hazırlayır
• GPT-4 Şəkillər, Sənədlər, Diaqramlar və Skrinşotlar üçün sorğularınızı idarə edə bilər

Müəllif haqqında

Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi. 

Ətraflı məqalələr

Damir Yalalov

• 
• 

Damir Yalalov

Damir komanda rəhbəri, məhsul meneceri və redaktordur Metaverse Post, AI/ML, AGI, LLMs, Metaverse və kimi mövzuları əhatə edir Web3- əlaqəli sahələr. Onun məqalələri hər ay bir milyondan çox istifadəçinin kütləsini cəlb edir. O, SEO və rəqəmsal marketinq sahəsində 10 illik təcrübəyə malik mütəxəssis kimi görünür. Damirin adı Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto və digər nəşrlər. O, rəqəmsal köçəri kimi BƏƏ, Türkiyə, Rusiya və MDB arasında səyahət edir. Damir fizika üzrə bakalavr dərəcəsi qazandı və onun fikrincə, bu, ona internetin daim dəyişən mənzərəsində uğur qazanmaq üçün lazım olan tənqidi düşünmə bacarıqlarını verdi. 

• 

Ətraflı məqalələr