Daugiau nei 30 geriausių dirbtinio intelekto transformatorių modelių: kas jie yra ir kaip jie veikia

Pasidalykite šiuo straipsniu

• 
• 
• 
• 
• 

by Damiras Jalalovas

Paskelbta: 12 m. birželio 2023 d., 6 val. Atnaujinta: 52 m. birželio 12 d., 2023 val.

by Karolina Gaszcz

Redaguota ir patikrinta faktais: 12 m. birželio 2023 d. 6:52 val

Siekdami pagerinti vietinės kalbos patirtį, kartais naudojame automatinio vertimo papildinį. Atminkite, kad automatinis vertimas gali būti netikslus, todėl perskaitykite originalus Straipsnyje tikslios informacijos.

Pastaraisiais mėnesiais dirbtinio intelekto srityje atsirado daugybė transformatorių modelių, kurių kiekvienas turi unikalius ir kartais juokingus pavadinimus. Tačiau šie pavadinimai gali nesuteikti daug informacijos apie tai, ką šie modeliai iš tikrųjų daro. Šio straipsnio tikslas yra pateikti išsamų ir paprastą populiariausių transformatorių modelių sąrašą. Jame šie modeliai bus klasifikuojami, taip pat bus pristatyti svarbūs Transformerių šeimos aspektai ir naujovės. Top sąrašas apims apmokyti modeliai per savarankišką mokymąsi, pvz., BERT arba GPT-3, taip pat modeliai, kurie papildomai mokomi dalyvaujant žmonėms, pvz., InstructGPT naudojamas modelis ChatGPT.

Kas yra AI transformatoriai?

Transformatoriai yra gilaus mokymosi modelių tipas, pristatytas moksliniame darbe, pavadintame „Dėmesys yra viskas, ko jums reikia“, 2017 m. „Google“ mokslininkų. Šis dokumentas sulaukė didžiulio pripažinimo – vos per penkerius metus sukaupta daugiau nei 38,000 XNUMX citatų.

Originali transformatoriaus architektūra yra specifinė kodavimo ir dekodavimo modelių forma, kuri išpopuliarėjo iki jos pristatymo. Šie modeliai daugiausia rėmėsi LSTM ir kiti pasikartojančių neuronų tinklų variantai (RNN), dėmesys yra tik vienas iš naudojamų mechanizmų. Tačiau „Transformerio“ dokumente buvo pasiūlyta revoliucinė idėja, kad dėmesys galėtų būti vienintelis mechanizmas, leidžiantis nustatyti įvesties ir išvesties priklausomybes.

Transformatorių kontekste įvestį sudaro žetonų seka, kuri gali būti žodžiai arba požodžiai natūralios kalbos apdorojimo metu (NLP). NLP modeliuose dažniausiai naudojami požodžiai, siekiant išspręsti žodyno išeinančių žodžių problemą. Kodavimo įrenginio išvestis sukuria fiksuoto matmens kiekvieno atpažinimo atvaizdą kartu su atskiru visos sekos įterpimu. Dekoderis paima kodavimo įrenginio išvestį ir generuoja žetonų seką kaip savo išvestį.

Nuo Transformerio popieriaus išleidimo, tokie populiarūs modeliai kaip ETRI ir GPT pritaikė originalios architektūros aspektus, naudodami kodavimo arba dekoderio komponentus. Pagrindinis šių modelių panašumas slypi sluoksnių architektūroje, kuri apima savęs dėmesio mechanizmus ir nukreipimo į priekį sluoksnius. Transformatoriuose kiekvienas įvesties prieigos raktas eina savo keliu per sluoksnius, išlaikant tiesiogines priklausomybes nuo visų kitų įvesties sekos prieigos raktų. Ši unikali savybė leidžia lygiagrečiai ir efektyviai skaičiuoti kontekstinių žetonų atvaizdus, ​​o tai neįmanoma naudojant nuoseklius modelius, tokius kaip RNN.

Nors šis straipsnis tik subraižo transformatoriaus architektūros paviršių, jame apžvelgiami pagrindiniai jos aspektai. Norėdami gauti išsamesnį supratimą, rekomenduojame remtis originaliu tyrimo straipsniu arba „The Illustrated Transformer“ įrašu.

Kas yra AI kodavimo ir dekodavimo įrenginiai?

Įsivaizduokite, kad turite du modelius: koduotuvą ir dekoderį, Dirbdami kartu kaip komanda. Kodavimo įrenginys paima įvestį ir paverčia jį fiksuoto ilgio vektoriumi. Tada dekoderis paima tą vektorių ir paverčia jį išvesties seka. Šie modeliai mokomi kartu, siekiant užtikrinti, kad išvestis kuo tiksliau atitiktų įvestį.

Tiek kodavimo įrenginys, tiek dekoderis turėjo kelis sluoksnius. Kiekvienas koduotuvo sluoksnis turėjo du antrinius sluoksnius: kelių galvučių savęs dėmesio sluoksnį ir paprastą perdavimo tinklą. Dėmesio į save sluoksnis padeda kiekvienam įvestyje esančiam žetonui suprasti ryšius su visais kitais žetonais. Šie posluoksniai taip pat turi liekamąjį ryšį ir sluoksnio normalizavimą, kad mokymosi procesas būtų sklandesnis.

Daugiagalvė dekoderio galvutė dėmesio sau sluoksnis veikia šiek tiek kitaip nei kodavimo priemonėje. Jis užmaskuoja žetonus, esančius dešinėje nuo žetono, į kurį jis sutelkia dėmesį. Taip užtikrinama, kad dekoderis žiūrėtų tik į tuos žetonus, kurie yra prieš tą, kurį jis bando nuspėti. Šis užmaskuotas kelių galvų dėmesys padeda dekoderiui sukurti tikslias prognozes. Be to, dekoderyje yra dar vienas posluoksnis, kuris yra kelių galvų dėmesio sluoksnis per visus kodavimo įrenginio išėjimus.

Svarbu pažymėti, kad šios konkrečios detalės buvo pakeistos įvairiuose transformatoriaus modelio variantuose. Tokie modeliai kaip BERT ir GPTPavyzdžiui, yra pagrįsti originalios architektūros kodavimo arba dekoderio aspektu.

Kas yra dėmesio sluoksniai AI?

Modelio architektūroje, kurią aptarėme anksčiau, kelių galvų dėmesio sluoksniai yra ypatingi elementai, dėl kurių jis yra galingas. Bet kas tiksliai yra dėmesys? Pagalvokite apie tai kaip apie funkciją, kuri susieja klausimą su informacijos rinkiniu ir pateikia išvestį. Kiekvienas įvestyje esantis prieigos raktas turi su juo susietą užklausą, raktą ir reikšmę. Kiekvieno prieigos rakto išvesties vaizdas apskaičiuojamas imant svertinę reikšmių sumą, kur kiekvienos reikšmės svoris nustatomas pagal tai, kaip ji atitinka užklausą.

Šiems svoriams apskaičiuoti transformatoriai naudoja suderinamumo funkciją, vadinamą mastelio taškiniu produktu. Įdomus dalykas, susijęs su dėmesiu Transformatoriuose, yra tai, kad kiekvienas prieigos raktas eina per savo skaičiavimo kelią, leidžiantį lygiagrečiai skaičiuoti visus įvesties sekos žetonus. Tai tiesiog keli dėmesio blokai, kurie savarankiškai apskaičiuoja kiekvieno žetono reprezentacijas. Tada šie atvaizdai sujungiami, kad būtų sukurtas galutinis žetono vaizdas.

Palyginti su kitų tipų tinklais, pvz., pasikartojančiais ir konvoliuciniai tinklai, dėmesio sluoksniai turi keletą privalumų. Jie yra veiksmingi skaičiavimo požiūriu, tai reiškia, kad jie gali greitai apdoroti informaciją. Jie taip pat turi didesnį ryšį, kuris yra naudingas fiksuojant ilgalaikius santykius sekomis.

Kas yra sureguliuoti AI modeliai?

Pamatų modeliai yra galingi modeliai, apmokyti remiantis dideliu bendrųjų duomenų kiekiu. Tada juos galima pritaikyti arba tiksliai sureguliuoti konkrečioms užduotims, mokant juos mažesniu rinkiniu tiksliniai duomenys. Šis požiūris, kurį išpopuliarino BERT popierius, paskatino transformatoriumi pagrįstų modelių dominavimą atliekant su kalbomis susijusias mašininio mokymosi užduotis.

Tokiuose modeliuose kaip BERT jie sukuria įvesties žetonų atvaizdus, ​​bet patys neatlieka konkrečių užduočių. Kad jie būtų naudingi, papildomi nerviniai sluoksniai pridedami viršuje, o modelis apmokomas nuo galo iki galo – procesas žinomas kaip tikslus derinimas. Tačiau su generatyviniai modeliai kaip GPT, požiūris šiek tiek skiriasi. GPT yra dekoderio kalbos modelis, išmokytas nuspėti kitą sakinio žodį. Mokydamiesi apie didžiulius žiniatinklio duomenų kiekius, GPT gali generuoti pagrįstą išvestį, pagrįstą įvesties užklausomis ar raginimais.

Padaryti GPT naudingesnis, OpenAI mokslininkai sukūrė NurodykiteGPT, kuri yra išmokyta vykdyti žmogaus nurodymus. Tai pasiekiama koreguojant GPT naudojant žmonių pažymėtus duomenis iš įvairių užduočių. NurodykiteGPT gali atlikti įvairias užduotis ir yra naudojamas populiariuose varikliuose, pvz ChatGPT.

Tikslus derinimas taip pat gali būti naudojamas kuriant optimizuotus pamatų modelių variantus konkretiems tikslams už kalbos modeliavimo ribų. Pavyzdžiui, yra modelių, tiksliai suderintų su semantinėmis užduotimis, tokiomis kaip teksto klasifikavimas ir paieškos paieška. Be to, transformatorių kodavimo įrenginiai buvo sėkmingai suderinti atliekant kelias užduotis mokymosi sistemos atlikti kelias semantines užduotis naudojant vieną bendrą modelį.

Šiandien koregavimas naudojamas kuriant pamatų modelių versijas, kurias gali naudoti daug vartotojų. Procesas apima atsakymų į įvestį generavimą raginimus ir leisti žmonėms reitinguoti rezultatus. Šis reitingas naudojamas treniruoti a atlygio modelis, kuris priskiria balus kiekvienam išėjimui. Sustiprinti mokymąsi su žmogaus grįžtamuoju ryšiu tada naudojamas modeliui toliau mokyti.

Kodėl „Transformeriai“ yra AI ateitis?

Transformatoriai, galingo modelio tipas, pirmą kartą buvo pademonstruoti kalbos vertimo srityje. Tačiau mokslininkai greitai suprato, kad transformatoriai gali būti naudojami įvairioms su kalbomis susijusioms užduotims atlikti, mokant juos su dideliu kiekiu nepažymėto teksto, o vėliau juos tikslinant pagal mažesnį pažymėtų duomenų rinkinį. Šis metodas leido „Transformeriams“ įgyti reikšmingų žinių apie kalbą.

Transformatoriaus architektūra, iš pradžių sukurta kalbos užduotims, taip pat buvo pritaikyta kitoms programoms, pvz vaizdų generavimas, garsas, muzika ir net veiksmai. Dėl to „Transformeriai“ tapo pagrindiniu komponentu generatyvaus AI srityje, kuri keičia įvairius visuomenės aspektus.

Įrankių ir sistemų, tokių kaip „PyTorch“ ir TensorFlow suvaidino lemiamą vaidmenį plačiai pritaikant Transformerių modelius. Tokios įmonės kaip Huggingface sukūrė savo verslas aplink idėją atvirojo kodo transformatorių bibliotekų komercializavimas ir specializuota aparatinė įranga, pvz., NVIDIA Hopper Tensor Cores, dar labiau pagreitino šių modelių mokymą ir išvadų greitį.

Vienas iš svarbiausių „Transformatorių“ pritaikymų yra ChatGPT, išleistas pokalbių robotas OpenAI. Jis tapo neįtikėtinai populiarus ir per trumpą laiką pasiekė milijonus vartotojų. OpenAI taip pat paskelbė apie išleidimą GPT-4, galingesnė versija, galinti pasiekti žmogaus našumą atliekant tokias užduotis kaip medicininius ir teisinius egzaminus.

Transformatorių įtaka AI srityje ir jų platus pritaikymas yra neabejotinas. Jie turi pakeitė kelią atliekame su kalba susijusias užduotis ir ruošiame kelią naujiems generatyvaus AI pažangai.

3 išankstinio mokymo architektūros tipai

Transformatoriaus architektūra, kurią iš pradžių sudarė koduotojas ir dekoderis, išsivystė taip, kad apimtų skirtingus variantus, atsižvelgiant į konkrečius poreikius. Išskaidykime šiuos variantus paprastais žodžiais.

1. Koduotojo paruošimas: šie modeliai skirti suprasti užbaigtus sakinius arba ištraukas. Išankstinio lavinimo metu koduotuvas naudojamas užmaskuotiems žetonams atkurti įvesties sakinyje. Tai padeda modeliui išmokti suprasti bendrą kontekstą. Tokie modeliai yra naudingi atliekant tokias užduotis kaip teksto klasifikavimas, įtraukimas ir išsamus atsakymas į klausimus.
2. Dekoderio išankstinis mokymas: Dekoderių modeliai mokomi generuoti kitą prieigos raktą pagal ankstesnę žetonų seką. Jie žinomi kaip automatiškai regresiniai kalbos modeliai. Dekoderyje esantys dėmesio sau sluoksniai gali pasiekti tik žetonus, esančius prieš nurodytą sakinio prieigos raktą. Šie modeliai idealiai tinka užduotims, susijusioms su teksto generavimu.
3. Transformatoriaus (kodavimo-dekoderio) išankstinis mokymas: Šis variantas sujungia kodavimo ir dekoderio komponentus. Kodavimo įrenginio dėmesio sau sluoksniai gali pasiekti visus įvesties prieigos raktus, o dekoderio dėmesio sau sluoksniai gali pasiekti tik prieš duotąjį prieigos raktą esančius prieigos raktus. Ši architektūra leidžia dekoderiui naudoti kodavimo įrenginio išmoktas reprezentacijas. Kodavimo ir dekodavimo modeliai puikiai tinka tokioms užduotims kaip apibendrinimas, vertimas ar generatyvus atsakymas į klausimus.

Išankstinio mokymo tikslai gali apimti triukšmo slopinimą arba priežastinį kalbos modeliavimą. Šie kodavimo ir dekoderio modelių tikslai yra sudėtingesni, palyginti su modeliais, kuriuose naudojamas tik koduotuvas arba tik dekoderis. Transformatoriaus architektūra turi skirtingus variantus, priklausomai nuo modelio fokusavimo. Nesvarbu, ar tai būtų supratimas ištisų sakinių, teksto generavimas ar abiejų derinimas atliekant įvairias užduotis, „Transformers“ siūlo lankstumą sprendžiant įvairius su kalba susijusius iššūkius.

8 užduočių tipai iš anksto apmokytiems modeliams

Mokydamiesi modelį, turime duoti jam užduotį arba tikslą, iš kurio būtų galima pasimokyti. Yra įvairių natūralios kalbos apdorojimo (NLP) užduočių, kurias galima naudoti rengiant modelius. Paprasčiausiai išskaidykime kai kurias iš šių užduočių:

1. Kalbos modeliavimas (LM): modelis numato kitą žetoną sakinyje. Mokoma suprasti kontekstą ir generuoti nuoseklius sakinius.
2. Priežastinės kalbos modeliavimas: modelis numato kitą žetoną teksto sekoje, tvarka iš kairės į dešinę. Tai tarsi pasakojimo modelis, generuojantis sakinius po vieną žodį.
3. Priešdėlio kalbos modeliavimas: modelis atskiria „priešdėlio“ skyrių nuo pagrindinės sekos. Jis gali atsižvelgti į bet kurį priešdėlio prieigos raktą, o tada automatiškai generuoja likusią sekos dalį.
4. Užmaskuotos kalbos modeliavimas (MLM): kai kurie žetonai įvesties sakiniuose yra užmaskuoti, o modelis numato trūkstamus žetonus pagal aplinkinį kontekstą. Jis mokosi užpildyti tuščias vietas.
5. Permutuotos kalbos modeliavimas (PLM): modelis numato kitą prieigos raktą, remdamasis atsitiktine įvesties sekos permutacija. Jis mokosi valdyti skirtingus žetonų užsakymus.
6. Triukšmo šalinimo automatinis kodavimo įrenginys (DAE): modelis naudoja iš dalies sugadintą įvestį ir siekia atkurti pradinę, neiškraipytą įvestį. Jis mokosi valdyti triukšmą ar trūkstamas teksto dalis.
7. Pakeisto žetono aptikimas (RTD): modelis nustato, ar prieigos raktas kilęs iš originalaus teksto, ar sugeneruotos versijos. Jis išmoksta atpažinti pakeistus ar manipuliuotus žetonus.
8. Kito sakinio numatymas (NSP): modelis išmoksta atskirti, ar du įvesties sakiniai yra ištisiniai segmentai iš mokymo duomenų. Jis supranta ryšį tarp sakinių.

Šios užduotys padeda modeliui išmokti kalbos struktūrą ir reikšmę. Iš anksto apmokydami šias užduotis, modeliai gerai supranta kalbą, prieš juos pritaikant konkrečioms programoms.

Daugiau nei 30 geriausių AI transformatorių

DUK

AI transformatoriai yra tam tikra rūšis gilaus mokymosi architektūra kad pasikeitė natūralios kalbos apdorojimo ir kitos užduotys. Jie naudoja dėmesio į save mechanizmus, kad užfiksuotų ryšius tarp žodžių sakinyje, kad galėtų suprasti ir generuoti į žmogų panašų tekstą.

Koderiai ir dekoderiai yra komponentai, dažniausiai naudojami modeliuose iš sekos į seką. Kodavimo įrenginiai apdoroja įvesties duomenis, pvz., tekstą ar vaizdus, ​​ir konvertuoja juos į suglaudintą atvaizdą, o dekoderiai generuoja išvesties duomenis pagal užkoduotą atvaizdą, kad būtų galima atlikti tokias užduotis kaip kalbos vertimas arba vaizdų antraštės.

Dėmesio sluoksniai yra naudojami komponentai neuroniniai tinklai, ypač transformatorių modeliuose. Jie leidžia modeliui pasirinktinai sutelkti dėmesį į skirtingas įvesties sekos dalis, kiekvienam elementui priskiriant svorį pagal jo aktualumą, leidžiantį efektyviai užfiksuoti priklausomybes ir ryšius tarp elementų.

Tiksliai suderinti modeliai reiškia iš anksto parengtus modelius, kurie buvo toliau mokomi atlikti konkrečią užduotį arba duomenų rinkinį, siekiant pagerinti jų veikimą ir pritaikyti juos prie konkrečių tos užduoties reikalavimų. Šis patikslinimo procesas apima modelio parametrų koregavimą, kad būtų optimizuotos jo prognozės ir jis būtų labiau specializuotas tikslinei užduočiai atlikti.

Transformatoriai laikomi AI ateitimi, nes jie pademonstravo išskirtinį našumą atliekant įvairias užduotis, įskaitant natūralios kalbos apdorojimą, vaizdų generavimą ir kt. Jų gebėjimas užfiksuoti ilgalaikes priklausomybes ir efektyviai apdoroti nuoseklius duomenis daro juos puikiai pritaikomus ir veiksmingus įvairioms programoms, atveriant kelią generatyvaus AI pažangai ir keičiant daugelį visuomenės aspektų.

Garsiausi AI transformatorių modeliai yra BERT (transformatorių dvikrypčiai kodavimo atvaizdai), GPT (Generatyvinis iš anksto apmokytas transformatorius) ir T5 (Teksto į tekstą perdavimo transformatorius). Šie modeliai pasiekė puikių rezultatų atliekant įvairias natūralios kalbos apdorojimo užduotis ir įgijo didelį populiarumą AI tyrimų bendruomenėje.

Skaitykite daugiau apie AI:

• Teksaso universitetas: žmonių mintis gali būti atskleista naudojant smegenų veiklos dekoderį
• „Facebook“ kuria naują metodą, kaip padvigubinti AI transformatorių našumą
• GPT-4 Gali tvarkyti jūsų užklausas dėl vaizdų, dokumentų, diagramų ir ekrano kopijų

Apie autorių

Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže. 

Daugiau straipsnių

Damiras Jalalovas

• 
• 

Damiras Jalalovas

Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže. 

• 

Daugiau straipsnių