30+ najboljših modelov transformatorjev v AI: Kaj so in kako delujejo

Dajte v skupno rabo ta članek

• 
• 
• 
• 
• 

by Damir Yalalov

Objavljeno: 12. junij 2023 ob 6 Posodobljeno: 52. junij 12 ob 2023

by Karolina Gaszcz

Urejeno in preverjeno: 12. junij 2023 ob 6

Za izboljšanje vaše izkušnje v lokalnem jeziku včasih uporabimo vtičnik za samodejno prevajanje. Upoštevajte, da samodejni prevod morda ni točen, zato preberite izvirno članek za natančne informacije.

V zadnjih mesecih so se v AI pojavili številni modeli transformerjev, vsak z edinstvenimi in včasih zabavnimi imeni. Vendar ta imena morda ne nudijo veliko vpogleda v to, kaj ti modeli dejansko počnejo. Namen tega članka je zagotoviti izčrpen in preprost seznam najbolj priljubljenih modelov Transformer. Razvrstil bo te modele in predstavil pomembne vidike in novosti znotraj družine Transformer. Zgornji seznam bo zajemal modeli usposobljeni preko samonadzorovanega učenja, kot BERT oz GPT-3, pa tudi modele, ki se dodatno usposabljajo s človeškim sodelovanjem, kot je InstructGPT model, ki ga uporablja ChatGPT.

Kaj so transformatorji v AI?

Transformatorji so vrsta modelov globokega učenja, ki so bili predstavljeni v raziskovalnem članku z naslovom "Pozor je vse, kar potrebujete” Googlovih raziskovalcev leta 2017. Ta članek je pridobil izjemno prepoznavnost, saj je v samo petih letih zbral več kot 38,000 citatov.

Prvotna arhitektura Transformerja je posebna oblika modelov kodirnika-dekoderja, ki je postala priljubljena pred uvedbo. Ti modeli so se pretežno zanašali na LSTM in druge različice ponavljajočih se nevronskih mrež (RNN), pri čemer je pozornost le eden od uporabljenih mehanizmov. Vendar pa je dokument Transformer predlagal revolucionarno idejo, da bi pozornost lahko služila kot edini mehanizem za vzpostavitev odvisnosti med vhodom in izhodom.

V kontekstu Transformerjev je vhod sestavljen iz zaporedja žetonov, ki so lahko besede ali podbesede pri obdelavi naravnega jezika (NLP). Podbesede se običajno uporabljajo v modelih NLP za reševanje vprašanja besed, ki niso v besedišču. Izhod kodirnika ustvari predstavitev s fiksno dimenzijo za vsak žeton, skupaj z ločeno vdelavo za celotno zaporedje. Dekoder vzame izhod kodirnika in ustvari zaporedje žetonov kot svoj izhod.

Od objave papirja Transformer so priljubljeni modeli, kot so BERTI in GPT so sprejeli vidike izvirne arhitekture, bodisi z uporabo komponent kodirnika ali dekodirnika. Ključna podobnost med tema modeloma je v arhitekturi slojev, ki vključuje mehanizme samopozornosti in sloje za posredovanje naprej. V transformatorjih vsak vhodni žeton prečka svojo lastno pot skozi plasti, medtem ko ohranja neposredno odvisnost od vseh drugih žetonov v vhodnem zaporedju. Ta edinstvena funkcija omogoča vzporedno in učinkovito izračunavanje kontekstualnih predstavitev žetonov, kar ni izvedljivo z zaporednimi modeli, kot so RNN.

Čeprav ta članek le opraska površje arhitekture Transformer, ponuja vpogled v njene temeljne vidike. Za bolj celovito razumevanje priporočamo, da si ogledate izvirni raziskovalni članek ali objavo The Illustrated Transformer.

Kaj so kodirniki in dekoderji v AI?

Predstavljajte si, da imate dva modela, kodirnik in dekoder, delati skupaj kot ekipa. Kodirnik sprejme vhod in ga pretvori v vektor s fiksno dolžino. Nato dekoder vzame ta vektor in ga pretvori v izhodno zaporedje. Ti modeli se usposabljajo skupaj, da zagotovijo, da se izhod čim bolj ujema z vhodom.

Tako kodirnik kot dekoder sta imela več plasti. Vsaka plast v kodirniku je imela dve podplasti: plast samopozornosti z več glavami in preprosto omrežje za naprej. Plast samopozornosti pomaga vsakemu žetonu v vnosu razumeti razmerja z vsemi drugimi žetoni. Ti podplasti imajo tudi preostalo povezavo in normalizacijo plasti, da je učni proces bolj gladek.

Dekoderjeva večglava glava plast samopozornosti deluje nekoliko drugače od tistega v kodirniku. Prikrije žetone desno od žetona, na katerega se osredotoča. To zagotavlja, da dekoder pogleda samo žetone, ki so pred tistim, ki ga poskuša predvideti. Ta prikrita pozornost z več glavami pomaga dekoderju ustvariti natančne napovedi. Poleg tega dekoder vključuje še eno podplast, ki je plast pozornosti z več glavami nad vsemi izhodi iz kodirnika.

Pomembno je omeniti, da so bile te posebne podrobnosti spremenjene v različnih različicah modela Transformer. Modeli, kot sta BERT in GPT, na primer, temeljijo na vidiku kodirnika ali dekodirnika izvirne arhitekture.

Kaj so sloji pozornosti v AI?

V arhitekturi modela, o kateri smo govorili prej, so plasti pozornosti z več glavami posebni elementi, zaradi katerih je močan. Toda kaj pravzaprav je pozornost? Predstavljajte si to kot funkcijo, ki preslika vprašanje v nabor informacij in poda rezultat. Vsak žeton v vnosu ima povezano poizvedbo, ključ in vrednost. Izhodna predstavitev vsakega žetona se izračuna tako, da se vzame utežena vsota vrednosti, pri čemer je utež za vsako vrednost določena s tem, kako dobro se ujema s poizvedbo.

Transformatorji za izračun teh uteži uporabljajo funkcijo združljivosti, imenovano skalirani pikčasti produkt. Zanimiva stvar pri pozornosti v Transformerjih je, da gre vsak žeton skozi svojo lastno računsko pot, kar omogoča vzporedno računanje vseh žetonov v vhodnem zaporedju. To je preprosto več blokov pozornosti, ki neodvisno izračunajo predstavitve za vsak žeton. Te predstavitve se nato združijo, da se ustvari končna predstavitev žetona.

V primerjavi z drugimi vrstami omrežij, kot sta ponavljajoča se in konvolucijskih omrežij, imajo sloji pozornosti nekaj prednosti. So računalniško učinkoviti, kar pomeni, da lahko hitro obdelajo informacije. Imajo tudi večjo povezljivost, kar je koristno za zajemanje dolgoročnih odnosov v zaporedjih.

Kaj so natančno nastavljeni modeli v AI?

Modeli temeljev so močni modeli, ki se urijo na veliki količini splošnih podatkov. Nato jih je mogoče prilagoditi ali natančno prilagoditi za posebne naloge tako, da jih urimo na manjšem nizu podatke, specifične za cilj. Ta pristop, ki ga je populariziral papir BERT, je pripeljal do prevlade modelov, ki temeljijo na Transformerju, v nalogah strojnega učenja, povezanih z jezikom.

V primeru modelov, kot je BERT, proizvajajo predstavitve vhodnih žetonov, vendar sami ne opravljajo določenih nalog. Da bodo uporabni, dodatni nevronske plasti se dodajo na vrh in model se usposablja od konca do konca, proces, znan kot fino uravnavanje. Vendar pa s generativni modeli kot GPT, je pristop nekoliko drugačen. GPT je jezikovni model dekoderja, usposobljen za predvidevanje naslednje besede v stavku. Z usposabljanjem na ogromnih količinah spletnih podatkov, GPT lahko ustvari razumne rezultate na podlagi vhodnih poizvedb ali pozivov.

Da bi GPT bolj koristno, OpenAI raziskovalci razvili NavodiloGPT, ki je usposobljen za sledenje človeškim navodilom. To se doseže s fino nastavitvijo GPT z uporabo človeško označenih podatkov iz različnih nalog. NavodilaGPT je sposoben izvajati široko paleto nalog in ga uporabljajo priljubljeni motorji, kot je ChatGPT.

Natančno uravnavanje je mogoče uporabiti tudi za ustvarjanje različic modelov temeljev, optimiziranih za posebne namene onkraj jezikovnega modeliranja. Na primer, obstajajo modeli, natančno nastavljeni za naloge, povezane s semantiko, kot sta klasifikacija besedila in iskanje pri iskanju. Poleg tega so bili transformatorski kodirniki uspešno natančno nastavljeni v okviru večopravilnosti učni okviri za izvajanje več semantičnih nalog z uporabo enega skupnega modela.

Danes se fino prilagajanje uporablja za ustvarjanje različic temeljnih modelov, ki jih lahko uporablja veliko število uporabnikov. Postopek vključuje generiranje odgovorov na vnos pozive in ljudi razvrsti rezultate. Ta razvrstitev se uporablja za usposabljanje a model nagrajevanja, ki vsakemu rezultatu dodeli ocene. Okrepljeno učenje s človeškimi povratnimi informacijami se nato uporabi za nadaljnje usposabljanje modela.

Zakaj so Transformerji prihodnost umetne inteligence?

Transformatorji, vrsta močnega modela, so bili prvič predstavljeni na področju jezikovnega prevajanja. Vendar pa so raziskovalci hitro ugotovili, da bi lahko transformatorje uporabili za različne naloge, povezane z jezikom, tako da bi jih učili na veliki količini neoznačenega besedila in jih nato natančno prilagodili na manjšem nizu označenih podatkov. Ta pristop je omogočil Transformerjem, da so pridobili pomembno znanje o jeziku.

Arhitektura Transformer, prvotno zasnovana za jezikovne naloge, je bila uporabljena tudi za druge aplikacije, kot je generiranje slik, zvok, glasba in celo dejanja. Zaradi tega so Transformerji postali ključna komponenta na področju generativne umetne inteligence, ki spreminja različne vidike družbe.

Razpoložljivost orodij in ogrodij, kot je npr PyTorch in TensorFlow je igral ključno vlogo pri široki uporabi modelov Transformer. Podjetja, kot je Huggingface, so zgradila svoje posel okoli ideje komercializacije odprtokodnih knjižnic Transformer in specializirane strojne opreme, kot je NVIDIA Hopper Tensor Cores, je dodatno pospešila usposabljanje in hitrost sklepanja teh modelov.

Ena od pomembnih aplikacij Transformerjev je ChatGPT, chatbot, ki ga je izdal OpenAI. Postal je neverjetno priljubljen in v kratkem času dosegel milijone uporabnikov. OpenAI je napovedal tudi izid GPT-4, močnejša različica, ki je sposobna doseči človeško zmogljivost pri nalogah, kot je zdravniške in pravne preglede.

Vpliv transformerjev na področju umetne inteligence in njihove široke možnosti uporabe je nesporen. Imajo spremenil način pristopamo k nalogam, povezanim z jezikom, in utiramo pot novim napredkom v generativni AI.

3 vrste arhitektur pred usposabljanjem

Arhitektura Transformerja, ki je bila prvotno sestavljena iz kodirnika in dekoderja, se je razvila tako, da vključuje različne različice, ki temeljijo na posebnih potrebah. Razčlenimo te različice na preprost način.

1. Predusposabljanje kodirnika: Ti modeli se osredotočajo na razumevanje celotnih stavkov ali odlomkov. Med predhodnim usposabljanjem se kodirnik uporablja za rekonstrukcijo maskiranih žetonov v vhodnem stavku. To pomaga modelu, da se nauči razumeti splošni kontekst. Takšni modeli so uporabni za naloge, kot so klasifikacija besedila, vključevanje in ekstraktivno odgovarjanje na vprašanja.
2. Predusposabljanje dekoderja: modeli dekoderjev so usposobljeni za generiranje naslednjega žetona na podlagi prejšnjega zaporedja žetonov. Znani so kot avtoregresivni jezikovni modeli. Plasti samopozornosti v dekoderju lahko dostopajo samo do žetonov pred danim žetonom v stavku. Ti modeli so idealni za naloge, ki vključujejo ustvarjanje besedila.
3. Predhodno usposabljanje za transformator (kodirnik-dekoder).: Ta različica združuje komponente kodirnika in dekodirnika. Plasti samopreverjanja kodirnika lahko dostopajo do vseh vhodnih žetonov, medtem ko lahko sloji samopreverjanja dekoderja dostopajo samo do žetonov pred danim žetonom. Ta arhitektura omogoča dekodirniku uporabo predstavitev, ki se jih nauči kodirnik. Modeli kodirnika-dekoderja so zelo primerni za naloge, kot so povzemanje, prevajanje ali generativno odgovarjanje na vprašanja.

Cilji pred usposabljanjem lahko vključujejo odstranjevanje šumov ali modeliranje vzročnega jezika. Ti cilji so bolj zapleteni za modele kodirnik-dekoder v primerjavi z modeli samo kodirnik ali samo dekoder. Arhitektura Transformerja ima različne različice glede na fokus modela. Ne glede na to, ali gre za razumevanje celotnih stavkov, ustvarjanje besedila ali kombiniranje obojega za različne naloge, Transformers ponujajo prilagodljivost pri reševanju različnih izzivov, povezanih z jezikom.

8 vrst nalog za vnaprej usposobljene modele

Pri usposabljanju modela mu moramo dati nalogo ali cilj, iz katerega se bo učil. Obstajajo različne naloge pri obdelavi naravnega jezika (NLP), ki jih je mogoče uporabiti za modele pred usposabljanjem. Razčlenimo nekaj teh nalog na preprost način:

1. Jezikovno modeliranje (LM): Model napove naslednji žeton v stavku. Nauči se razumeti kontekst in ustvariti koherentne stavke.
2. Modeliranje vzročnega jezika: model napove naslednji žeton v zaporedju besedila po vrstnem redu od leve proti desni. Je kot model pripovedovanja zgodb, ki ustvarja stavke eno besedo naenkrat.
3. Modeliranje jezika s predponami: model ločuje odsek 'predpone' od glavnega zaporedja. Lahko se posveti kateremu koli žetonu znotraj predpone in nato avtoregresivno generira preostali del zaporedja.
4. Modeliranje zamaskiranega jezika (MLM): nekateri žetoni v vhodnih stavkih so zamaskirani, model pa predvideva manjkajoče žetone na podlagi okoliškega konteksta. Nauči se zapolniti praznine.
5. Modeliranje permutiranega jezika (PLM): Model napove naslednji žeton na podlagi naključne permutacije vhodnega zaporedja. Nauči se obravnavati različne vrstne rede žetonov.
6. Denoising Autoencoder (DAE): model vzame delno poškodovan vnos in želi obnoviti izvirni, nepopačen vhod. Nauči se obvladovati hrup ali manjkajoče dele besedila.
7. Zaznavanje zamenjanega žetona (RTD): model zazna, ali žeton izvira iz izvirnega besedila ali ustvarjene različice. Nauči se prepoznati zamenjane ali spremenjene žetone.
8. Predvidevanje naslednjega stavka (NSP): Model se nauči razlikovati, ali sta dva vhodna stavka neprekinjena segmenta iz podatkov o usposabljanju. Razume razmerje med stavki.

Te naloge pomagajo modelu pri učenju strukture in pomena jezika. S predhodnim usposabljanjem za te naloge modeli pridobijo dobro razumevanje jezika, preden se natančno prilagodijo za določene aplikacije.

30+ najboljših transformerjev v AI

Pogosta vprašanja

Transformatorji v AI so vrsta arhitektura globokega učenja ki je spremenilo obdelavo naravnega jezika in druge naloge. Uporabljajo mehanizme samopozornosti, da zajamejo razmerja med besedami v stavku, kar jim omogoča razumevanje in ustvarjanje besedila, podobnega človeku.

Kodirniki in dekoderji so komponente, ki se pogosto uporabljajo v modelih od zaporedja do zaporedja. Kodirniki obdelujejo vhodne podatke, kot so besedilo ali slike, in jih pretvorijo v stisnjeno predstavitev, medtem ko dekodirniki generirajo izhodne podatke na podlagi kodirane predstavitve, kar omogoča naloge, kot je jezikovni prevod ali dodajanje napisov slikam.

Plasti pozornosti so komponente, ki se uporabljajo v nevronske mreže, zlasti pri modelih Transformer. Modelu omogočajo, da se selektivno osredotoči na različne dele vhodnega zaporedja, vsakemu elementu dodeli uteži glede na njegovo pomembnost, kar omogoča učinkovito zajemanje odvisnosti in odnosov med elementi.

Natančno nastavljeni modeli se nanašajo na predhodno usposobljene modele, ki so bili dodatno usposobljeni za določeno nalogo ali nabor podatkov, da bi izboljšali njihovo delovanje in jih prilagodili posebnim zahtevam te naloge. Ta postopek natančnega prilagajanja vključuje prilagajanje parametrov modela, da optimizira njegove napovedi in ga naredi bolj specializiranega za ciljno nalogo.

Transformerji veljajo za prihodnost umetne inteligence, ker so dokazali izjemno zmogljivost pri številnih nalogah, vključno z obdelavo naravnega jezika, ustvarjanjem slik in še več. Zaradi njihove zmožnosti zajemanja dolgoročnih odvisnosti in učinkovite obdelave zaporednih podatkov so zelo prilagodljivi in ​​učinkoviti za različne aplikacije, s čimer utirajo pot napredku v generativni AI in revolucionirajo številne vidike družbe.

Najbolj znani modeli transformatorjev v AI vključujejo BERT (Bidirectional Encoder Representations from Transformers), GPT (Generativni vnaprej usposobljeni transformator) in T5 (transformator za prenos besedila v besedilo). Ti modeli so dosegli izjemne rezultate pri različnih nalogah obdelave naravnega jezika in so pridobili veliko popularnost v raziskovalni skupnosti AI.

Preberite več o AI:

• Univerza v Teksasu: Um ljudi je mogoče razkriti z dekoderjem možganske aktivnosti
• Facebook razvija novo metodo za podvojitev zmogljivosti AI transformerjev
• GPT-4 Lahko obravnava vaše zahteve za slike, dokumente, diagrame in posnetke zaslona

O avtorju

Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta. 

več člankov

Damir Yalalov

• 
• 

Damir Yalalov

Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta. 

• 

več člankov