30+ najboljih modela transformatora u umjetnoj inteligenciji: što su i kako rade

Podijelite ovaj članak

• 
• 
• 
• 
• 

by Damir Yalalov

Objavljeno: 12. lipnja 2023. u 6:52 Ažurirano: 12. lipnja 2023. u 6:52

by Karolina Gaszcz

Uređeno i provjereno: 12. lipnja 2023. u 6:52

Kako bismo poboljšali vaše iskustvo na lokalnom jeziku, ponekad koristimo dodatak za automatsko prevođenje. Imajte na umu da automatski prijevod možda neće biti točan, stoga pročitajte izvornik članak za točne podatke.

Posljednjih mjeseci u AI-ju su se pojavili brojni modeli Transformera, svaki s jedinstvenim i ponekad zabavnim imenima. Međutim, ovi nazivi možda ne pružaju dobar uvid u to što ti modeli zapravo rade. Cilj ovog članka je pružiti sveobuhvatan i jednostavan popis najpopularnijih modela Transformer. Klasificirat će te modele i također predstaviti važne aspekte i inovacije unutar obitelji Transformer. Top lista će pokriti obučeni modeli kroz samonadzirano učenje, poput BERT-a ili GPT-3, kao i modeli koji prolaze dodatnu obuku uz sudjelovanje ljudi, poput InstructGPT model koji koristi ChatGPT.

Što su transformatori u umjetnoj inteligenciji?

Transformatori su vrsta modela dubokog učenja koji su predstavljeni u istraživačkom radu pod nazivom "Pažnja je sve što trebate” Googleovih istraživača 2017. Ovaj je rad stekao golemo priznanje, akumulirajući preko 38,000 XNUMX citata u samo pet godina.

Izvorna Transformer arhitektura je specifičan oblik modela koder-dekoder koji je stekao popularnost prije svog uvođenja. Ti su se modeli pretežno oslanjali na LSTM i druge varijacije ponavljajućih neuronskih mreža (RNN-ovi), pri čemu je pozornost samo jedan od korištenih mehanizama. Međutim, dokument Transformer predložio je revolucionarnu ideju da pozornost može poslužiti kao jedini mehanizam za uspostavljanje ovisnosti između ulaza i izlaza.

U kontekstu Transformersa, ulaz se sastoji od niza tokena, koji mogu biti riječi ili podriječi u obradi prirodnog jezika (NLP). Podriječi se obično koriste u NLP modelima za rješavanje pitanja riječi koje su izvan rječnika. Izlaz kodera proizvodi fiksni dimenzionalni prikaz za svaki token, zajedno s zasebnim ugrađivanjem za cijeli niz. Dekoder uzima izlaz kodera i generira niz tokena kao svoj izlaz.

Od objavljivanja novina Transformer, popularni modeli poput BERTI i GPT usvojili su aspekte izvorne arhitekture, bilo koristeći komponente kodera ili dekodera. Ključna sličnost između ovih modela leži u arhitekturi slojeva, koja uključuje mehanizme samopažnje i slojeve s povratnim informacijama. U Transformersima svaki ulazni token prolazi vlastiti put kroz slojeve zadržavajući izravnu ovisnost sa svakim drugim tokenom u ulaznom nizu. Ova jedinstvena značajka omogućuje paralelno i učinkovito izračunavanje kontekstualnih reprezentacija tokena, mogućnost koja nije izvediva sa sekvencijalnim modelima poput RNN-ova.

Iako ovaj članak samo zagrebe po površini Transformerove arhitekture, daje uvid u njezine temeljne aspekte. Za sveobuhvatnije razumijevanje preporučujemo da pogledate izvorni istraživački rad ili objavu The Illustrated Transformer.

Što su koderi i dekoderi u AI?

Zamislite da imate dva modela, koder i dekoder, Radeći zajedno kao tim. Koder uzima ulaz i pretvara ga u vektor fiksne duljine. Zatim, dekoder uzima taj vektor i transformira ga u izlaznu sekvencu. Ovi se modeli zajedno obučavaju kako bi bili sigurni da izlaz odgovara ulazu što je moguće bliže.

I koder i dekoder imali su nekoliko slojeva. Svaki sloj u koderu imao je dva podsloja: višeglavni sloj samopažnje i jednostavnu mrežu za prijenos podataka. Sloj samopažnje pomaže svakom tokenu u ulazu da razumije odnose sa svim ostalim tokenima. Ovi podslojevi također imaju zaostalu vezu i normalizaciju sloja kako bi proces učenja bio lakši.

Višestruka glava dekodera sloj samopažnje radi malo drugačije od onog u enkoderu. Maskira žetone desno od tokena na koji se fokusira. Ovo osigurava da dekoder gleda samo tokene koji dolaze prije onog koji pokušava predvidjeti. Ova maskirana pažnja s više glava pomaže dekoderu generirati točna predviđanja. Dodatno, dekoder uključuje još jedan podsloj, koji je sloj pažnje s više glava preko svih izlaza iz kodera.

Važno je napomenuti da su ovi specifični detalji izmijenjeni u različitim varijantama modela Transformer. Modeli poput BERT i GPT, na primjer, temelje se na aspektu kodera ili dekodera izvorne arhitekture.

Što su slojevi pažnje u umjetnoj inteligenciji?

U arhitekturi modela o kojoj smo ranije govorili, slojevi pažnje s više glava su posebni elementi koji ga čine moćnim. Ali što je zapravo pozornost? Zamislite to kao funkciju koja preslikava pitanje u skup informacija i daje izlaz. Svaki token u unosu ima upit, ključ i vrijednost pridruženu sebi. Izlazna reprezentacija svakog tokena izračunava se uzimanjem ponderiranog zbroja vrijednosti, gdje se težina za svaku vrijednost određuje prema tome koliko se dobro podudara s upitom.

Transformatori koriste funkciju kompatibilnosti koja se naziva skalirani točkasti produkt za izračunavanje ovih težina. Zanimljiva stvar u vezi pozornosti u Transformersima je da svaki token prolazi kroz svoj vlastiti put izračuna, što omogućuje paralelno izračunavanje svih tokena u ulaznom nizu. To su jednostavno višestruki blokovi pažnje koji neovisno izračunavaju prikaze za svaki token. Ti se prikazi zatim kombiniraju kako bi se stvorio konačni prikaz tokena.

U usporedbi s drugim vrstama mreža kao što su ponavljajuće i konvolucijske mreže, slojevi pažnje imaju nekoliko prednosti. Oni su računalno učinkoviti, što znači da mogu brzo obraditi informacije. Također imaju veću povezanost, što je korisno za snimanje dugoročnih odnosa u nizovima.

Što su fino podešeni modeli u AI?

Modeli temelja su snažni modeli koji se obučavaju na velikoj količini općih podataka. Zatim se mogu prilagoditi ili fino podesiti za određene zadatke obučavanjem na manjem skupu podaci specifični za cilj. Ovaj pristup, populariziran od strane BERT papir, dovelo je do dominacije modela temeljenih na Transformeru u zadacima strojnog učenja povezanim s jezikom.

U slučaju modela poput BERT-a, oni proizvode prikaze ulaznih tokena, ali ne ostvaruju specifične zadatke sami. Da bi bili korisni, dodatni neuralni slojevi dodaju se na vrh i model se obučava od kraja do kraja, proces poznat kao fino ugađanje. Međutim, sa generativni modeli kao GPT, pristup je malo drugačiji. GPT je jezični model dekodera osposobljen za predviđanje sljedeće riječi u rečenici. Obučavajući se na ogromnim količinama web podataka, GPT može generirati razumne rezultate na temelju ulaznih upita ili upita.

Da bi GPT korisnije, OpenAI istraživači razvili PoučitiGPT, koji je obučen da slijedi ljudske upute. To se postiže finim podešavanjem GPT pomoću podataka označenih ljudima iz raznih zadataka. PoučitiGPT sposoban je obavljati širok raspon zadataka i koriste ga popularni motori poput ChatGPT.

Fino podešavanje također se može koristiti za stvaranje varijanti modela temelja optimiziranih za specifične svrhe izvan jezičnog modeliranja. Na primjer, postoje modeli fino podešeni za semantičke zadatke poput klasifikacije teksta i pretraživanja. Dodatno, transformatorski koderi uspješno su fino podešeni unutar višezadaćnosti okviri učenja za obavljanje više semantičkih zadataka koristeći jedan zajednički model.

Danas se finim podešavanjem stvaraju verzije modela temelja koje može koristiti veliki broj korisnika. Proces uključuje generiranje odgovora na unos upute i pozivanje ljudi na rangiranje rezultata. Ovo se rangiranje koristi za obuku a model nagrađivanja, koji dodjeljuje bodove svakom izlazu. Učenje s pojačanjem uz ljudske povratne informacije zatim se koristi za daljnje osposobljavanje modela.

Zašto su Transformersi budućnost umjetne inteligencije?

Transformatori, vrsta snažnog modela, prvi su put prikazani u području jezičnog prevođenja. Međutim, istraživači su brzo shvatili da se Transformersi mogu koristiti za različite zadatke vezane uz jezik obučavajući ih na velikoj količini neoznačenog teksta, a zatim ih fino podešavajući na manjem skupu označenih podataka. Ovakav pristup omogućio je Transformersima da prikupe značajno znanje o jeziku.

Arhitektura Transformer, izvorno dizajnirana za jezične zadatke, također je primijenjena na druge aplikacije kao što su generiranje slika, audio, glazba, pa čak i akcije. To je učinilo Transformers ključnom komponentom u polju Generative AI, koja mijenja različite aspekte društva.

Dostupnost alata i okvira kao što su PyTorch i TensorFlow odigrao je presudnu ulogu u širokom prihvaćanju modela Transformer. Tvrtke poput Huggingface izgradile su svoje posao oko ideje komercijalizacije biblioteka otvorenog koda Transformer, a specijalizirani hardver poput NVIDIA Hopper Tensor Cores dodatno je ubrzao obuku i brzinu zaključivanja ovih modela.

Jedna značajna primjena transformatora je ChatGPT, chatbot koji je objavio OpenAI. Postao je nevjerojatno popularan, dosegnuvši milijune korisnika u kratkom razdoblju. OpenAI je također najavio izdavanje GPT-4, snažnija inačica sposobna za postizanje ljudskih performansi u zadacima kao što su medicinski i pravni ispiti.

Utjecaj Transformersa u području umjetne inteligencije i njihov širok raspon primjena je neporeciv. Oni imaju transformirao način pristupamo zadacima vezanim uz jezik i utiremo put novim napretcima u generativnoj umjetnoj inteligenciji.

3 vrste arhitektura predtreninga

Arhitektura Transformera, koja se izvorno sastojala od kodera i dekodera, evoluirala je kako bi uključila različite varijacije na temelju specifičnih potreba. Raščlanimo ove varijacije jednostavnim riječima.

1. Pretvježba kodera: Ovi modeli usmjereni su na razumijevanje cijelih rečenica ili odlomaka. Tijekom preduvježbavanja, koder se koristi za rekonstrukciju maskiranih tokena u ulaznoj rečenici. To pomaže modelu da nauči razumjeti cjelokupni kontekst. Takvi modeli korisni su za zadatke kao što su klasifikacija teksta, uvođenje i ekstraktivno odgovaranje na pitanja.
2. Predosposobljavanje dekodera: Modeli dekodera osposobljeni su za generiranje sljedećeg tokena na temelju prethodnog niza tokena. Poznati su kao autoregresivni jezični modeli. Slojevi samopažnje u dekoderu mogu pristupiti samo tokenima prije danog tokena u rečenici. Ovi su modeli idealni za zadatke koji uključuju generiranje teksta.
3. Transformator (koder-dekoder) Predosposobljavanje: Ova varijacija kombinira komponente kodera i dekodera. Slojevi samopažnje kodera mogu pristupiti svim ulaznim tokenima, dok slojevi samopažnje dekodera mogu pristupiti samo tokenima prije danog tokena. Ova arhitektura omogućuje dekoderu korištenje prikaza koje je naučio koder. Modeli koder-dekodera prikladni su za zadatke poput sažimanja, prijevoda ili generativnog odgovaranja na pitanja.

Ciljevi prije obuke mogu uključivati ​​uklanjanje šuma ili modeliranje kauzalnog jezika. Ovi su ciljevi složeniji za modele koder-dekoder u usporedbi s modelima samo koder ili samo dekoder. Arhitektura Transformera ima različite varijacije ovisno o fokusu modela. Bilo da se radi o razumijevanju cijelih rečenica, generiranju teksta ili kombiniranju oba za različite zadatke, Transformers nudi fleksibilnost u rješavanju različitih izazova povezanih s jezikom.

8 vrsta zadataka za unaprijed obučene modele

Kada obučavamo model, moramo mu dati zadatak ili cilj iz kojeg može učiti. Postoje različiti zadaci u obradi prirodnog jezika (NLP) koji se mogu koristiti za modele predvježbe. Razdvojimo neke od ovih zadataka jednostavnim riječima:

1. Jezično modeliranje (LM): Model predviđa sljedeći token u rečenici. Uči razumjeti kontekst i stvarati koherentne rečenice.
2. Modeliranje uzročnog jezika: model predviđa sljedeći token u tekstualnom nizu, slijedeći redoslijed slijeva nadesno. To je poput modela pripovijedanja koji generira rečenice jednu po jednu riječ.
3. Modeliranje prefiksnog jezika: Model odvaja odjeljak 'prefiksa' od glavnog niza. Može se posvetiti bilo kojem tokenu unutar prefiksa, a zatim generira ostatak niza autoregresivno.
4. Modeliranje maskiranog jezika (MLM): Neki tokeni u ulaznim rečenicama su maskirani, a model predviđa nedostajuće tokene na temelju okolnog konteksta. Ono uči popunjavati praznine.
5. Modeliranje permutiranog jezika (PLM): model predviđa sljedeći token na temelju slučajne permutacije ulaznog niza. Uči rukovati različitim redoslijedom tokena.
6. Denoising Autoencoder (DAE): model uzima djelomično oštećeni ulaz i nastoji oporaviti izvorni, neiskrivljeni ulaz. Uči nositi se s šumom ili dijelovima teksta koji nedostaju.
7. Detekcija zamijenjenog tokena (RTD): model otkriva dolazi li token iz izvornog teksta ili generirane verzije. Uči identificirati zamijenjene ili manipulirane žetone.
8. Predviđanje sljedeće rečenice (NSP): Model uči razlikovati jesu li dvije ulazne rečenice kontinuirani segmenti iz podataka za obuku. Razumije odnos među rečenicama.

Ovi zadaci pomažu modelu naučiti strukturu i značenje jezika. Prethodnom obukom na ovim zadacima, modeli stječu dobro razumijevanje jezika prije finog podešavanja za određene aplikacije.

30+ najboljih transformatora u umjetnoj inteligenciji

PITANJA I ODGOVORI

Transformatori u umjetnoj inteligenciji su vrsta arhitektura dubokog učenja koji je promijenio obradu prirodnog jezika i druge zadatke. Oni koriste mehanizme samopažnje kako bi uhvatili odnose između riječi u rečenici, omogućujući im da razumiju i generiraju tekst sličan ljudskom.

Koderi i dekoderi su komponente koje se obično koriste u modelima od sekvence do sekvence. Koderi obrađuju ulazne podatke, kao što su tekst ili slike, i pretvaraju ih u komprimirani prikaz, dok dekoderi generiraju izlazne podatke na temelju kodiranog prikaza, omogućujući zadatke poput jezičnog prijevoda ili titlovanja slika.

Slojevi pažnje su komponente koje se koriste u neuronske mreže, posebno u modelima Transformer. Omogućuju modelu selektivno fokusiranje na različite dijelove ulaznog niza, dodjeljivanje težine svakom elementu na temelju njegove relevantnosti, omogućujući učinkovito hvatanje ovisnosti i odnosa između elemenata.

Fino podešeni modeli odnose se na unaprijed obučene modele koji su dodatno obučeni na određenom zadatku ili skupu podataka kako bi se poboljšala njihova izvedba i prilagodila specifičnim zahtjevima tog zadatka. Ovaj proces finog podešavanja uključuje prilagođavanje parametara modela kako bi se optimizirala njegova predviđanja i učinio ga specijaliziranijim za ciljani zadatak.

Transformers se smatraju budućnošću umjetne inteligencije jer su pokazali iznimne performanse u širokom rasponu zadataka, uključujući obradu prirodnog jezika, generiranje slika i još mnogo toga. Njihova sposobnost hvatanja dugotrajnih ovisnosti i učinkovite obrade sekvencijalnih podataka čini ih vrlo prilagodljivima i učinkovitima za različite primjene, utirući put napretku u generativnoj umjetnoj inteligenciji i revolucionizirajući mnoge aspekte društva.

Najpoznatiji modeli transformatora u AI uključuju BERT (Bidirectional Encoder Representations from Transformers), GPT (Generativni unaprijed obučeni transformator) i T5 (transformator prijenosa teksta u tekst). Ovi su modeli postigli izvanredne rezultate u različitim zadacima obrade prirodnog jezika i stekli su značajnu popularnost u istraživačkoj zajednici umjetne inteligencije.

Pročitajte više o AI:

• Sveučilište u Teksasu: umovi ljudi mogu se otkriti pomoću dekodera moždane aktivnosti
• Facebook razvija novu metodu za udvostručenje performansi AI transformatora
• GPT-4 Može obraditi vaše zahtjeve za slike, dokumente, dijagrame i snimke zaslona

O autoru

Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta. 

Više članaka

Damir Yalalov

• 
• 

Damir Yalalov

Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta. 

• 

Više članaka