Yli 30 parasta tekoälyn muuntajamallia: mitä ne ovat ja miten ne toimivat

Jaa tämä artikkeli

• 
• 
• 
• 
• 

by Damir Yalalov

Julkaistu: 12. kesäkuuta 2023 klo 6 Päivitetty: 52. kesäkuuta 12 klo 2023

by Karolina Gaszcz

Muokattu ja faktatarkistettu: 12 klo 2023

Käytämme joskus automaattisen käännöslaajennusta parantaaksemme paikallisen kielen käyttökokemustasi. Huomaa, että automaattinen käännös ei välttämättä ole tarkka, joten lue alkuperäinen artikkeli tarkkoja tietoja varten.

Tekoälyyn on viime kuukausina ilmestynyt lukuisia Transformer-malleja, joilla jokaisella on ainutlaatuinen ja joskus hauskoja nimi. Nämä nimet eivät kuitenkaan välttämättä anna paljon käsitystä siitä, mitä nämä mallit todella tekevät. Tämän artikkelin tarkoituksena on tarjota kattava ja suoraviivainen luettelo suosituimmista Transformer-malleista. Se luokittelee nämä mallit ja esittelee myös tärkeitä näkökohtia ja innovaatioita Transformer-perheessä. Top-lista kattaa koulutetut mallit itseohjatun oppimisen kautta, kuten BERT tai GPT-3, sekä mallit, jotka käyvät läpi lisäkoulutuksen ihmisten kanssa, kuten InstructGPT käyttämä malli ChatGPT.

Mitä ovat muuntajat tekoälyssä?

Muuntajat ovat eräänlaisia ​​syväoppimismalleja, jotka esiteltiin tutkimuspaperissa nimeltä "Huomio on kaikki mitä tarvitsetGooglen tutkijat vuonna 2017. Tämä paperi on saanut valtavasti tunnustusta, ja se on kerännyt yli 38,000 XNUMX viittausta vain viidessä vuodessa.

Alkuperäinen Transformer-arkkitehtuuri on erityinen enkooderi-dekooderimallien muoto, joka oli saavuttanut suosiota ennen sen käyttöönottoa. Nämä mallit luottivat pääasiassa LSTM ja muut toistuvien hermoverkkojen muunnelmat (RNN:t), ja huomio on vain yksi käytetyistä mekanismeista. Transformer-paperi ehdotti kuitenkin vallankumouksellista ajatusta, että huomio voisi toimia ainoana mekanismina tulon ja lähdön välisten riippuvuuksien määrittämiseksi.

Transformersin kontekstissa syöte koostuu merkkijonoista, jotka voivat olla sanoja tai osasanoja luonnollisen kielen käsittelyssä (NLP). Alasanoja käytetään yleisesti NLP-malleissa sanaston ulkopuolisten sanojen ongelman ratkaisemiseksi. Enkooderin ulostulo tuottaa kiinteäulotteisen esityksen jokaiselle tunnukselle sekä erillisen upotuksen koko sekvenssille. Dekooderi ottaa kooderin lähdön ja tuottaa sekvenssin tokeneita ulostulokseen.

Transformer-paperin julkaisusta lähtien suositut mallit pitävät BERTI ja GPT ovat omaksuneet alkuperäisen arkkitehtuurin näkökohtia joko kooderin tai dekooderin komponenttien avulla. Keskeinen samankaltaisuus näiden mallien välillä on kerrosarkkitehtuurissa, joka sisältää itse huomioivia mekanismeja ja eteenpäinsyöttökerroksia. Transformersissa jokainen syöttötunnus kulkee oman polkunsa tasojen läpi säilyttäen samalla suorat riippuvuudet syöttösekvenssin jokaisen muun merkin kanssa. Tämä ainutlaatuinen ominaisuus mahdollistaa kontekstuaalisten merkkiesitysten rinnakkaisen ja tehokkaan laskennan, mikä ei ole mahdollista peräkkäisillä malleilla, kuten RNN:illä.

Vaikka tämä artikkeli vain raapaisee Transformer-arkkitehtuurin pintaa, se tarjoaa vilauksen sen perusnäkökohtiin. Kattavamman ymmärryksen saamiseksi suosittelemme viittaamaan alkuperäiseen tutkimuspaperiin tai The Illustrated Transformer -julkaisuun.

Mitä kooderit ja dekooderit ovat tekoälyssä?

Kuvittele, että sinulla on kaksi mallia, kooderi ja dekooderi, yhdessä kuin joukkue. Enkooderi ottaa syötteen ja muuttaa sen kiinteäpituiseksi vektoriksi. Sitten dekooderi ottaa kyseisen vektorin ja muuntaa sen lähtösekvenssiksi. Nämä mallit on koulutettu yhdessä varmistamaan, että lähtö vastaa tuloa mahdollisimman tarkasti.

Sekä kooderissa että dekooderissa oli useita kerroksia. Jokaisella kooderin kerroksella oli kaksi alikerrosta: monen pään itsetarkkailukerros ja yksinkertainen syöttöverkko. Itsehuomiokerros auttaa jokaista syötteessä olevaa merkkiä ymmärtämään suhteita kaikkiin muihin tokeneihin. Näissä alikerroksissa on myös jäännösyhteys ja kerrosten normalisointi, mikä tekee oppimisprosessista sujuvamman.

Dekooderin monipää itse huomioiva kerros toimii hieman eri tavalla kuin enkooderissa. Se peittää merkit sen merkin oikealle puolelle, johon se keskittyy. Tämä varmistaa, että dekooderi katsoo vain niitä tokeneja, jotka tulevat ennen sitä, jota se yrittää ennustaa. Tämä naamioitu monipäinen huomio auttaa dekooderia luomaan tarkkoja ennusteita. Lisäksi dekooderi sisältää toisen alikerroksen, joka on monen pään huomiokerros kooderin kaikkien lähtöjen yli.

On tärkeää huomata, että näitä erityisiä yksityiskohtia on muokattu Transformer-mallin eri muunnelmissa. Mallit kuten BERT ja GPTesimerkiksi perustuvat joko alkuperäisen arkkitehtuurin kooderi- tai dekooderinäkökohtaan.

Mitä ovat AI:n huomiotasot?

Aiemmin käsitellyssä malliarkkitehtuurissa monipäät huomioitavat kerrokset ovat erikoiselementtejä, jotka tekevät siitä tehokkaan. Mutta mitä tarkkaavaisuus oikein on? Ajattele sitä funktiona, joka kartoittaa kysymyksen tietojoukkoon ja antaa tuloksen. Jokaiseen syötteen tunnukseen liittyy kysely, avain ja arvo. Kunkin tunnuksen lähtöesitys lasketaan ottamalla arvojen painotettu summa, jossa kunkin arvon paino määräytyy sen mukaan, kuinka hyvin se vastaa kyselyä.

Muuntajat käyttävät yhteensopivuusfunktiota, jota kutsutaan skaalatuksi pistetuotteeksi näiden painojen laskemiseen. Mielenkiintoinen asia Transformersin huomiossa on, että jokainen merkki kulkee oman laskentapolun kautta, mikä mahdollistaa kaikkien syöttösekvenssin tokenien rinnakkaisen laskemisen. Se on yksinkertaisesti useita huomiolohkoja, jotka laskevat itsenäisesti kunkin merkin esityksen. Nämä esitykset yhdistetään sitten tunnuksen lopullisen esityksen luomiseksi.

Verrattuna muuntyyppisiin verkkoihin, kuten toistuviin ja konvoluutioverkot, huomiota kerroksilla on muutamia etuja. Ne ovat laskennallisesti tehokkaita, mikä tarkoittaa, että ne pystyvät käsittelemään tietoja nopeasti. Niillä on myös korkeampi liitettävyys, mikä on hyödyllistä pitkäaikaisten suhteiden tallentamisessa sarjoiksi.

Mitä ovat hienosäädetyt mallit tekoälyssä?

Perustusmallit ovat tehokkaita malleja, jotka on koulutettu suurelle määrälle yleistä tietoa. Niitä voidaan sitten mukauttaa tai hienosäätää tiettyihin tehtäviin kouluttamalla niitä pienemmällä sarjalla kohdekohtaisia ​​tietoja. Tämä lähestymistapa, jonka suosituksi on tehnyt BERT-paperi, on johtanut Transformer-pohjaisten mallien hallitsemiseen kieliin liittyvissä koneoppimistehtävissä.

BERT:n kaltaisten mallien tapauksessa ne tuottavat esityksiä syöttötunnisteista, mutta eivät suorita tiettyjä tehtäviä yksin. Jotta ne olisivat hyödyllisiä, lisää hermokerrokset lisätään päälle ja malli koulutetaan päästä päähän, prosessi, joka tunnetaan nimellä hienosäätö. Kuitenkin kanssa generatiiviset mallit pitää GPT, lähestymistapa on hieman erilainen. GPT on dekooderikielimalli, joka on koulutettu ennustamaan lauseen seuraava sana. Harjoittelemalla valtavia määriä verkkodataa, GPT voi tuottaa kohtuullisia tuloksia syöttökyselyjen tai kehotteiden perusteella.

Jotta GPT auttavampi, OpenAI tutkijat kehittivät opettaaGPT, joka on koulutettu noudattamaan ihmisen ohjeita. Tämä saavutetaan hienosäädöllä GPT käyttämällä ihmisen merkitsemää tietoa eri tehtävistä. OhjaaGPT pystyy suorittamaan monenlaisia ​​tehtäviä ja sitä käyttävät suositut moottorit, kuten ChatGPT.

Hienosäätöä voidaan käyttää myös perusmallien muunnelmien luomiseen, jotka on optimoitu tiettyihin tarkoituksiin kielen mallintamisen lisäksi. On esimerkiksi malleja, jotka on hienosäädetty semanttisiin tehtäviin, kuten tekstin luokitteluun ja hakuhakuun. Lisäksi muuntajaantureita on hienosäädetty onnistuneesti monitoimitoiminnoissa oppimiskehykset suorittaa useita semanttisia tehtäviä käyttämällä yhtä jaettua mallia.

Nykyään hienosäätöä käytetään perustamalleista versioiden luomiseen, joita monet käyttäjät voivat käyttää. Prosessi sisältää vastausten luomisen syötteisiin kehotteita ja saada ihmiset rankaisemaan tulokset. Tätä sijoitusta käytetään kouluttamiseen a palkitsemismalli, joka antaa pisteet jokaiselle ulostulolle. Vahvista oppimista ihmisen palautteella käytetään sitten mallin jatkokoulutukseen.

Miksi Transformers on tekoälyn tulevaisuus?

Transformers, eräänlainen tehokas malli, esiteltiin ensimmäisen kerran kielten kääntämisen alalla. Tutkijat kuitenkin huomasivat nopeasti, että Transformersia voitaisiin käyttää erilaisiin kieliin liittyviin tehtäviin kouluttamalla niitä suureen määrään merkitsemätöntä tekstiä ja sitten hienosäätämällä niitä pienemmällä merkittyjen tietojen joukolla. Tämä lähestymistapa antoi Transformersille mahdollisuuden saada merkittävää tietoa kielestä.

Alun perin kielitehtäviin suunniteltua Transformer-arkkitehtuuria on sovellettu myös muihin sovelluksiin, kuten kuvien luominen, ääni, musiikki ja jopa toiminnot. Tämä on tehnyt Transformersista avainkomponentin generatiivisen tekoälyn alalla, joka muuttaa yhteiskunnan eri näkökohtia.

Työkalujen ja puitteiden saatavuus, kuten PyTorch ja TensorFlow on ollut ratkaisevassa roolissa Transformer-mallien laajassa käyttöönotossa. Huggingfacen kaltaiset yritykset ovat rakentaneet omansa liiketoimintaa idean ympärillä avoimen lähdekoodin Transformer-kirjastojen kaupallistaminen ja erikoislaitteet, kuten NVIDIA:n Hopper Tensor Cores, ovat edelleen nopeuttaneet näiden mallien koulutusta ja päättelynopeutta.

Yksi Transformersin merkittävä sovellus on ChatGPT, julkaisema chatbot OpenAI. Siitä tuli uskomattoman suosittu, ja se tavoitti miljoonia käyttäjiä lyhyessä ajassa. OpenAI on myös ilmoittanut julkaisevansa GPT-4, tehokkaampi versio, joka pystyy saavuttamaan ihmisen kaltaisen suorituskyvyn tehtävissä, kuten lääketieteelliset ja juridiset kokeet.

Transformersin vaikutus tekoälyn ja niiden laajan valikoiman sovelluksiin alalla on kiistaton. Heillä on muutti tapaa lähestymme kieleen liittyviä tehtäviä ja tasoittelemme tietä uusille edistyksille generatiivisessa tekoälyssä.

3 esikoulutusarkkitehtuurityyppiä

Transformer-arkkitehtuuri, joka koostui alun perin kooderista ja dekooderista, on kehittynyt sisältämään erilaisia ​​muunnelmia erityistarpeiden mukaan. Puretaan nämä muunnelmat yksinkertaisin sanoin.

1. Enkooderin esikoulutus: Nämä mallit keskittyvät kokonaisten lauseiden tai kohtien ymmärtämiseen. Esiharjoittelun aikana kooderia käytetään rekonstruoimaan syöttölauseen peitetyt merkit. Tämä auttaa mallia oppimaan ymmärtämään kokonaiskontekstin. Tällaiset mallit ovat hyödyllisiä tehtävissä, kuten tekstin luokittelussa, seuraamuksissa ja poimiviin kysymyksiin vastaamiseen.
2. Dekooderin esikoulutus: Dekooderimallit on koulutettu luomaan seuraava merkki edellisen merkkijonon perusteella. Ne tunnetaan autoregressiivisinä kielimalleina. Dekooderin itsetarkkailukerrokset voivat käyttää vain lauseessa annettua merkkiä edeltäviä tokeneita. Nämä mallit sopivat ihanteellisesti tekstin luomiseen liittyviin tehtäviin.
3. Muuntajan (enkooderi-dekooderi) esikoulutus: Tämä muunnelma yhdistää sekä kooderin että dekooderin komponentit. Enkooderin itsetarkkailukerroksilla on pääsy kaikkiin syöttötunnuksiin, kun taas dekooderin itsetarkkailukerroksilla on pääsy vain tiettyä merkkiä edeltäviin tunnuksiin. Tämä arkkitehtuuri mahdollistaa sen, että dekooderi voi käyttää kooderin oppimia esityksiä. Enkooderi-dekooderimallit sopivat hyvin yhteenvedon tekemiseen, kääntämiseen tai luoviin kysymyksiin vastaamiseen.

Esiharjoittelutavoitteet voivat sisältää melun vaimentamista tai kausaalisen kielen mallintamista. Nämä tavoitteet ovat monimutkaisempia kooderi-dekooderimalleissa verrattuna vain enkooderi- tai dekooderimalleihin. Transformer-arkkitehtuurissa on erilaisia ​​muunnelmia mallin painopisteen mukaan. Olipa kyseessä kokonaisten lauseiden ymmärtäminen, tekstin luominen tai molempien yhdistäminen eri tehtäviin, Transformers tarjoaa joustavuutta erilaisiin kieleen liittyviin haasteisiin.

8 tehtävätyyppiä esikoulutetuille malleille

Kun koulutamme mallia, meidän on annettava sille tehtävä tai tavoite, josta oppia. Luonnollisen kielen käsittelyssä (NLP) on erilaisia ​​tehtäviä, joita voidaan käyttää esikoulutusmalleihin. Tarkastellaanpa joitain näistä tehtävistä yksinkertaisella tavalla:

1. Kielen mallinnus (LM): Malli ennustaa lauseen seuraavan tunnuksen. Se oppii ymmärtämään kontekstin ja luomaan johdonmukaisia ​​lauseita.
2. Syykielen mallinnus: Malli ennustaa seuraavan merkkijonon tekstisarjassa vasemmalta oikealle järjestykseen. Se on kuin tarinankerrontamalli, joka luo lauseita sana kerrallaan.
3. Etuliitekielen mallintaminen: Malli erottaa etuliitteen osan pääsekvenssistä. Se voi käsitellä mitä tahansa etuliitteen sisällä olevaa merkkiä ja luo sitten loput sekvenssistä autoregressiivisesti.
4. Masked Language Modeling (MLM): Jotkut syöttölauseiden merkit on peitetty, ja malli ennustaa puuttuvat tunnukset ympäröivän kontekstin perusteella. Se oppii täyttämään aukkoja.
5. Permuted Language Modeling (PLM): Malli ennustaa seuraavan merkin syöttösekvenssin satunnaisen permutoinnin perusteella. Se oppii käsittelemään erilaisia ​​rahakkeita.
6. Denoising Autoencoder (DAE): Malli ottaa osittain vioittuneen tulon ja pyrkii palauttamaan alkuperäisen, vääristymättömän tulon. Se oppii käsittelemään melua tai puuttuvia tekstin osia.
7. Replaced Token Detection (RTD): Malli havaitsee, onko merkki peräisin alkuperäisestä tekstistä vai luodusta versiosta. Se oppii tunnistamaan korvatut tai manipuloidut merkit.
8. Next Sentence Prediction (NSP): Malli oppii erottamaan, ovatko kaksi syötelausetta jatkuvia segmenttejä harjoitustiedoista. Se ymmärtää lauseiden välisen suhteen.

Nämä tehtävät auttavat mallia oppimaan kielen rakenteen ja merkityksen. Harjoittelemalla näitä tehtäviä varten mallit ymmärtävät hyvin kieltä ennen kuin ne hienosäädetään tiettyjä sovelluksia varten.

Yli 30 parasta tekoälyn muuntajaa

UKK

Tekoälyn muuntajat ovat eräänlainen syväoppimisen arkkitehtuuri joka on muuttanut luonnollisen kielen käsittelyä ja muita tehtäviä. He käyttävät itsetarkkailumekanismeja vangitakseen lauseen sanojen välisiä suhteita, jolloin he voivat ymmärtää ja luoda ihmisen kaltaista tekstiä.

Enkooderit ja dekooderit ovat komponentteja, joita käytetään yleisesti sarjasta sekvenssiin -malleissa. Enkooderit käsittelevät syöttödataa, kuten tekstiä tai kuvia, ja muuntaa ne pakatuksi esitykseksi, kun taas dekooderit luovat lähtödataa koodatun esityksen perusteella, mikä mahdollistaa tehtäviä, kuten kielen kääntämisen tai kuvien tekstityksen.

Huomiokerrokset ovat komponentteja, joita käytetään hermoverkkoihin, erityisesti Transformer-malleissa. Niiden avulla malli voi keskittyä valikoivasti syöttösekvenssin eri osiin ja määrittää kullekin elementille painotukset sen merkityksen perusteella, mikä mahdollistaa elementtien välisten riippuvuuksien ja suhteiden kaappaamisen tehokkaasti.

Hienosäädetyt mallit viittaavat esikoulutettuihin malleihin, joita on koulutettu edelleen tietyssä tehtävässä tai tietojoukossa suorituskyvyn parantamiseksi ja niiden mukauttamiseksi kyseisen tehtävän erityisvaatimuksiin. Tämä hienosäätöprosessi sisältää mallin parametrien säätämisen sen ennusteiden optimoimiseksi ja sen erikoistumiseksi kohdetehtävään.

Transformaattoreita pidetään tekoälyn tulevaisuutena, koska ne ovat osoittaneet poikkeuksellista suorituskykyä monenlaisissa tehtävissä, mukaan lukien luonnollisen kielen käsittelyssä, kuvan luomisessa ja muissa tehtävissä. Niiden kyky siepata pitkän kantaman riippuvuuksia ja käsitellä peräkkäistä dataa tehokkaasti tekee niistä erittäin mukautuvia ja tehokkaita erilaisiin sovelluksiin, mikä tasoittaa tietä generatiivisen tekoälyn edistymiselle ja mullistaa monia yhteiskunnan näkökohtia.

Tunnetuimpia tekoälyn muuntajamalleja ovat BERT (Bidirectional Encoder Representations from Transformers), GPT (Generatiivinen esikoulutettu muuntaja) ja T5 (Tekstistä tekstiksi siirtomuuntaja). Nämä mallit ovat saavuttaneet merkittäviä tuloksia erilaisissa luonnollisen kielen käsittelytehtävissä ja saavuttaneet merkittävää suosiota tekoälyn tutkimusyhteisössä.

Lue lisää tekoälystä:

• Texasin yliopisto: ihmisten mielet voidaan paljastaa aivotoiminnan dekooderilla
• Facebook kehittää uutta menetelmää tekoälymuuntajien suorituskyvyn kaksinkertaistamiseksi
• GPT-4 Pystyy käsittelemään kuvia, asiakirjoja, kaavioita ja kuvakaappauksia koskevia pyyntösi

Author

Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa. 

lisää artikkeleita

Damir Yalalov

• 
• 

Damir Yalalov

Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa. 

• 

lisää artikkeleita